开源项目作者
作为一个开源项目作者，是时候站出来拯救世界了！
领取时间：2016/04/15
领取条件：开源项目被开源中国收录的开发者可领取
软件作品
禁言：infrastructure
天
加载中
顶
Linus，一生只为寻找欢笑（完全版）
文章来源：池建强 微信：MacTalk 这篇文章我在2013年-2014年分十次左右完成的，记录了 Linux 作者 Linus 的故事，算是我写的最好的一篇长文。这篇文章分别发表在我自己的书《跨越边界》和 《...
顶
原
荐
如何构建一个flink sql平台
我们都知道，离线计算有Hive,使用过的知道，需要先定义一个schema,比如针对HDFS这种存储对标mysql定义一个schema，schema的本质是什么？主要描述下面这些信息 1）当前存储的物理位置的描述 ...
顶
原
荐
从菜鸟到业务监控专家---PPT
2015年9.10 ~ 2015年10.15 : 2个人，35天撸了1个业务监控系统，翻出来，大致讲讲原理，原理很简单，细节很重要，相信通过这个PPT，大家也能明白如何自己动手写一个业务API监控系统。 ------...
顶
原
从菜鸟到调用链专家---PPT-本文部分内容已申请专利ING
之前，在公司内部做了一个PPT分享，这个分享是我在认真研究了zipkin的源码后的一些体会。 截图如下： json文件内容见： [ { "traceId": "daaed0921874ebc3", "id": "daaed0921874ebc3", "na...
顶
原
荐
如何自己动手写一个监控系统？
1)报警配置信息的录入 这部分比较简单，就是一个简单的管理系统 架构如下所示： 配置信息具体要存什么，看你自己需要，每个人有自己的想法 我之前的思路是： (0)定义本配置所属的服务，比如w...
顶
原
统一监控项目
可以参考的： https://my.oschina.net/mkh/blog/312911 http://364434006.iteye.com/blog/1747490 2015.9~2015.10月份，实现了公司的统一监控项目。当时分享的PPT如下：......
原
荐
基于flink sql构建报警系统的若干技术点
1)选择滑动窗口 滑动窗口会导致一个时间点的数据会分布到多个window里来，其它跟滚动窗口没区别 2）滑动数据重新汇聚 计算源是单个时间窗口内预汇聚的数据，不适用于滑动窗口的计算值，比如前...
原
Flink的背压的计算过程【上篇】
参考文档 https://ci.apache.org/projects/flink/flink-docs-release-1.5/monitoring/back_pressure.html https://blog.csdn.net/u011750989/article/details/82191298 https://blog.csdn.ne...
原
flink的metrics机制研究
通过分析函数 org.apache.flink.runtime.metrics.MetricRegistryConfiguration.fromConfiguration 可以得知我们的配置文件应该怎么写！ metrics.reporters: slf4j metrics.reporter.slf4j.cl...
原
flink丢数据bug之问题定位
开发环境，发现丢数据，一开始还以为自己sql的问题，后来花了一个下午+晚上+第2天早上基本确定了，先说一下现象 重启sql服务，发送两条数据，均工作在 event time模式下，延迟时间是1000ms ...
原
开发环境任务启动失败的定位-Yarn
从现象来看，报错日志为（从JobManager中获取） [2019-02-16 09:18:50,218] INFO Diagnostics for container container_e31_1548733575161_1174_01_000003 in state COMPLETE : exitStatus=1...
原
荐
Flink中的多source+event watermark测试
这次需要做一个监控项目，全网日志的指标计算，上线的话，计算量应该是百亿/天 单个source对应的sql如下 最原始的sql select pro,throwable,level,ip,`count`,id,`time`,firstl,lastl from (...
原
Flink内部计算之EventTime WaterMark-调研最终版(终结篇)---思考
理论 1）一条消息来之后，如果太晚，那就直接丢弃 2）如果不丢弃，则表示如果现在放进来，后面有机会来算，所以那就放进来 3）更新watermark时，针对可以算的window输出数据 4）一条消息，最...
原
荐
flink内部计算指标的95线-99线等的实现
15年在某电商从0设计了一个通用的API监控系统，当时只是计算了成功率+平均耗时，没有算75,90,95,99,999,9999线，这次单位需要，所以促使我去思考这个问题，问了单位CAT维护人员，大致了解了计...
原
荐
关于flink的时间处理不正确的现象复现&原因分析
跟朋友聊天，说输出的时间不对，之前测试没关注到这个，然后就在processing模式下看了下，发现时间确实不正确 然后就debug,看问题在哪，最终分析出了原因，记录如下： 具体我在朋友的https:/...
原
2关于flink的时间字段-ProcessTime-重新debug-通知观察方接手进行处理
现在，观察方如何得知有消息进来？断点在 stop in org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.run stop at org.apache.flink.streaming.runtime.tasks.OneInputStreamTas...
原
1关于flink的时间字段-ProcessTime-重新debug-读kafka->通知观察方(含正确脚本)
之前为了赶项目进度(人少，没资源)，只研究了下针对processing time，因为这个取的是当前时间，通过争取时间快速支撑了一些业务的上线。 而随着业务的陆续接入，全部使用processing time已经...
原
荐
关于flink消费kafka的序列化时-如何拿到消息的meta信息
首先，我们故意制造一个异常 然后，发送一个JSON数据，并且缺失了一些字段，看看报什么错！ 顺利抓到调用栈 [2018-11-23 13:24:32,877] INFO Source: MyKafka010JsonTableSource -> from: (p...
原
Kafka-producer-perf-test-0.10.2.1-压测脚本改造
最近网关和业务的日志线上都是4万/秒，然后需要用flink算一下每个业务的异常数，周期性输出分析结果 既然是4万/秒，那么我起码得压个10万/秒才能安心上线，那么问题来了，怎么构造10万/秒的压...
原
关于flink的日志文件设置
1）yarn的启动脚本 exec /bin/bash -c "$JAVA_HOME/bin/java -Xms580m -Xmx580m -XX:MaxDirectMemorySize=320m -Daaa=1 -XX:NativeMemoryTracking=detail -XX:+UseParNewGC -XX:+UseConcMar...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
公众号
视频号
问题反馈
北京奥思研工智能科技有限公司版权所有
京ICP备2025119063号
评论删除后，数据将无法恢复