加载中
如何使用加多宝(jdb)在linux下调试Java程序

毕业时写了一段时间的C,那时候调试使用gdb,后来转了java,当时就想java程序怎么调试,找了一下,果然,那就是jdk自带的jdb windows里是这样的 Linux下是这样的 一般我在linux下来调试Java程序...

Linus,一生只为寻找欢笑(完全版)

文章来源:池建强 微信:MacTalk 这篇文章我在2013年-2014年分十次左右完成的,记录了 Linux 作者 Linus 的故事,算是我写的最好的一篇长文。这篇文章分别发表在我自己的书《跨越边界》和 《...

如何构建一个flink sql平台

我们都知道,离线计算有Hive,使用过的知道,需要先定义一个schema,比如针对HDFS这种存储对标mysql定义一个schema,schema的本质是什么?主要描述下面这些信息 1)当前存储的物理位置的描述 ...

从菜鸟到业务监控专家---PPT

2015年9.10 ~ 2015年10.15 : 2个人,35天撸了1个业务监控系统,翻出来,大致讲讲原理,原理很简单,细节很重要,相信通过这个PPT,大家也能明白如何自己动手写一个业务API监控系统。 ------...

从菜鸟到调用链专家---PPT-本文部分内容已申请专利ING

之前,在公司内部做了一个PPT分享,这个分享是我在认真研究了zipkin的源码后的一些体会。 截图如下: json文件内容见: [ { "traceId": "daaed0921874ebc3", "id": "daaed0921874ebc3", "na...

2017/04/18 11:41
1.5K
如何自己动手写一个监控系统?

1)报警配置信息的录入 这部分比较简单,就是一个简单的管理系统 架构如下所示: 配置信息具体要存什么,看你自己需要,每个人有自己的想法 我之前的思路是: (0)定义本配置所属的服务,比如w...

统一监控项目

可以参考的: https://my.oschina.net/mkh/blog/312911 http://364434006.iteye.com/blog/1747490 2015.9~2015.10月份,实现了公司的统一监控项目。当时分享的PPT如下:......

基于flink sql构建报警系统的若干技术点

1)选择滑动窗口 滑动窗口会导致一个时间点的数据会分布到多个window里来,其它跟滚动窗口没区别 2)滑动数据重新汇聚 计算源是单个时间窗口内预汇聚的数据,不适用于滑动窗口的计算值,比如前...

Flink的背压的计算过程【上篇】

参考文档 https://ci.apache.org/projects/flink/flink-docs-release-1.5/monitoring/back_pressure.html https://blog.csdn.net/u011750989/article/details/82191298 https://blog.csdn.ne...

flink的metrics机制研究

通过分析函数 org.apache.flink.runtime.metrics.MetricRegistryConfiguration.fromConfiguration 可以得知我们的配置文件应该怎么写! metrics.reporters: slf4j metrics.reporter.slf4j.cl...

flink丢数据bug之问题定位

开发环境,发现丢数据,一开始还以为自己sql的问题,后来花了一个下午+晚上+第2天早上基本确定了,先说一下现象 重启sql服务,发送两条数据,均工作在 event time模式下,延迟时间是1000ms ...

开发环境任务启动失败的定位-Yarn

从现象来看,报错日志为(从JobManager中获取) [2019-02-16 09:18:50,218] INFO Diagnostics for container container_e31_1548733575161_1174_01_000003 in state COMPLETE : exitStatus=1...

Flink中的多source+event watermark测试

这次需要做一个监控项目,全网日志的指标计算,上线的话,计算量应该是百亿/天 单个source对应的sql如下 最原始的sql select pro,throwable,level,ip,`count`,id,`time`,firstl,lastl from (...

Flink内部计算之EventTime WaterMark-调研最终版(终结篇)---思考

理论 1)一条消息来之后,如果太晚,那就直接丢弃 2)如果不丢弃,则表示如果现在放进来,后面有机会来算,所以那就放进来 3)更新watermark时,针对可以算的window输出数据 4)一条消息,最...

flink内部计算指标的95线-99线等的实现

15年在某电商从0设计了一个通用的API监控系统,当时只是计算了成功率+平均耗时,没有算75,90,95,99,999,9999线,这次单位需要,所以促使我去思考这个问题,问了单位CAT维护人员,大致了解了计...

关于flink的时间处理不正确的现象复现&原因分析

跟朋友聊天,说输出的时间不对,之前测试没关注到这个,然后就在processing模式下看了下,发现时间确实不正确 然后就debug,看问题在哪,最终分析出了原因,记录如下: 具体我在朋友的https:/...

2关于flink的时间字段-ProcessTime-重新debug-通知观察方接手进行处理

现在,观察方如何得知有消息进来?断点在 stop in org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.run stop at org.apache.flink.streaming.runtime.tasks.OneInputStreamTas...

1关于flink的时间字段-ProcessTime-重新debug-读kafka->通知观察方(含正确脚本)

之前为了赶项目进度(人少,没资源),只研究了下针对processing time,因为这个取的是当前时间,通过争取时间快速支撑了一些业务的上线。 而随着业务的陆续接入,全部使用processing time已经...

关于flink消费kafka的序列化时-如何拿到消息的meta信息

首先,我们故意制造一个异常 然后,发送一个JSON数据,并且缺失了一些字段,看看报什么错! 顺利抓到调用栈 [2018-11-23 13:24:32,877] INFO Source: MyKafka010JsonTableSource -> from: (p...

Kafka-producer-perf-test-0.10.2.1-压测脚本改造

最近网关和业务的日志线上都是4万/秒,然后需要用flink算一下每个业务的异常数,周期性输出分析结果 既然是4万/秒,那么我起码得压个10万/秒才能安心上线,那么问题来了,怎么构造10万/秒的压...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部