Kafka消息监控

原创
2017/05/04 23:29
阅读数 686

前言

搭建好kafka集群之后,需要知道kafka的topicconsumer group 等消息消费、生产数据监控。恰好在GitHub上找到了一个干这种事情的工具。 KafkaOffsetMonitor运行比较简单,因为所有运行文件,资源文件,jar文件都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了,直接运行就可以,这种方式太棒了。只需要做一个启动脚本,设置必要的参数即可,以jar包的形式运行。传送门

使用步骤

 #!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk xxxxxx:2181,xxxxxx:2181,xxxxxx:2181 \
     --port 8086 \
     --refresh 10.seconds \
     --retain 7.days 1>logs/stdout.log 2>logs/stderr.log &

参数释义:
zk zookeeper主机
port 监控进程访问端口
refresh 刷新数据间隔
retain 数据存储过期时间
注意:日志的目录需要提前建好,不然会报错; 做的完善点的方式将此脚本已supervisor运行。

  • 由于下载的Jar运行后,因为监控界面会请求外网的js,所以需要翻墙。所以就这部分做了小修改:

    1. 将google的三个js(angular.js,angular-resource.js,angular-route.js)下载下来,放到jar包中的offsetapp/scripts/目录下
    2. 修改jar包中offsetapp/scripts/index.html文件,修改对google的js的引用路径
    3. 调整jar包中offsetapp/scripts/directives.js中highchart的参数,使图表更加美观。

    修改好的5个文件如下,只需要用以下五个文件替换jar包中对应的文件即可

  • 监控部分截图
    当前活跃的消息消费组
    某一个消费者消费情况
    kafka集群信息


js外网地址
angular.jsangular-resource.jsangular-route.js

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部