文档章节

Kafka消息监控

DanierWei
 DanierWei
发布于 2017/05/04 23:29
字数 396
阅读 161
收藏 0

前言

搭建好kafka集群之后,需要知道kafka的topicconsumer group 等消息消费、生产数据监控。恰好在GitHub上找到了一个干这种事情的工具。 KafkaOffsetMonitor运行比较简单,因为所有运行文件,资源文件,jar文件都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了,直接运行就可以,这种方式太棒了。只需要做一个启动脚本,设置必要的参数即可,以jar包的形式运行。传送门

使用步骤

 #!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk xxxxxx:2181,xxxxxx:2181,xxxxxx:2181 \
     --port 8086 \
     --refresh 10.seconds \
     --retain 7.days 1>logs/stdout.log 2>logs/stderr.log &

参数释义:
zk zookeeper主机
port 监控进程访问端口
refresh 刷新数据间隔
retain 数据存储过期时间
注意:日志的目录需要提前建好,不然会报错; 做的完善点的方式将此脚本已supervisor运行。

  • 由于下载的Jar运行后,因为监控界面会请求外网的js,所以需要翻墙。所以就这部分做了小修改:

    1. 将google的三个js(angular.js,angular-resource.js,angular-route.js)下载下来,放到jar包中的offsetapp/scripts/目录下
    2. 修改jar包中offsetapp/scripts/index.html文件,修改对google的js的引用路径
    3. 调整jar包中offsetapp/scripts/directives.js中highchart的参数,使图表更加美观。

    修改好的5个文件如下,只需要用以下五个文件替换jar包中对应的文件即可

  • 监控部分截图
    当前活跃的消息消费组
    某一个消费者消费情况
    kafka集群信息


js外网地址
angular.jsangular-resource.jsangular-route.js

© 著作权归作者所有

DanierWei
粉丝 1
博文 9
码字总数 5765
作品 0
杭州
私信 提问
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建ApacheKafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apachekafka消息服务 2)kafak安装与使用 ...

dannyhe
2015/09/06
666
1
LinkedIn 详细介绍了他们开源的 Kafka Monitor

在2016年4月份举行的Kafka峰会上,LinkedIn在Apache 2.0许可协议下开源了Kafka Monitor,并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候,LinkedIn曾在一篇有关K...

oschina
2016/06/16
5.2K
7
消息中间件(Kafka/RabbitMQ)收录集

本篇主要整理工作中遇到的一些消息中间件的相关知识,包括Kafka, RabbitMQ, RocketMQ, ActiveMQ等,不排除收录其他消息中间件的可能。 这里会持续收录相关知识,包括安装、部署、使用示例、监...

u013256816
2017/01/26
0
0
kafka 系统测试框架--kafka-monitor

在2016年4月份举行的Kafka峰会上,LinkedIn在Apache 2.0许可协议下开源了Kafka Monitor,并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候,LinkedIn曾在一篇有关K...

匿名
2016/06/16
3.8K
0
阿里云消息队列 Kafka 商业化首发 | 进一步提升 Kafka 在大数据生态中的价值

7月25日,阿里云即将直播发布消息队列Kafka,全面融合开源生态。 【直播传送门】 在全面兼容Apache Kafka生态的基础上,消息队列Kafka还具备了超易用,超高可用可靠性,扩缩容不操心,全方位...

hllpark
2018/07/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Cloud 笔记之Spring cloud config client

观察者模式它的数据的变化是被动的。 观察者模式在java中的实现: package com.hxq.springcloud.springcloudconfigclient;import org.springframework.context.ApplicationListener;i...

xiaoxiao_go
今天
4
0
CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
今天
4
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
7
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部