kafka __consumer_offsets读取

原创
2017/03/09 15:48
阅读数 214

        kafka的监控,关于性能方面的监控由jmx来解决,应用层面的监控,一般通过读取zookeeper中的信息进行监控,目前主流的kafka开源监控软件都是基于zookeeper中的信息进行监控的。但是,kafka在0.8之前的版本,消息消费的偏移量都是存储在zookeeper中的,到0.10的版本时候,消息消费的偏移量存储在了topic中,这个topic是kafka自己创建的(__consumer_offsets)。这也导致主流的kafka监控软件在监控消费者偏移量的时候无法正常监控。当你需要知道消费者消息偏移量的时候只能在__consumer_offsets中进行查找。

        可是,__consumer_offsets不是你想消费就能消费的,需要进行一些设置。

echo "exclude.internal.topics=false" > /tmp/consumer.config

        开始消费

./kafka-console-consumer.sh --consumer.config /tmp/consumer.config --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --zookeeper 172.31.68.243:2181 --topic __consumer_offsets

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部