文档章节

kafka __consumer_offsets读取

China_OS
 China_OS
发布于 2017/03/09 15:48
字数 306
阅读 9
收藏 0

        kafka的监控,关于性能方面的监控由jmx来解决,应用层面的监控,一般通过读取zookeeper中的信息进行监控,目前主流的kafka开源监控软件都是基于zookeeper中的信息进行监控的。但是,kafka在0.8之前的版本,消息消费的偏移量都是存储在zookeeper中的,到0.10的版本时候,消息消费的偏移量存储在了topic中,这个topic是kafka自己创建的(__consumer_offsets)。这也导致主流的kafka监控软件在监控消费者偏移量的时候无法正常监控。当你需要知道消费者消息偏移量的时候只能在__consumer_offsets中进行查找。

        可是,__consumer_offsets不是你想消费就能消费的,需要进行一些设置。

echo "exclude.internal.topics=false" > /tmp/consumer.config

        开始消费

./kafka-console-consumer.sh --consumer.config /tmp/consumer.config --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --zookeeper 172.31.68.243:2181 --topic __consumer_offsets

 

© 著作权归作者所有

China_OS
粉丝 427
博文 463
码字总数 519985
作品 0
静安
技术主管
私信 提问
kafka 的offset的重置

转载自:https://www.cnblogs.com/hd-zg/p/5831219.html 最近在spark读取kafka消息时,每次读取都会从kafka最新的offset读取。但是如果数据丢失,如果在使用Kafka来分发消息,在数据处理的过...

weixin_37589896
2017/11/29
0
0
解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题

解决kafka集群由于默认的consumeroffsets这个topic的默认的副本数为1而存在的单点故障问题 抛出问题: consumer_offsets这个topic是由kafka自动创建的,默认50个,但是都存在一台kafka服务器...

五维空间s
2018/06/14
0
0
Spark Streaming + Kafka Integration Guide

The Spark Streaming integration for Kafka 0.10 is similar in design to the 0.8 Direct Stream approach. It provides simple parallelism, 1:1 correspondence between Kafka partition......

刺猬一号
2018/07/18
162
0
Kafka自动提交偏移量失败。谁没有大神给看看咋回事?

比特币矿池项目,项目的核心就是Kafka,个别模块偶尔会出现自动提交偏移量失败的日志,日志如下: Marking the coordinator 124.160.26.251:9092 (id: 2147483646 rack: null) dead for gro...

IT梁朝伟
2018/05/17
3.5K
2
Consumer is not subscribed to any topics

产生该问题的原因主要是中存在旧版本的信息,导致新版本的启动异常: 解决办法: (1) 使用命令列出所有与相关的: 输出: (2)使用命令删除所有与相关的: 最后验证是否删除: 输出: 输出...

九州暮云
2018/08/11
980
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周五乱弹 ——不知道假装开心,装的像么

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @巴拉迪维 :天黑了 你很忧愁, 你说世界上, 找不到四块五的妞, 行走在凌晨两点的马路上, 你疲倦地拿着半盒黄鹤楼。#今日歌曲推荐# 《四块...

小小编辑
今天
2.1K
16
64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
昨天
69
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
昨天
32
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
昨天
116
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
昨天
31
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部