文档章节

kafka相关脚本操作

各种打杂
 各种打杂
发布于 2017/08/22 17:30
字数 467
阅读 33
收藏 0

1、创建Topic
./kafka-topics.sh --zookeeper cloud17:2181,cloud18:2181,cloud19:2181 --topic PM_TOPIC_KPI2DB_02 --replication-factor 1 --partitions 3 --create

2、Topic列表
./kafka-topics.sh --zookeeper kafka1.sdy:2181,kafka2.sdy:2181,kafka3.sdy:2181 --list

3、创建生产者
./kafka-console-producer.sh --broker-list kafka1.sdy:2181,kafka2.sdy:2181,kafka3.sdy:2181 --topic test_wu_2017

4、消费者
./kafka-console-consumer.sh --zookeeper kafka1.sdy:2181,kafka2.sdy:2181,kafka3.sdy:2181 --topic PM_TOPIC_07 
--from-beginning 每次都是从开始位置消费,在生产环境下不建议这样使用。

5、查看指定topic
./kafka-topics.sh --describe --zookeeper c13-138:2181 --topic mytopic

6、删除topic
./kafka-topics.sh --delete --zookeeper cloud17:2181,cloud18:2181,cloud19:2181 --topic PM_TOPIC

7、显示出Consumer的Group、Topic、分区ID、分区对应已经消费的Offset、logSize大小,Lag以及Owner等信息。
使用脚本:kafka-consumer-offset-checker.sh
./kafka-consumer-offset-checker.sh --zookeeper c13-138:2181,c13-139:2181,c13-141:2181 --topic mytopic --group xb_id --broker-info

8、有时候我们需要验证日志索引是否正确,或者仅仅想从log文件中直接打印消息。
使用脚本:kafka-run-class.sh
./kafka-run-class.sh kafka.tools.DumpLogSegments 
./kafka-run-class.sh kafka.tools.DumpLogSegments  /nodedata/kafka/kafka-logs/xb_topic-0/00000000000000000033.log
./kafka-run-class.sh kafka.tools.DumpLogSegments --files  /nodedata/kafka/kafka-logs/xb_topic-0/00000000000000000033.log --print-data-log

9、导出Zookeeper中Group相关的偏移量。有时候我们需要导出某个Consumer group各个分区的偏移量。
使用脚本:kafka-run-class.sh
./kafka-run-class.sh kafka.tools.ExportZkOffsets
./kafka-run-class.sh kafka.tools.ExportZkOffsets --group xb_id --zkconnect c13-138:2181,c13-139:2181,c13-141:2181 --output-file ~/offset
vim ~/offset

10、这个工具主要作用是从一个Kafka集群里面读取指定Topic的消息,并将这些消息发送到其他集群的指定topic中
使用脚本:./kafka-replay-log-producer.sh 

11、kafka-simple-consumer-shell.sh工具主要是使用Simple Consumer API从指定Topic的分区读取数据并打印在终端
使用脚本:./kafka-simple-consumer-shell.sh --broker-list c13-141:9092 --topic mytopic --partition 0

12、kafka.tools.UpdateOffsetsInZK工具可以更新Zookeeper中指定Topic所有分区的偏移量,可以指定成 earliest或者latest:
使用工具:./kafka-run-class.sh kafka.tools.UpdateOffsetsInZK

最后再说哈kafka的启动和停止。
启动kafka:  ./kafka-server-start.sh /kafka/config/server.properties >/dev/null 2>&1 &
停止kafka: 直接kill掉进程就行。
 

© 著作权归作者所有

共有 人打赏支持
上一篇: Proxmox VE
下一篇: logstash笔记
各种打杂
粉丝 2
博文 5
码字总数 8673
作品 0
成都
运维
私信 提问
Kafka~Linux环境下的部署

概念 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键...

mcy247
2017/12/06
0
0
kafka在windows上的安装、运行

kafka在windows上的安装、运行 目录(?)[+] 1.简介 Kafka是一种高吞吐量的分布式发布订阅消息系统。详细介绍可查阅官网:kafka官网 2.环境搭建 2.1 安装JDK 下载地址:jre下载 有关jdk的安装不...

yucaifu1989
04/21
0
0
架构设计:系统间通信(28)——Kafka及场景应用(中1)

(接上文《架构设计:系统间通信(27)——其他消息中间件及场景应用(上)》) 在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详...

yinwenjie
2016/05/02
0
0
单台服务器部署 Zookeeper 伪集群服务及 kafka 消息中间件服务

在开发环境中,为减少服务器成本和提高开发效率,通常在一台测试服务器部署各种服务,使用不同的本地 IP 和不同端口号将涉及到集群的服务往往跑在一台机器上模拟集群,在这里我们称做伪集群。...

hww_面条酱
01/10
0
0
Hyperledger Fabric(v1.2.0)代码分析1——channel创建

Hyperledger Fabric(v1.2.0)代码分析1——channel创建 0. e2ecli Hyperledger Fabric提供了一个e2e的例子,该例中创建了一个基础的区块链网络,并进行了交易并查询。麻雀虽小,五脏俱全,我们...

gexin1023
07/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Vue重要知识小结

vue sync修饰 (1)双向数据绑定,父子组件之间信息的交互 1⃣️在自组件中使用this.emmit('toFather'),子组件产生一个tofather事件,然后在父组件中通过@进行监听,那么可以实现通信过程 2⃣...

peakedness丶
47分钟前
1
0
1024我们的码农节-向自己致敬!

一、blog主有话要说 作为(真正)入赘程序届的第一年, 对明天的1024码农节有很多话想说.比如: 给各位辛苦大佬们讲几个咱们程序届段子 给自己立一个flag, 明年的1024争取少掉点甚至不掉头发! ...

Ala6
50分钟前
15
0
solr使用规范

0. 目的 规范solr设计、用法,避免bug,提高性能 1. 设计规范 solr的用途是查询,不是存储,建议查询结果尽量都为id主键,而后再拿该id主键到缓存或者db中再查询相关信息,例如:请勿将经销商...

andersChow
今天
1
0
11-《深度拆解JVM》之Java对象的内存布局

一、问题引入 在 Java 程序中,我们拥有多种新建对象的方式。除了最为常见的 new 语句之外,我们还可以通过反射机制、Object.clone 方法、反序列化以及 Unsafe.allocateInstance 方法来新建对...

飞鱼说编程
今天
1
0
Windows Install Docker

win7、win8 win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ docker toolbox...

linuxprobe16
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部