文档章节

Kafka 0.10 常用运维命令

Liam8
 Liam8
发布于 2017/03/02 19:36
字数 659
阅读 233
收藏 0

引言

Kafka是由LinkedIn开发的一个分布式的消息系统,它以可水平扩展和高吞吐率而被广泛使用,现在已经是Apache的项目。

Kafka系统自带了丰富的运维管理工具,都是基于命令行的,本文主要介绍一些常用的命令。

读者需要对Kafka已经有入门级的了解。

常用命令

以下命令都是在Kafka的主目录下执行的。

启动Kafka

启动命令需要指定配置文件

bin/kafka-server-start.sh config/server.properties

默认的启动方式并不是守护进程,可以添加'nohup'和'&'让进程保持在后台运行,即使断开SSH终端连接。

nohup bin/kafka-server-start.sh config/server.properties > ~/kafka-server-start.out 2>&1 &

topic 相关

列出 topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

--zookeeper:指定zookeeper地址。

创建 topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 4 --topic test_topic

--replication-factor:备份数,就是数据保存几份,这里设置为3,表示该topic的数据会在3个节点上各保存一份。

--partitions:分区数

topic 详情

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test_topic

删除 topic

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test_topic

需要开启一个配置项才可以删除topic。

配置项在server.properties中: delete.topic.enable = true

ps: 有个特殊的topic叫 __consumer_offsets,是Kafka内部使用的,不允许删除的。

生产者消费者相关

生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic

--broker-list:kafka broker地址

消费者

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test_topic

分区相关

增加分区

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test_topic --partitions 4

--partitions:指明将分区增加至多少个。 分区不能减少只能增加。

改变分区分布和副本数

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test_topic.json --execute

--reassignment-json-file:指定一个分区方案文件。

分区方案文件是一个json格式的文本文件,需要自己编写。

举个例子,test_topic.json内容如下:

{
    "version": 1,
    "partitions": [
        {
            "topic": "test_topic",
            "partition": 0,
            "replicas": [1,2]
        },
        {
            "topic": "test_topic",
            "partition": 1,
            "replicas": [2,3]
        },
        {
            "topic": "test_topic",
            "partition": 2,
            "replicas": [3,1]
        },
        {
            "topic": "test_topic",
            "partition": 3,
            "replicas": [1,2]
        }
    ]
}

解释其中一部分,剩下的自然也会明白。

"topic": "test_topic", //topic名称
"partition": 0,        //分区编号,从0开始
"replicas": [1,2]      //指定保存在哪个broker,这里是填写broker id。写两个id,意思就是有两份备份啦。

PS:这个方法不能用来增加分区数。第一个replicas就是默认leader。

改变分区和备份数的操作并不能立即完成,而是需要一段时间,内部操作会在后台运行。 所以需要...

检查进度

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test_topic.json --verify

以上。

转载请注明原文地址

© 著作权归作者所有

Liam8
粉丝 8
博文 6
码字总数 3082
作品 0
深圳
私信 提问
福利丨这也许是目前市面上最权威的Kafka学习指南!

Kafka,不是村上春树的《海边的卡夫卡》,不是《变形记》的作者弗兰兹·卡夫卡。程序员世界里的 Kafka,有三分之一的世界 500 强公司都在使用它发布和订阅、存储及实时地处理大规模流数据。 ...

DBAplus社群
2018/01/15
0
0
消息中间件(Kafka/RabbitMQ)收录集

本篇主要整理工作中遇到的一些消息中间件的相关知识,包括Kafka, RabbitMQ, RocketMQ, ActiveMQ等,不排除收录其他消息中间件的可能。 这里会持续收录相关知识,包括安装、部署、使用示例、监...

u013256816
2017/01/26
0
0
Kafka集群某台机器ip未开放导致连接失败

这几天在测试goldengate输出到Kafka的CDC,由于Kafka集群设置了ip限制, 由于新部署的NiFi机器申请权限的时候, j集群中某台机器ip忘了放开了. 然后就悲剧了. 开始那台机器有Kafkas是0.11的版本...

seng
2018/08/12
0
0
说说MQ之RocketMQ(一)

原文出处:Valleylord RocketMQ 是出自 A 公司的开源产品,用 Java 语言实现,在设计时参考了 Kafka,并做出了自己的一些改进,消息可靠性上比 Kafka 更好,目前,RocketMQ 的文档仍然不够丰...

Valleylord
2018/10/12
0
0
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建ApacheKafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apachekafka消息服务 2)kafak安装与使用 ...

dannyhe
2015/09/06
666
1

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部