文档章节

kafka基本命令(备忘记录)

lindeyi
 lindeyi
发布于 2017/02/05 10:06
字数 402
阅读 30
收藏 0

1、开启服务
.\bin\windows\kafka-server-start.bat .\config\server.properties 
2、关闭服务
3、创建topic
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic [Topic Name]
4、查看topic
> bin/kafka-topics.sh --zookeeper localhost:2181 --topic [Topic Name] --describe
5、修改topic(增加分区)
 > bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic [Topic Name] --partitions 40 
6、删除topic
 > bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic [Topic Name]
彻底删除
 >bin/kafka-run-class.shkafka.admin.DeleteTopicCommand --zookeeper localhost:2181/kafka --topic [Topic Name]
7、生产者客户端
 >kafka-console-producer.bat --broker-list localhost:9092 --topic [Topic Name]
8、消费者客户端
 >kafka-console-consumer.bat --zookeeper localhost:2181 --topic [Topic Name]
9、新增borker负载均衡(重新选队长)
 > bin/kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot
 对应配置文件自动分配:   auto.leader.rebalance.enable=true


10查看运行的消费者情况
> bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test
【补充】
描述主题:
>kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]
列出主题:
>kafka-topics.bat –list –zookeeper localhost:2181
删除主题:
>kafka-run-class.bat kafka.admin.TopicCommand –delete –topic 
11扩展kafka 数据迁移至新分区 3步骤
11.1创建迁移规则
把topic foo1和foo2主题下的分区迁移到5,6
11.1.1 参数文件
> cat topics-to-move.json
{"topics": [{"topic": "foo1"},
            {"topic": "foo2"}],
 "version":1
}
#指令--generate
>bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "5,6" --generate 
Current partition replica assignment
把生成的内容拷贝新的文件中做为规则。(规则、回滚)
11.2 执行迁移指令--execute
> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --execute
Current partition replica assignment
11.3 检查迁移情况--verify
> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --verify
Status of partition reassignment:

12、增加副本
主题foo分区0,在5的基础上增加6,7的副本
> cat increase-replication-factor.json
{"version":1,
 "partitions":[{"topic":"foo","partition":0,"replicas":[5,6,7]}]}
12.1执行
 > bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --execute
Current partition replica assignment
12.2检查
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --verify
Status of partition reassignment:

 

© 著作权归作者所有

lindeyi
粉丝 5
博文 16
码字总数 14150
作品 0
海淀
私信 提问
linux下将文件设置为swap

在网上弄了一台VPS,结果安装完系统发现没有swap。因为内存比较小,没有swap有时候容易卡死,于是打算设置一个文件充当swap。以前干过这事,不过因为一般装系统时候会设,所以这功能基本用不...

propagator
2018/12/03
0
0
Mysql 流增量写入 Hdfs(一) --从 mysql 到 kafka

一. 概述 在大数据的静态数据处理中,目前普遍采用的是用 Spark + Hdfs (Hive / Hbase) 的技术架构来对数据进行处理。 但有时候有其他的需求,需要从其他不同数据源不间断得采集数据,然后...

终日而思一
2018/12/08
0
0
Docker Commonds

脑子不够用,记录下自己所学所用的命令,备忘...不断补充. 最最基本的命令 容器相关的命令 跟镜像相关的命令 导入和导出

taadis
2017/05/31
0
0
fedora 28 , firewalld 防火墙控制,firewall-cmd 管理防火墙规则

今天,在使用fedora时,需要修改防火墙规则,一时间忘记了命令是什么,这里进行记录一下。 目前 fedora 28/ centos 7 使用 firewalld 作为防火墙软件;下面我就怎么简单管理防火墙规则进行记...

xuyaowen
2018/08/20
0
0
storm+kafka集成简单应用

这两天公司要学习kafka,结合之前的storm,做了一个简单的集成,之前也参考了网上的例子一些例子,发现或多或少都有一些问题。所以自己做了一个。 这个是网上其他人遇到的问题,给摘录一下,...

choulanlan
2016/06/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

掌握生成对抗网络(GANs),召唤专属二次元老婆(老公)不是梦

全文共6706字,预计学习时长12分钟或更长 近日,《狮子王》热映,其逼真的外形,几乎可以以假乱真,让观众不禁大呼:awsl,这也太真实了吧! 实体模型、CGI动画、实景拍摄、VR等技术娴熟运用...

读芯术
29分钟前
1
0
C#经典面试题100道

1. .NET和C#有什么区别 答:.NET一般指 .NET FrameWork框架,它是一种平台,一种技术。 C#是一种编程语言,可以基于.NET平台的应用。 2.一列数的规则如下: 1、1、2、3、5、8、13、21、34......

元歌
32分钟前
0
0
重磅!容器集群监控利器 阿里云Prometheus 正式免费公测

Prometheus 作为容器生态下集群监控的首选方案,是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统,并于 2015 年正式发布。2016 年,Prometheus 正式加入 Cloud Native C...

阿里云云栖社区
33分钟前
1
0
LeetCode 160: 相交链表 Intersection of Two Linked Lists

爱写Bug(ID:iCodeBugs) 编写一个程序,找到两个单链表相交的起始节点。 Write a program to find the node at which the intersection of two singly linked lists begins. 如下面的两个链...

iCodeBugs
35分钟前
2
0
hadoop yarn漏洞 8088端口进入挖矿病毒处理记录

早上发现服务器cpu使用异常 进程如图所示 按照挖矿病毒的套路 肯定是定时任务不停地执行脚本 遂查看定时任务 进入/var/spool/cron 查看定时任务 发现里面有一个root文件 定时任务每分钟执行一...

詹姆斯-高斯林
39分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部