文档章节

kafka彻底删除topic

 浪心love
发布于 2017/05/12 18:05
字数 316
阅读 20
收藏 2

如果只是用kafka-topics.sh的delete命令删除topic,会有两种情况:

  1. 如果当前topic没有使用过即没有传输过信息:可以彻底删除
  2. 如果当前topic有使用过即有过传输过信息:并没有真正删除topic只是把这个topic标记为删除(marked for deletion)。

要彻底把情况2中的topic删除必须把kafka中与当前topic相关的数据目录和zookeeper与当前topic相关的路径一并删除。

相关组件的版本

zookeeper: 3.4.6

kafka: 0.9.0.0

 这里假设要删除的topic是test,kafka的zookeeper root为/kafka

删除kafka相关的数据目录

数据目录请参考目标机器上的kafka配置:server.properties -> log.dirs=/var/kafka/log/tmp

su rm -r /var/kafka/log/tmp/test*

 

删除kafka topic

/home/kafka/bin/kafka-topics.sh --delete --zookeeper HadoopMaster:2181/kafka --topic test

 

删除zookeeper相关的路径

  • 打开zookeeper client
/home/ZooKeeper/bin/zkCli.sh
  • 执行下面的命令

把test替换成你要删除的topic

 

#删除topic test的consumer group,如果有消费记录的话
rmr /kafka/consumers/test-group

rmr /kafka/config/topics/test
rmr /kafka/brokers/topics/test
rmr /kafka/admin/delete_topics/test

完成

重启zookeeper和kafka可以用下面命令查看相关的topic还在不在:

/home/kafka/bin/kafka-topics.sh --list --zookeeper HadoopMaster:2181/kafka

© 著作权归作者所有

粉丝 0
博文 31
码字总数 32537
作品 0
南京
私信 提问
Consumer is not subscribed to any topics

产生该问题的原因主要是中存在旧版本的信息,导致新版本的启动异常: 解决办法: (1) 使用命令列出所有与相关的: 输出: (2)使用命令删除所有与相关的: 最后验证是否删除: 输出: 输出...

九州暮云
2018/08/11
0
0
kafka学习(2)主题 Topic

Topic主题: 消息在进入kafka集群时,是以主题进行 数据归纳,既一条消息必须属于一个主题。 在kafka集群中可以有无数个主题。 从生产者的角度来说,他所操作的单位,一般情况下是以主题为单...

太猪-YJ
04/15
0
0
0022-如何永久删除Kafka的Topic

1.问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”。 2.问题复现...

Hadoop实操
2018/11/19
0
0
kafka的简单shell命令管理

启动kafka步骤 1、先启动zookeeper(kafka自带zookeeper的,可以启动自身的)当前目录为bin目录上一级 ./bin/zookeeper-server-start.sh config/zookeeper.properties & (启动后,基本上当前...

qq_38872310
2018/04/16
0
0
kafka常用命令

kafka自带sh脚本使用示例: (1)启动/关闭kafka服务: `shell nohup env JMXPORT=9999 /path/to/kafka2.10-0.8.2.2/bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 ......

MrYx3en
2015/12/04
190
0

没有更多内容

加载失败,请刷新页面

加载更多

对话亲历者|鲁肃:我在支付宝“拧螺丝“的日子

摘要: 他是支付宝技术平台的奠基人之一,但是他总说“这还不是我心中最完美的架构”;他行事低调但却有着“此时此地,非我莫属”的豪气;他曾无数次充当救火大队长,但自评只是“没有掉队的...

阿里云云栖社区
1分钟前
0
0
设置 npm yarn 淘宝源

设置npm config set chromedriver_cdnurl=http://cdn.npm.taobao.org/dist/chromedriver设置yarn config set "chromedriver_cdnurl" "https://npm.taobao.org/mirrors/chromedriver"......

internetafei
10分钟前
0
0
Docker搭建Mysql集群、主从同步复制

1、创建数据挂载点: mkdir /opt/mysql-master/mysql、/opt/mysql-master/conf.d、/opt/mysql-slave/conf.d、/opt/mysql-slave/conf.d 2、分别在master、slave节点文件目录conf.d下创建touch......

WALK_MAN
33分钟前
6
0
手把手教你做中间件开发(分布式缓存篇)-借助redis已有的网络相关.c和.h文件,半小时快速实现一个epoll异步网络框架,程序demo

本文档配合主要对如下demo进行配合说明: 借助redis已有的网络相关.c和.h文件,半小时快速实现一个epoll异步网络框架,程序demo 0. 手把手教你做中间件、高性能服务器、分布式存储技术交流群 ...

y123456yz
34分钟前
2
0
Spring-boot单元测试(私有方法测试)

Spring-boot的单元测试网上有了很多,当项目是可以使用spring-boot正常运行时,只要在测试类上添加如下配置就使用@Autowired的方式进行单元测试 @RunWith(SpringJUnit4ClassRunner.class)@...

琴兽
55分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部