文档章节

0022-如何永久删除Kafka的Topic

Hadoop实操
 Hadoop实操
发布于 11/19 23:02
字数 1044
阅读 12
收藏 0

1.问题描述

使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”。

2.问题复现

1.登录Kafka集群所在的服务器,创建一个test的topic

[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

2.查看新创建的topic

[root@cdh1 ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

3.通过如下命令删除新建的topic

[root@cdh1 ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

此处显示“Topic test is marked for deletion”

4.尝试重新创建一个test的Topic

[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

提示该Topic已存在,说明在第3步操作的删除并没有真正的将Topic删除。

3.问题原因

默认情况下Kafka是禁用了删除Topic的操作,所以在执行Topic删除的时候只是将删除的Topic标记为“marked for deletion”状态。可以通过修改Kafka服务的配置参数启用。

4.解决方法

4.1方法1

在kafka服务配置delete.topic.enable=false的情况下,如果需要永久删除topic则需要做如下操作:

  • 通过kafka命令删除相应的topic
  • 在zookeeper中删除相应的topic
  • 在topic所在的broker节点上删除topic的log数据

操作如下:

1.查看topic的描述信息,命令如下

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

上图标注部分为topic对应的数据存放节点

2.通过kafka命令删除,命令如下:

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.通过zookeeper客户端删除topic,命令如下

zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181

ls /brokers/topics

rmr /brokers/topics/test

注:标红部分为topic的名称

4.登录到第1步中列出的对应节点的topic的log数据目录,此处我们Kafka的log.dirs目录配置为/var/local/kakfa,执行命令

[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/

5.验证是否生效

创建一个名称为“test”的Topic,可以正常创建

注意:此处将topic为test的日志目录(/var/local/kafka/test-0)删除后,新创建的topic为test的日志目录不存在,重启Kafka服务后正常,目录能正常显示。

4.2方法2

在Kafka服务已配置delete.topic.enable=true的情况下,永久删除topic需要做如下操作:

  • 使用kafka命令删除topic

操作如下:

  1. 删除前数据查看:

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

各个数据节点的信息:

Zookeeper信息:

2.通过kafka命令删除需要删除的topic,命令如下

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.查看Zookeeper客户端topic信息

[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

4.查看brober节点上topic的日志数据

5.删除后成功后,验证是否能创建名称为test的Topic

注意:

如果Kafka服务配置了delete.topic.enable=true,直接通过命令行删除,未能删除Topic则可以通过zookeeper-client来进行删除。

如果Kafka服务未配置delete.topic.enable=true,直接通过delete命令删除topic,删除时只会将topic标记为“marked for deletion”,然后通过zookeeper-client进行删除是不会删除topic的data.log数据目录的,需要将相应的broker服务器上的data.log目录下相应的topic目录删除,data.log目录获取,可以通过CM界面查看:

建议:Kafka服务开启delete.topic.enable=true,开启方式如下:

开启后需要重启Kafka服务。

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!

欢迎关注Hadoop实操,第一时间,分享更多Hadoop干货,喜欢请关注分享。

© 著作权归作者所有

共有 人打赏支持
Hadoop实操
粉丝 0
博文 42
码字总数 66713
作品 0
南戴河
私信 提问
Kafka 1.1.0 Topic 管理

Kafka Topic 创建topic bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 3 查看topic bin/kafka-topics.sh --zookeeper zk0:2181,zk1:2181,zk2:218......

idoz
04/18
0
0
Kafka集群Broker没起到负载均衡作用

目前Kafka集群部署了4个Broker节点,但在压测的过程中,推送消息到Kafka没有起到负载均衡,都只推送到一台Broker节点, 1、查看推送程序物理机连接kafka端口6667的TCP连接,确实只有一台 [r...

yjh314
2017/11/02
0
0
浅谈开源Kafka与腾讯云cKafka

今天下午参加了腾讯云+社区组织的kafka公开课,收获良多。正巧在工作中也遇到过kafka的问题,今天听完之后产生了非常多的感想。无奈篇幅有限,本人又文笔愚钝,所以今天的分享主要提及对我感...

老张的技术
06/19
0
0
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建ApacheKafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apachekafka消息服务 2)kafak安装与使用 ...

dannyhe
2015/09/06
453
1
1、Kafka快速入门秘籍:背景介绍,应用场景分析、核心架构分析

一、背景介绍 引言:其实这段背景,我们之前介绍RabbitMQ的时候,已经说过了,我们这里讲kakfa的时候,再把这一段给拿出来,再说明下。在讲实战前,我们还是有必要讲解下理论的,理论为辅,实...

极客慧
11/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

windows下让 jar 在后台运行的办法

windows下 运行 java jar 不出现 命令行 窗口 新建一个披处理 run.bat,内容如下 @echo off start javaw -jar xx.jar exit 双击运行即可。...

glen_xu
11分钟前
1
0
jdk1.8 lambda stream 指定的对象属性进行去重

原因:因为Stream提供的distinct()方法只能去除重复的对象,无法根据指定的对象属性进行去重,可以应付简单场景。 解决方案: //去重,共同信息保存到bizPledgeSupplierVOs里bizPledgeSupp...

INSISTQIAO
14分钟前
0
0
vue nextTick深入理解---vue性能优化、DOM更新时机、事件循环机制

定义[nextTick、事件循环] nextTick的由来: 由于vue的数据驱动视图更新是异步的,即修改数据的当下,视图不会立即更新,而是等同一事件循环中的所有数据变化完成之后再统一进行视图更新。...

JamesView
22分钟前
1
0
常用汉字编码

GB2312 仅包含大部分的常用简体汉字,但已经不能适应现在的需要; GB13000 由于GB2312的局限性,国家标准化委员会制定了GB13000编码; 但由于当时的硬件和软件都已经支持了GB2312,而GB13000...

晨猫
24分钟前
1
0
纳尼?我的Gradle build编译只要1s

https://juejin.im/post/5c00ec39e51d4555ec0394f6

SuShine
25分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部