文档章节

kafka0.8.1.1彻底删除topic并清空log内容

a
 allantaylor81
发布于 2015/04/16 18:15
字数 352
阅读 42
收藏 0

kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic,以前看过网上一些删除命令不过只是在zookeeper注销信息而已,但是实际的日志内容还是保存在kafka log中,因为个人需要所以慢慢琢磨了方法彻底清除topic(ps:kafka0.8.2好像直接支持直接删除,不过现在还是beta版 )。

本人机器环境如下:

Kafka目录:/usr/local/kafka_2.10-0.8.1.1

日志保存目录log.dirs:/data1/kafka/log/

删除的topic名字:zitest2

(1) 从zookeerer删除信息:

/usr/local/kafka_2.10-0.8.1.1/bin/kafka-run-class.shkafka.admin.DeleteTopicCommand --zookeeper 10.12.0.91:2181,10.12.0.92:2181,10.12.0.93:2181/kafka--topic zitest2

成功后返回信息:deletion succeeded!

(2) JPS查看kill掉QuorumPeerMain和Kafka进程

(3)从log.dirs目录删除文件,可以看到多个子目录名字如zitest2-0,zitest2-1…zitest2-n(就是你topic的partition个数)

rm  –fr  zitest2-0……zitest2-n

(4)  修改日志目录的recovery-point-offset-checkpoint和replication-offset-checkpoint文件(要小心删除,否则待会kafka不能正常启动起来)

replication-offset-checkpoint格式如下:

  0

  4(partition总数)

  zitest2 0 0

  zitest2  3 0

  hehe 0 0

  hehe 1 0

修改后如下:

  0

  2(partition总数)

  hehe 0 0

  hehe 1 0

把含有zitest2行全部去掉,并且把partition总数修改为减去zitest2的partition的剩余数目,同理recovery-point-offset-checkpoint也是这样修改。

完成后就可以正常启动zookeeper和kafka。

本文转载自:http://www.aboutyun.com/blog-19-791.html

共有 人打赏支持
a
粉丝 2
博文 120
码字总数 2912
作品 0
东城
私信 提问
Linux true命令清空文件内容

背景 有些时候我们需要清空文件内容, 但是不需要删除文件, 比如一些日志文件 a.log, 这时候可以使用 Linux 下的 true 命令。 使用示例 新建测试文件 添加文件内容 使用 vim 命令编辑 test.l...

JackieYeah
2016/07/19
138
0
Apache Kafka:分布式集群搭建(0.8.2.2V)

Kafka 和 Spack 都是使用 Scala语言编写的,使用 Kafka + Spack ,在搭建 Kafka集群,下载0.8V的Kafka时,就需要特别注意的是: 根据Spack目前所支持的Scala版本,去下载对应Scaka版本编写的...

翻船全靠浪
2015/10/27
0
0
如何清空rocketmq消息

停止 rocketmq:kill -9 全干掉就好 2. 删除 /root下的 logs/rocketmqlogs : 大量日志 删除 /root/store : 貌似是积攒的MQ中的topic等信息 [optional] 清空MQ里显示的topic sh mqadmin topi...

tantexian
2016/06/30
1K
0
基于Fourinone实现MQ demo

FourInOne也可以当成简单的mq来使用,该demo演示了队列和主题订阅两种模式的实现 一、队列 将domain视为mq队列,每个node为一个队列消息,检查domain的变化来获取队列消息。 Sender:是一个队...

fourinone
2011/08/30
0
0
关于Kafka的其他一些内容,堆积情况,retention,auto.offset.reset

producer是线程安全的,多线程分享共用一个producer比用多个 producer整体上要快 如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入。...

鲸落大叔
06/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

使用正则表达式实现网页爬虫的思路详解

网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。这篇文章主要介绍了使用正则表达式实现网页爬虫的思路详解,需要的朋友可以参考下 网页爬虫:就是一个程序用于在互联网中获取指定规...

前端小攻略
33分钟前
0
0
vue中锚点的三种方法

第一种: router.js中添加 mode: 'history', srcollBehavior(to,from,savedPosition){ if(to.hash){ return {selector:to.hash } } } 组件: <template><div><ul class="li......

peakedness丶
34分钟前
0
0
记一次面试最常见的10个Redis"刁难"问题

导读:在程序员面试过程中Redis相关的知识是常被问到的话题。作为一名在互联网技术行业打击过成百上千名的资深技术面试官,本文作者总结了面试过程中经常问到的问题。十分值得一读。 Redis在...

小刀爱编程
今天
20
0
TiDB Lab 诞生记 | TiDB Hackathon 优秀项目分享

本文由红凤凰粉凤凰粉红凤凰队的成员主笔,他们的项目 TiDB Lab 在本届 TiDB Hackathon 2018 中获得了二等奖。TiDB Lab 为 TiDB 培训体系增加了一个可以动态观测 TiDB / TiKV / PD 细节的动画...

TiDB
今天
5
0
当区块链遇到零知识证明

本文由云+社区发表 当区块链遇到零知识证明 什么是零知识证明 零知识证明的官方定义是能够在不向验证者任何有用的信息的情况下,使验证者相信某个论断是正确的。这个定义有点抽象,下面笔者举...

腾讯云加社区
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部