文档章节

kafka0.8.1.1彻底删除topic并清空log内容

a
 allantaylor81
发布于 2015/04/16 18:15
字数 352
阅读 39
收藏 0
点赞 0
评论 0

kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic,以前看过网上一些删除命令不过只是在zookeeper注销信息而已,但是实际的日志内容还是保存在kafka log中,因为个人需要所以慢慢琢磨了方法彻底清除topic(ps:kafka0.8.2好像直接支持直接删除,不过现在还是beta版 )。

本人机器环境如下:

Kafka目录:/usr/local/kafka_2.10-0.8.1.1

日志保存目录log.dirs:/data1/kafka/log/

删除的topic名字:zitest2

(1) 从zookeerer删除信息:

/usr/local/kafka_2.10-0.8.1.1/bin/kafka-run-class.shkafka.admin.DeleteTopicCommand --zookeeper 10.12.0.91:2181,10.12.0.92:2181,10.12.0.93:2181/kafka--topic zitest2

成功后返回信息:deletion succeeded!

(2) JPS查看kill掉QuorumPeerMain和Kafka进程

(3)从log.dirs目录删除文件,可以看到多个子目录名字如zitest2-0,zitest2-1…zitest2-n(就是你topic的partition个数)

rm  –fr  zitest2-0……zitest2-n

(4)  修改日志目录的recovery-point-offset-checkpoint和replication-offset-checkpoint文件(要小心删除,否则待会kafka不能正常启动起来)

replication-offset-checkpoint格式如下:

  0

  4(partition总数)

  zitest2 0 0

  zitest2  3 0

  hehe 0 0

  hehe 1 0

修改后如下:

  0

  2(partition总数)

  hehe 0 0

  hehe 1 0

把含有zitest2行全部去掉,并且把partition总数修改为减去zitest2的partition的剩余数目,同理recovery-point-offset-checkpoint也是这样修改。

完成后就可以正常启动zookeeper和kafka。

本文转载自:http://www.aboutyun.com/blog-19-791.html

共有 人打赏支持
a
粉丝 2
博文 106
码字总数 2912
作品 0
东城
Apache Kafka:分布式集群搭建(0.8.2.2V)

Kafka 和 Spack 都是使用 Scala语言编写的,使用 Kafka + Spack ,在搭建 Kafka集群,下载0.8V的Kafka时,就需要特别注意的是: 根据Spack目前所支持的Scala版本,去下载对应Scaka版本编写的...

翻船全靠浪 ⋅ 2015/10/27 ⋅ 0

Linux true命令清空文件内容

背景 有些时候我们需要清空文件内容, 但是不需要删除文件, 比如一些日志文件 a.log, 这时候可以使用 Linux 下的 true 命令。 使用示例 新建测试文件 添加文件内容 使用 vim 命令编辑 test.l...

JackieYeah ⋅ 2016/07/19 ⋅ 0

基于Fourinone实现MQ demo

FourInOne也可以当成简单的mq来使用,该demo演示了队列和主题订阅两种模式的实现 一、队列 将domain视为mq队列,每个node为一个队列消息,检查domain的变化来获取队列消息。 Sender:是一个队...

fourinone ⋅ 2011/08/30 ⋅ 0

如何清空rocketmq消息

停止 rocketmq:kill -9 全干掉就好 2. 删除 /root下的 logs/rocketmqlogs : 大量日志 删除 /root/store : 貌似是积攒的MQ中的topic等信息 [optional] 清空MQ里显示的topic sh mqadmin topi...

tantexian ⋅ 2016/06/30 ⋅ 0

MetaQ Log4j及服务器配置管理

一、使用Log4j扩展发送消息 Metaq还支持log4j发送消息,通过log4j写入的任何日志信息都将以消息的方式发送到Metaq的Broker服务器,只要通过简单的配置就可以。 如果要用到log4j扩展,你需要使...

一枚Sir ⋅ 2015/11/03 ⋅ 0

关于Kafka的其他一些内容,堆积情况,retention,auto.offset.reset

producer是线程安全的,多线程分享共用一个producer比用多个 producer整体上要快 如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入。...

鲸落大叔 ⋅ 06/15 ⋅ 0

Kafka 1.1.0 Topic 管理

Kafka Topic 创建topic bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 3 查看topic bin/kafka-topics.sh --zookeeper zk0:2181,zk1:2181,zk2:218......

idoz ⋅ 04/18 ⋅ 0

Mac OS X系统的4种实用的废纸篓快捷键

Mac OS X系统的4种实用的废纸篓快捷键(在Finder状态下操作): 1.将某个项目直接删除至废纸篓(command + delete) 在选取任何文件或文件夹时,此快捷键组合会将项目立刻删除,被删除的项目将...

有钱有爱 ⋅ 2016/04/25 ⋅ 0

Kafka+Log4j实现日志集中管理

引言 前段时间写的《Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析》得到了许多同学的认可,在认可的同时,也有同学提出可以使用Kafka来集中管理日志,于是今天就来学习一下。 特别说...

摆渡者 ⋅ 2015/12/08 ⋅ 25

kafka文件存储机制

每一个topic,分为多个partition,每一个partition在文件系统当中是一个文件夹。 而每一个partition当中,又分成了多个segment,每个segment,包括了2个文件,.index文件和.log文件,分别是消...

大胖和二胖 ⋅ 2016/11/25 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

JPA入门,配置文件的设置

<?xml version="1.0" encoding="UTF-8"?> <persistence xmlns="http://java.sun.com/xml/ns/persistence" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http......

码农屌丝 ⋅ 23分钟前 ⋅ 0

Java基础——面向对象和构造器

声明:本栏目所使用的素材都是凯哥学堂VIP学员所写,学员有权匿名,对文章有最终解释权;凯哥学堂旨在促进VIP学员互相学习的基础上公开笔记。 静态成员介绍 为什么要有静态成员?静态成员用来...

凯哥学堂 ⋅ 24分钟前 ⋅ 0

vmware中Centos 7 linux的LVM磁盘扩容

系统是RHEL7(centos7差不多一样) 关闭系统,在vmware、设置、硬盘、扩展、输入数字大于当前系统内存、点击扩展。 开机再查看磁盘信息 fdisk -l 注意:可以看出sda磁盘增加了,但是根目录还...

gugudu ⋅ 35分钟前 ⋅ 0

JAVA线程sleep和wait方法区别

昨天面试,突然被问到sleep 和 wait的区别,一下子有点蒙,在这里记一下,以示警戒。 首先说sleep,sleep就是正在执行的线程主动让出cpu,cpu去执行其他线程,在sleep指定的时间过去后,cpu...

徐玉强 ⋅ 37分钟前 ⋅ 0

vuex学习--模块

随着项目复杂性增加,共享状态也越来越多。需要对转态操作进行分组,分组后在进行分组编写。学习一下module:状态管理器的模块组操作。 首先是声明: const moduleA={ state,mutations,g...

大美琴 ⋅ 39分钟前 ⋅ 0

Selenium 简单入门

安装 pip install selenium 驱动下载 https://chromedriver.storage.googleapis.com/index.html 下载最新的驱动,放入path中,可以放入Python的scripts目录下,也可以放入Chrome安装目录,并...

阿豪boy ⋅ 41分钟前 ⋅ 0

292. Nim Game - LeetCode

Question 292. Nim Game Solution 思路:试着列举一下,就能发现一个n只要不是4的倍数,就能赢。 n 是否能赢1 true2 true3 true4 false 不论删除几,对方都能一把赢5 t...

yysue ⋅ 今天 ⋅ 0

6.5 zip压缩工具 6.6 tar打包 6.7 打包并压缩

zip压缩工具 zip命令可以压缩目录和文件,-r 压缩目录。 zip使用方法 zip 1.txt.zip 1.txt //压缩文件 zip -r 123.zip 123/ //压缩目录 unzip 1.txt.zip //解压 unzip 123.zip -d /root/456...

Linux_老吴 ⋅ 今天 ⋅ 0

react-loadable使用跳坑

官方给react-loadable的定义是: A higher order component for loading components with dynamic imports. 动态路由示例 withLoadable.js import React from 'react'import Loadable fro......

pengqinmm ⋅ 今天 ⋅ 0

记录工作中遇到的坑

1、ios safari浏览器向下滚动会触发window resize事件

端木遗风 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部