文档章节

Consumer is not subscribed to any topics

九州暮云
 九州暮云
发布于 2018/08/11 16:04
字数 271
阅读 622
收藏 0

产生该问题的原因主要是zookeeper中存在旧版本的kafka-connect topic信息,导致新版本的kafka-connect启动异常:

ERROR Unexpected exception in Thread[KafkaBasedLog Work Thread - connect-configs,5,main] (org.apache.kafka.connect.util.KafkaBasedLog:334)
java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitions
 at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1109)
 at org.apache.kafka.connect.util.KafkaBasedLog.poll(KafkaBasedLog.java:256)
 at org.apache.kafka.connect.util.KafkaBasedLog.access$500(KafkaBasedLog.java:69)
 at org.apache.kafka.connect.util.KafkaBasedLog$WorkThread.run(KafkaBasedLog.java:327)

解决办法:

(1) 使用kafka命令列出所有与connect相关的topic

bin/kafka-topics.sh --list --zookeeper 10.255.8.102:2181

输出:

__consumer_offsets
ambari_kafka_service_check
connect-configs
connect-offsets
connect-status

(2)使用kafka命令删除所有与connect相关的topic

bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-configs
bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-offsets
bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-status

最后验证是否删除:

bin/kafka-topics.sh --list --zookeeper 10.255.8.102:2181

输出:

__consumer_offsets
ambari_kafka_service_check
connect-configs - marked for deletion
connect-offsets - marked for deletion
connect-status - marked for deletion

输出信息中显示三个connect topic已被标记删除了,要想彻底删除,需要在kafkaserver.properties配置文件里设置delete.topic.enable=true

© 著作权归作者所有

九州暮云
粉丝 63
博文 156
码字总数 107390
作品 0
海淀
高级程序员
私信 提问
聊聊kafka的partition分配

序 本文主要研究一下kafka的partition分配,主要是key到parition的映射,partition对consumer的分配,以及partition的replica对broker/machine的分配。 1.key到partition的映射 在kafka0.8版...

go4it
2017/10/25
0
0
RabbitMQ-发送消息方式Round-Robin

When a Rabbit queue has multiple consumers, messages received by the queue are served in a round-robin fashion to the consumers. Each message is sent to only one consumer subscr......

andrew810810
2016/08/02
99
0
Kafka系列4-基本概念及消费者组(Consumer Group)的理解

几个基本概念: Kafka是一个分布式流数据系统,使用Zookeeper进行集群的管理。与其他消息系统类似,整个系统由生产者、Broker Server和消费者三部分组成,生产者和消费者由开发人员编写,通过...

kuluzs
2017/05/04
0
0
Redis的Pub/Sub模式

Redis同样支持消息的发布/订阅(Pub/Sub)模式,这和中间件activemq有些类似。订阅者(Subscriber)可以订阅自己感兴趣的频道(Channel),发布者(Publisher)可以将消息发往指定的频道(C...

摆渡者
2016/01/12
7.9K
0
Kafka在zookeeper中的存储

一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topic......

飓风2000
2018/09/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

那些你可能不知道的视频下载奇技淫巧

之前已经写过好几篇的奇技淫巧系列了,今天说说怎么快速下载视频。 我平常经常看视频的网站就是爱奇艺,b站,微博,知乎,网易这些。 这里以微博为例,下载周杰伦的《晴天》,微博地址是 ht...

苏生不惑
10分钟前
0
0
桶排序

private static double[] bucketSort(double[] array){ //1.得到数列的最大值和最小值,并算出差值d double max=array[0]; double min=array[0];// 找出......

暗中观察
28分钟前
0
0
为什么加个注解@Transtaional就可以保证事务的一致性和完整性?

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xmlns:context="http:......

architect刘源源
今天
44
0
硅谷对于禁华为坐立不安

5 月 15 日,美国商务部决定把华为及其多家关联公司列入一份“实体名单”后,20 日又宣布给与华为 90 天“临时执照”,为“依赖华为设备的美国通信商留出余地”。 尽管目前给出了“临时执照”...

linuxCool
今天
5
0
Java—System类入门学习

第三阶段 JAVA常见对象的学习 System类 System类包含一些有用的字段和方法,他不能被实例化 //用于垃圾回收public static void gc()//终止正在运行的java虚拟机。参数用作状态码,根据惯例...

BWH_Steven
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部