Kafka producer使用注意

原创
2013/03/19 00:14
阅读数 1W

最近在测试kafka性能的时候特别对kafkaproducer端进行了一些扩展,本想着针对多个业务开发多个producer进行并行的生产数据,并通过统一的线程池进行管理,结果在用jconsole进行观察的时候,发现线程数一路飙升。

本以为一个简单的发送端程序却花了不少精力。造成线程上涨的主要原因是有两个线程对象不断的被创建,并且暂时无法销毁。一个叫sendThread,另一个叫eventThread。并且由于这两类线程驻留在线程池内,也无法回收线程资源。

google中很容易找到这两个线程的来源,zookeeperZkClient去连接zookeeperserver时候都会创建sendThreadeventThread两个线程,其中sendThread主要用于clientserver端之间的网络连接,真正的处理线程由eventThread来执行。Zookeeper是一个分布式的协调框架,而分布式应用中经常会出现动态的增加或删除节点的操作,所以为了实时了解分布式整个节点的数量和基本信息,就有必要维护一个长连接的线程与服务端保持连接。另外zookeeper连接时占用的时间也比较长,如果每次生产数据时都连接发起一次连接势必造成了大量时间的耗费。

所以推荐将producer端改写成单例模式,有助于减少zookeeper端占用的资源。Producer自身是线程安全的类,只要封装得当就能最恰当的发挥好producer的作用。

另外producer分同步producer和异步producer两种发送方式,基本代码都相似,只需要在创建对象的时候new不同的对象即可。如果需要较高的实时性,则推荐使用同步方式发送数据,如果对实时性要求并不高则可采用异步方式发送数据,降低系统的开销。

展开阅读全文
打赏
4
5 收藏
分享
加载中

引用来自“asdfsx”的评论

0.8中producer不需要再连接zookeeper了,就不需要再注意这个问题了吧
kafka 0.8.1 document : Kafka uses ZooKeeper so you need to first start a ZooKeeper server if you don't already have one.
2014/07/02 17:21
回复
举报
0.8中producer不需要再连接zookeeper了,就不需要再注意这个问题了吧
2013/12/04 18:47
回复
举报
更多评论
打赏
2 评论
5 收藏
4
分享
返回顶部
顶部