kafka系列文章索引

原创
2013/03/25 21:36
阅读数 2.2W

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现,这里写个索引,关于kafka的文章暂时就更新到这里,最近利用空闲时间在对kafka做一些功能性增强,并java化,虽然现在已经有很多这样的版本,但是根据实际需求来改变才是最适合的。

首先当然推荐的是kafka的官网 http://kafka.apache.org/ 

在官网最值得参考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是参照这里的说明,大家要特别重视这篇文章,里面有好多理念都特别好,推荐多读几遍。

在OSC的翻译频道有kafka design全中文的翻译,翻得挺好的,推荐一下:http://www.oschina.net/translate/kafka-design

kafka的wiki是很不错的学习文档:https://cwiki.apache.org/confluence/display/KAFKA/Index

——————————————————————————————————

接下来就是我写的一系列文章,文章都是循序渐进的方式带你了解kafka:

关于kafka的基本知识,分布式的基础:《分布式消息系统Kafka初步》

kafka的分布式搭建,quick start:《kafka分布式环境搭建》

关于kafka的实现细节,这主要就是讲design的部分:《细节上》《细节下》

关于kafka开发环境,scala环境的搭建:《开发环境搭建》

数据生产者,producer的用法:《producer的用法》《producer使用注意》

数据消费者,consumer的用法:《consumer的用法》

还有些零碎的,关于通信段的源码解读:《net包源码解读》《broker配置》

——————————————————————————————————

扩展的阅读还有下面这些:

我的好友写的关于kafka和jafka的相关博客,特别好,我有很多问题也都找他解决的,大神一般的存在:http://rockybean.github.com/   @rockybean

kafka的java化版本jafka:https://github.com/adyliu/jafka

淘宝的metaQ:https://github.com/killme2008/Metamorphosis

我最近在写的inforQ,刚开始写,我也纯粹是为了读下源码,不定期更新哈:https://github.com/ielts0909/inforq

后面一阶段可能更新点儿关于cas的东西吧,具体也没想好,最近一直出差,写代码的时间都很少

--------------------------------------------------------------------------------

0.8版本的相关更新如下:

0.8更新内容介绍:《kafka0.8版本的一些更新》

展开阅读全文
打赏
17
93 收藏
分享
加载中
请教一下,Kafka是否更适用于多生产者少消费者的场景,比如日志系统?像传统的新闻订阅、发布系统是否适用?有没有更好的推荐解决方案?
2014/06/18 10:00
回复
举报
Gaischen博主

引用来自“最深的蓝”的评论

我的项目中client相当于producer,server相当于consumer

你这个模式跟热备一样,consumer的分布式不需要你去关心到底是哪台机器在消费,他只保证了消息都被消费了,你这样的方式就是用同一个groupid去实现
2013/07/01 16:17
回复
举报
我的项目中client相当于producer,server相当于consumer
2013/07/01 15:51
回复
举报
我现在的项目需要实现如下功能:启动两个server:server1与server2,client通过消息系统与server1通信,当server1因故障挂掉时client自动与server2通信。不知kafka能否实现?望指教!
2013/07/01 15:48
回复
举报
Gaischen博主

引用来自“eonezhang”的评论

这是个做什么的框架呢

日志 消息系统 都能做 淘宝有个改写的meta 就是阿里旺旺的一个核心组件
2013/04/20 17:10
回复
举报
这是个做什么的框架呢
2013/04/20 10:34
回复
举报
hacking的感觉
2013/03/25 22:26
回复
举报
更多评论
打赏
7 评论
93 收藏
17
分享
返回顶部
顶部