storm kafka出现错误或fail后,是否继续处理数据?

原创
2017/03/13 16:57
阅读数 107

在可靠性Topology中,storm消费kafka中的数据,当storm ui中出现错误或fail的时候,以后的数据会继续通过Topology被处理完成,但是此时zk中的出现问题的partition的offset是不变的(保留在出错位置,没有出错的partition的offset正常更新),当Topology修复重启后,会从出错位置继续执行,因此可靠性Topology能保证数据至少被处理一次,但是会造成数据重复问题,要注意处理。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部