文档章节

storm kafka出现错误或fail后,是否继续处理数据?

 张欢19933
发布于 2017/03/13 16:57
字数 149
阅读 40
收藏 0

在可靠性Topology中,storm消费kafka中的数据,当storm ui中出现错误或fail的时候,以后的数据会继续通过Topology被处理完成,但是此时zk中的出现问题的partition的offset是不变的(保留在出错位置,没有出错的partition的offset正常更新),当Topology修复重启后,会从出错位置继续执行,因此可靠性Topology能保证数据至少被处理一次,但是会造成数据重复问题,要注意处理。

© 著作权归作者所有

粉丝 47
博文 532
码字总数 244932
作品 0
海淀
私信 提问
交易系统使用storm,在消息高可靠情况下,如何避免消息重复

概要:在使用storm分布式计算框架进行数据处理时,如何保证进入storm的消息的一定会被处理,且不会被重复处理。这个时候仅仅开启storm的ack机制并不能解决上述问题。那么该如何设计出一个好的...

刘洋intsmaze
2016/12/26
0
0
聊聊storm-kafka-client的ProcessingGuarantee

序 本文主要研究一下storm-kafka-client的ProcessingGuarantee ProcessingGuarantee storm-kafka-client-1.2.2-sources.jar!/org/apache/storm/kafka/spout/KafkaSpoutConfig.java storm-ka......

go4it
2018/11/11
29
0
storm kafka 编程指南

一、原理及关键步骤介绍 storm中的storm-kafka组件提供了storm与kafka交互的所需的所有功能,请参考其官方文档:https://github.com/apache/storm/tree/master/external/storm-kafka#broker...

大数据之路
2012/06/27
611
0
Apache Storm 1.2.0,1.1.2 和 1.0.6 发布

Apache Storm 1.2.0,1.1.2 和 1.0.6 发布了。主要更新内容及下载地址如下: 1.2.0 New Feature [STORM-2383] - [storm-hbase] Support HBase as state backend [STORM-2484] - Flux: suppo......

达尔文
2018/02/18
1K
0
storm集群 + kafka单机性能测试

storm与kafka单机功能整合很顺利,但是到了storm集群环境和数据处理性能时则出现了一些问题,现将测试过程和问题简单记录如下: 性能指标:每分钟处理至少100万的信息(csv格式,100bytes左右...

GoldenRoc
2014/09/26
4.2K
2

没有更多内容

加载失败,请刷新页面

加载更多

maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
今天
8
0
Linux创建yum仓库

第一步、搞定自己的光盘 #创建文件夹 mkdir -p /media/cdrom #挂载光盘 mount /dev/cdrom /media/cdrom #编辑配置文件使其永久生效 vim /etc/fstab 第二步,编辑yun源 vim /ect yum.repos.d...

究极小怪兽zzz
今天
6
0
jar 更新部分文件

C:\Program Files (x86)\Java\jdk1.8.0_102\bin>jar -hIllegal option: hUsage: jar {ctxui}[vfmn0PMe] [jar-file] [manifest-file] [entry-point] [-C dir] files ...Options: -c c......

圣洁之子
今天
9
0
OSChina 周六乱弹 —— 感谢女装红薯开办了这个网站

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @胖达panda:分享歌词: 我有一只小毛驴我从来也不骑,有一天我心血来潮骑着去赶集,我手里拿着小皮鞭我心里正得意,不知怎么哗啦啦,我摔了一...

小小编辑
今天
2.6K
13
DDD(四)

1,引言 软件开发者大多趋向于将关注点放在数据上,而不是领域上。这对于刚入门的DDD的新手而言也是如此。以我目前的思考方式,数据库依然占据主要的地位。开发一个功能,首先我就会考虑我会...

MrYuZixian
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部