storm容易混淆的继承对象的对比IRichBolt/IBasicBolt
storm容易混淆的继承对象的对比IRichBolt/IBasicBolt
如风达 发表于3年前
storm容易混淆的继承对象的对比IRichBolt/IBasicBolt
  • 发表于 3年前
  • 阅读 105
  • 收藏 0
  • 点赞 0
  • 评论 0


IBolt

package backtype.storm.task;

public interface IBolt extends Serializable

接收tuple作为输入,输出tuple,可以用来作过滤,连结,聚合等。

IBolt提交到Nimbus后,Nimbus将作业发送到worker后,每个task初始化时都会调用prepare。

 

TopologyContext

package backtype.storm.task;

public class TopologyContext extends WorkerTopologyContext implements IMetricsContext

TopologyContext向bolts 和spouts 提供”prepare” and “open” 方法。 TopologyContext提供了组件的各种信息,流的信息,task的信息等。

ShellSpout/ShellBolt

package backtype.storm.task;

public class ShellSpout implements ISpout 

package backtype.storm.spout;

public class ShellBolt implements IBolt 

Storm可以用其它语言来实现SpoutBolt的功能,如PythonRubyShellSpout /ShellBolt 采用一个特别的协议,通过标准IO和其通信。

IRichBolt/IBasicBolt

区别IRichBoltIBasicBolt

IRichBolt继承自IBoltIComponentIBasicBolt继承自IComponent,和IBolt没有继承关系。

实现IRichBoltBolt有:BaseRichBolt,ClojureBolt,CoordinatedBolt,KeyedFairBolt,RichShellBolt等。

实现IBasicBolt的有:BaseBasicBolt,IdentityBolt,PrepareBatchBolt等。

他们的区别在于IRichBolt需要手动的ackfail消息,若不ack,很快就outOfMemory了;而IBasicBolt不需要确认消息,自动完成。

看下面的OutputCollector和BasicOutputCollector。

OutputCollector/BasicOutputCollector

OutputCollector实现了IOutputCollector,方法有:emit,emitDirect,ack,fail。

BasicOutputCollector实现了IBasicOutputCollector,方法有:emit,emitDirect,reportError。

可以看到,OutputCollector暴露了emit APIIRichBolt,包括了ackfail,用来对应消息成功/失败后的处理,可以保证消息不丢失。具体可以看:如何保证消息不丢失

而BasicOutputCollector没有此api对应于IBasicBolt。

IBatchBolt

顾名思义,批处理的Bolt,与IRichBoltIBasicBolt也没有继承关系。这个bolt对象每次处理一批batch在一起的tuples。对于每一个tuple调用execute方法。而在整个batch处理完成的时候调用finishBatch方法。然后新来一批tuples,会产生新的batchBolt来处理。具体可以见:

http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/

BatchOutputCollector

和IBatchBolt对应的Collector

BaseTransactionalBolt

事务性的Bolt

记住:继承了BaseTransactionalBolt的classexecute方法中获取tuple时,应从下标为1开始获取,第0个为TransactionAttempt对象,为<txid,_attemptId>,用来记录tuples重放时。因为事务性的bolt继承了批处理的bolt,具体还是见IBatchBolt中关于事务性拓扑的链接。


共有 人打赏支持
粉丝 8
博文 127
码字总数 19894
评论 (0)
×
如风达
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: