文档章节

STORM 定时任务

吹比龙
 吹比龙
发布于 2016/12/08 14:03
字数 100
阅读 195
收藏 0

1、重写 IComponent的getComponentConfiguration()方法

 @Override
    public Map<String, Object> getComponentConfiguration() {
        Config conf = new Config();
        // 此作用为定时3分钟一次请求
        conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 3 * 60);
        return conf;

    }

2、在bolt的execute()方法区分Tuple类型

 @Override
    public void execute(Tuple input, BasicOutputCollector collector) {
// 判断是否是定时请求的tuple
            if (TupleUtils.isTick(input)) {
                // 做定时任务的事
                return;// 别忘了
            } else {
                // ****
                collector.emit(new Values(yshp,msg));
            }
}

 

© 著作权归作者所有

共有 人打赏支持
上一篇: Storm 调优
吹比龙
粉丝 5
博文 120
码字总数 35497
作品 0
合肥
程序员
私信 提问
有没有人用过storm啊

需求是这样的:我们有一个定时任务 该任务执行时会启动多线程 现在我只是想用storm来实现动态扩容 就是说如果现有的服务器不能满足计算的实时性要求 那么我可以添加机器到集群中 重新配置一下...

人头马没面
2013/09/24
612
0
Apache Storm简介及安装部署

Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming...

风火数据
07/20
0
0
Storm集群的定时任务问题

Storm集群使用Storm自带的定时任务时,当执行定时任务时会丢数据。怎么解决?

H_优雅君
04/10
1K
0
storm client command

最近在研究实时日志分析,storm确实不错,以下是命令参数: storm help Syntax: storm jar topology-jar-path class 运行jar包中类的主函数和指定的参数 Commands: activate storm activate ...

China_OS
2014/02/22
0
0
Storm笔记整理(五):可靠性分析、定时任务与Storm UI参数详解

[TOC] 特别说明:前面的四篇Storm笔记中,关于计算总和的例子中的spout,使用了死循环的逻辑,实际上这样做是不正确的,原因很简单,Storm提供给我们的API中,nextTuple方法就是循环执行了,...

xpleaf
04/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周二乱弹 —— 其实我在地板也睡不着

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @witt-z :分享歌词: 阴天 在不开灯的房间,当所有思绪都一点一点沉淀。 分享莫文蔚的单曲《阴天》: 《阴天》- 莫文蔚 手机党少年们想听歌,...

小小编辑
19分钟前
14
3
微服务分布式事务实现

https://www.processon.com/view/link/5b2144d7e4b001a14d3d2d30

WALK_MAN
今天
3
0
《大漠烟尘》读书笔记及读后感文章3700字

《大漠烟尘》读书笔记及读后感文章3700字: 在这个浮躁的社会里,你有多久没有好好读完一本书了? 我们总觉得自己和别人不一样,所以当看到别人身上的问题时,很少有“反求诸己”,反思自己。...

原创小博客
今天
4
0
大数据教程(9.5)用MR实现sql中的jion逻辑

上一篇博客讲解了使用jar -jar的方式来运行提交MR程序,以及通过修改YarnRunner的源码来实现MR的windows开发环境提交到集群的方式。本篇博主将分享sql中常见的join操作。 一、需求 订单数据表...

em_aaron
今天
3
0
十万个为什么之什么是resultful规范

起源 越来越多的人开始意识到,网站即软件,而且是一种新型的软件。这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency)、高并发等特点...

尾生
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部