文档章节

Storm中数据的输入输出

j
 jmppok
发布于 2015/03/25 10:08
字数 392
阅读 90
收藏 0

转载请注明出处:http://blog.csdn.net/jmppok/article/details/17284817

概述

Storm是一个实时流处理系统,其中运行的是Topology。初学Storm的小伙伴可能会有这样的问题:

我写了Spout和Bolt,创建了Topology,提交到了Cluster中,然后呢?

怎么访问并使用这个Topology呢?

想象中的办法

刚开始接触Storm的时候,我猜想大概可以通过在Spout中监听一个端口如TCP Socket,HTTP之类的,外面向这个端口发送数据. 然后再最后一个Bolt中将处理数据写入文件/数据库/或者发送到指定的地址上。

理论上感觉应该是可行的,但是没有实践。

实际可以通过DPRC访问

进一步研究,发现有DRPC这个咚咚,只需要起一个DRPC Server ,并且把Topology创建为DRPC Topology,提交。就可以通过DRPCClient对该topology进行访问了。十分方便。

Storm中专业的做法

再深入一步,发现原来Storm中正确的做法应该是这样的:

集成一个通讯中间件,外部应用通过该中间件发送数据,Spout订阅这些数据,并发射....,当Bolt处理完之后又可通过该通讯中间件发送出去给应用。

具体可参考:https://github.com/nathanmarz/storm/wiki/Spout-implementations

Spout implementations


本文转载自:http://blog.csdn.net/jmppok/article/details/17284817

j

jmppok

粉丝 10
博文 138
码字总数 0
作品 2
海淀
高级程序员
私信 提问
加载中

评论(0)

使用 Twitter Storm 处理实时的大数据

使用 Twitter Storm 处理实时的大数据 流式处理大数据简介 IBM DW/M. Tim Jones, 独立作家, 顾问 简介: Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与...

IBMdW
2012/12/06
6.4K
3
SODBASE CEP学习(四):类SQL语言EPL与Storm或jStorm集成

开发者社区活动,SODBASE产品的用户现在可以领礼品啦 Storm框架原本是设计用来做互联网短文本处理和一些统计工作的,是一种分布式流式计算框架。在一些场合,特别是在已经用了Storm架构以后,...

wishuhappyyear
2015/04/30
0
0
年薪40万的大数据工程师是如何安装Strom

Strom集群的安装配置 主机规划 一、准备服务器 l 关闭防火墙 chkconfig iptables off && setenforce 0 l 创建用户 groupadd hadoop && useradd hadoop  && usermod -a -G hadoop hadoop l ......

爱尚实训
2018/04/23
0
0
一篇文带你快速起步Apache Storm

作者介绍 杜亦舒,创业中,技术合伙人,喜欢研究分享技术。个人订阅号:性能与架构。 本文介绍了 Apache Storm 的基本原理和开发方法,包括一个 PDF 和 2 个示例的源码。 内容大纲: Storm是...

杜亦舒
2017/07/11
0
0
Storm同步调用之DRPC模型探讨

  摘要:Storm的编程模型是一个有向无环图,决定了storm的spout接收到外部系统的请求后,spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同...

刘洋intsmaze
2017/09/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

kafka是什么?storm与kafka的区别?

kafka是消息队列,类似于RabitMQ,作为中间组件,主要解决异步,削峰,提高系统性能。 storm与kafka的区别? storm用于流数据的实时处理,在获取流数据之前,需要加入kafka消息队列来提高性能...

七宝1
今天
97
0
第二章 构建业务中台的基础----共享服务体系

1.ESB:企业服务总线。 2.SOA理念最核心的价值:松耦合的服务带来业务的复用,通过服务的编排助力业务的快速响应和创新。 3.服务不需要“业务稳定”,而需要不停的滋养,只有在滋养中才能从最...

zxx901221
今天
41
0
Spring Boot 2.x基础教程:使用 ECharts 绘制各种华丽的数据图表

上一节我们介绍了如何在Spring Boot中使用模板引擎Thymeleaf开发Web应用的基础。接下来,我们介绍一下后端开发经常会遇到的一个场景:可视化图表。 通常,这类需求在客户端应用中不太会用到,...

程序猿DD
昨天
112
0
SpringBoot实战:SpringBoot之自定义配置(一)

SpringBoot会默认加载application.yml和application.properties文件,但是有时候我们会对一些配置进行分类管理,如把数据库等配置进行单独配置,那这时候要怎么办呢,SpringBoot作为现在最流...

枫叶_林
昨天
82
0
收好这份来自鹅厂技术大咖的“远程办公指南

收好这份来自鹅厂技术大咖的“远程办公指南”! 受新冠肺炎疫情的影响,2月伊始,「远程办公」成为所有人关心与讨论的热门话题之一。在现实驱动之下,企业如何协同与高效办公成为重点问题中的...

腾讯技术资讯
昨天
147
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部