文档章节

Storm

百花
 百花
发布于 2017/02/20 21:18
字数 530
阅读 26
收藏 0

特点

  • 分布式实时计算系统( distributed realtime computation system)

  • 可靠地处理源源不断(无界限)的数据流进行实时计算

  • 很容易使用,可以与任何开发语言一起使用

  • 可以与队列系统及任何数据库集成

  • 有很多使用案例:实时分析,在线机器学习,持续计算,分布式RPC,ETL。

  • 很快速,一个阶段一秒钟可以处理100万tuples的处理

  • 可扩展

  • 容错

  • 承诺数据一定会被处理

  • Storm拓扑(集群)消费数据流并将数据按照多种方式处理,将数据流分片到需要的各个计算阶段

  • Storm的 Spout 抽象使得storm 可以集成任何新的队列系统,storm当前集成的队列有:JMS,kafka,AMQP,RabbitMQ

  • 连接数据库很容易,给storm一个可读写的数据库连接即可,storm会处理并行化,分区,必要的容错。

Intermediate

概念

Topologies

  • storm实时应用的逻辑被包装在一个topology里面
  • 一个topology是一个,由流(streamgrouping)连接的spouts和 bolts组成的图
  • 一个topology相当于一个hadoop 的mapreduce,不同的是,mapreduce会停止儿topology不会(自动)停止

Spouts

  • 是topology的源
  • 一般情况下spouts从其他源读取数据并发送给topology
  • spouts分为可靠和不可靠两种,可靠的spouts可以在storm处理tuple失败的时候进行相应,不可靠的spoutts在发出tuple之后就忘记了此tuple。
  • spouts可以发出一个或者多个stream
  • nextTuple 是一个spouts 最主要的方法
  • fail 和 ack是另外两个重要的方法

Bolts

  • topology 所有的处理动作都在bolts中完成
  • bolts 可以做所有的处理动作,包括过滤、聚合、加入、与数据库交互等等
  • bolts可以做简单的流(stream)转换
  • 做复杂的流(stream)转换通常需要更多的步骤,因此需要更多的bolts

集成:

Apache Kafka Integration、 Apache HBase Integration、 Apache HDFS Integration、 Apache Hive Integration、 Apache Solr Integration、 Apache Cassandra Integration、 JDBC Integration、 JMS Integration、 Redis Integration、 Event Hubs Intergration、 Elasticsearch Integration、 MQTT Integration、 Mongodb Integration、 Kestrel Integration、

© 著作权归作者所有

上一篇: RRD
下一篇: DelayQueue
百花
粉丝 1
博文 67
码字总数 25011
作品 0
海淀
架构师
私信 提问

暂无文章

Blockstack-2 :Blockstack ID注册

本篇文章主要记录Blockstack ID注册的流程; 在介绍注册流程之前,先简单的介绍一下Blockstack ID; 相对于传统互联网来说,Blockstack ID更像是统一的账号系统;即一个账号即可登录和授权所...

Riverzhou
今天
19
0
面试官问:平时碰到系统CPU飙高和频繁GC,你会怎么排查?

处理过线上问题的同学基本上都会遇到系统突然运行缓慢,CPU 100%,以及Full GC次数过多的问题。当然,这些问题的最终导致的直观现象就是系统运行缓慢,并且有大量的报警。本文主要针对系统运...

Java高级架构师n
今天
33
0
面向对象编程

1、类和对象 类是对象的蓝图和模板,而对象是实例;即对象是具体的实例,类是一个抽象的模板 当我们把一大堆拥有共同特征的对象的静态特征(属性)和动态特征(行为)都抽取出来后,就可以定...

huijue
今天
30
0
redis异常解决 :idea启动本地redis出现 jedis.exceptions.JedisDataException: NOAUTH Authentication required

第一次安装在本地redis服务,试试跑项目,结果却出现nested exception is redis.clients.jedis.exceptions.JedisDataException: NOAUTH Authentication required错误,真是让人头疼 先检查一...

青慕
今天
42
0
Spring 之 IoC 源码分析 (基于注解方式)

一、 IoC 理论 IoC 全称为 Inversion of Control,翻译为 “控制反转”,它还有一个别名为 DI(Dependency Injection),即依赖注入。 二、IoC方式 Spring为IoC提供了2种方式,一种是基于xml...

星爵22
今天
37
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部