文档章节

大数据学习系列----Storm和Spark和Hadoop对比

春哥大魔王的博客
 春哥大魔王的博客
发布于 2017/06/29 21:57
字数 470
阅读 39
收藏 0

Storm和Spark Streaming两个都是分布式流处理的开源框架。但两者之间有一些区别。

时延

Storm可以实现亚秒级数据处理,每次只处理一条event,而Spark Streaming可以在一个短暂的时间窗口处理多条event。所以说Storm可以实现亚秒级时延,Spark Streaming则有一定的时延。

容错和数据保证

Storm中,每条记录在系统中的移动都需要被标记跟踪,所以Storm只能保证每条记录最少被处理一次,但是允许从错误状态恢复被多次处理。

Spark Streaming仅仅需要在批处理对记录进行跟踪,所以版主每个批处理记录仅仅被处理一次,即使node节点挂掉。

实现和编程API

Storm主要是Clojure语言实现,Spark Streaming由Scala实现。Storm提供了Java API,同时支持其他语言API。Spark Streaming支持Scala和Java语言。

批处理框架集成

Spark Streaming是在Spark框架上运行。可以像使用其他批处理代码一样写Spark Streaming程序,或者在Spark中交互查询。就减少了单独编写流式批处理程序和历史数据处理程序。

场景

几千个日志生产者产生日志文件,需要进行一些ETL操作如数据库。

如果用Hadoop,需要先存入hdfs,需要切分文件,调度计算。 如果使用Storm,一个程序监控日志产生,产生一行通过传输系统发给Storm,Storm直接处理,处理完毕后入数据库,整个过程可以达到毫秒级别。

Hadoop使用磁盘作为数据中介,Storm数据直接在内存中流转。一个批处理,基于任务调度;一个实时处理,基于流。

© 著作权归作者所有

春哥大魔王的博客
粉丝 39
博文 296
码字总数 268636
作品 0
海淀
程序员
私信 提问
Hadoop、storm和Spark Streaming简单介绍(非原创)

文章大纲 一、Hadoop是什么 二、storm是什么 三、Spark Streaming是什么 四、Spark与storm比较 五、参考文章 一、Hadoop是什么 1. 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架...

故事爱人
06/14
0
0
Spark cluster 部署

Spark 框架 Spark与Storm的对比 对于Storm来说: 1、建议在那种需要纯实时,不能忍受1秒以上延迟的场景下使用,比如实时金融系统,要求纯实时进行金融交易和分析 2、此外,如果对于实时计算的...

meteor_hy
2018/06/27
0
0
好程序员教你大数据必修三大技能 快快记录下来

大数据,人工智能技术引领科技潮流,推开大数据时代的大门!国家点赞!政策扶持,前景斐然!紧接着,学习大数据的人才便如过江之鲫,络绎不绝!整体形势,欣欣向荣!在这里,好程序员为大家送...

好程序员IT
05/27
5
0
学习大数据这三个关键技术是一定要掌握!

大数据时代全面来临,大数据、人工智能等技术引领科技创新潮流,获得国家政策大力支持,前景广阔。学习大数据技术的人自然是络绎不绝, 学习大数据虽然是一个趋势,但也要注意大数据培训课程...

董黎明
2018/08/19
20
1
大数据Storm相比于Spark、Hadoop有哪些优势(摘录)

一、可能很多初学大数据的伙伴不知道strom是什么,先给大家介绍一下strom: 分布式实时计算系统,storm对于实时计算的意义类似于hadoop对于批处理的意义。 storm的适用场景。 流数据处理。S...

风火数据
2018/06/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
1K
12
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
20
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
12
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
20
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部