文档章节

如何把云计算大数据处理速度提高 100 倍以上?Spark 给出了答案。

R
 Rocky2014
发布于 2014/06/14 20:55
字数 457
阅读 46
收藏 0

    如何把云计算大数据处理速度提高 100 倍以上?Spark 给出了答案。
Spark 是可以革命 Hadoop 的目前唯一替代者,能够做 Hadoop 做的一切事情,同时速度比 Hadoop 快了
100 倍以上,Spark 是基于内存,是云计算领域的继 Hadoop 之后的下一代的最热门的通用的并行计算框

架开源项目,尤
其出色的支持 Interactive Query、流计算、图计算等。
Spark 在机器学习方面有着无与伦比的优势,特别适合需要多次迭代计算的算法。同时 Spark 的拥有非

常出
色的容错和调度机制,确保系统的稳定运行,Spark 目前的发展理念是通过一个计算框架集合 SQL、

Machine
Learning、Graph Computing、Streaming Computing 等多种功能于一个项目中,具有非常好的易用性。
    目前 SPARK 已经构建了自己的整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL
查询等方面都有自己的技术,并且是 Apache 顶级 Project,可以预计的是 2014 年下半年在社区和
商业应用上会有爆发式的增长。
国内的淘宝、优酷土豆等已经使用 Spark 技术用于自己的商业生产系统中,国内外的应用开始
越来越广泛,国外一些大型互联网公司已经部署了 Spark。甚至连 Yahoo 是 Hadoop 的早期主要贡
献者,现在也在多个项目中部署使用 Spark,国内我们已经在运营商、电商等传统行业部署了 Spark。

http://www.cnblogs.com/guoshiandroid/p/3785112.html

© 著作权归作者所有

共有 人打赏支持
R
粉丝 0
博文 17
码字总数 22727
作品 0
广州
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
0
1
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节 ①

一、MapReduce已死,Spark称霸 由于Hadoop的MapReduce高延迟的死穴,导致Hadoop无力处理很多对时间有要求的场景,人们对其批评越来越多,Hadoop无力改变现在而导致正在死亡。正如任何领域一样...

Spark亚太研究院
2014/12/12
0
0
第二期:关于十大数据相关问答汇总,关注持续更新中哦~

NO.1 学大数据如何零基础入门? 答:学习任何东西都一样,一开始就是一道坎,我很喜欢看书,特别是容易入门的书。对于大数据,我的具体研究方向是大规模数据的机器学习应用,所以首先要掌握以...

琳达老师
05/12
0
0
spark和hive storm mapreduce的比较

Spark Streaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一 就是,Spank Streaming和Stom的计算模型完全不一样,Spark Streaming是基于RDD的,因此需要将...

necther
04/28
0
0
Spark框架概览【大数据技术】

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和...

武耀文
08/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Hadoop - 企业级大数据管理平台CDH(小技巧一)

附上: 喵了个咪的博客:w-blog.cn cloudera官网: https://www.cloudera.com/ 官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html 一 , 磁盘扩容磁盘迁移 对于磁盘...

喵了_个咪
25分钟前
1
0
手动安装android的sdk

手动安装android的sdk 用eclipse+sdk的方式开发app,使用android sdk manager无法下载新的sdk,可以手动下载安装。 查找sdk的地址 浏览器访问https://dl-ssl.google.com/android/repository/...

kyle960
25分钟前
1
0
call方法的模拟实现

call方法的模拟实现 初步思考 const person = { name:"小明" } function sayName() { console.log(this.name) } sayName.call(person) //result: 小明 上面的代码有两...

lsner
30分钟前
1
0
apache 报错 AH01089: search for temporary

程序上传文件一直失败。经过测试使用apache反向代理会失败,但是直接访问服务器则可以上传。 经过分析apache的错误日志发现如下提示: apache 报错 AH01089: search for temporary director...

硕硕和果果
35分钟前
2
0
java源码Integer.bitCount算法解析,分析原理

看了一道leetcode上面的题 461 ,Hamming Distance 计算两个整数有多少不同的位。其实很简单,取两个整数异或的值,然后计算出里面二进制有多少个1就行了。代码如下: public int hammi...

117
37分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部