文档章节

如何把云计算大数据处理速度提高 100 倍以上?Spark 给出了答案。

R
 Rocky2014
发布于 2014/06/14 20:55
字数 457
阅读 202
收藏 0

    如何把云计算大数据处理速度提高 100 倍以上?Spark 给出了答案。
Spark 是可以革命 Hadoop 的目前唯一替代者,能够做 Hadoop 做的一切事情,同时速度比 Hadoop 快了
100 倍以上,Spark 是基于内存,是云计算领域的继 Hadoop 之后的下一代的最热门的通用的并行计算框

架开源项目,尤
其出色的支持 Interactive Query、流计算、图计算等。
Spark 在机器学习方面有着无与伦比的优势,特别适合需要多次迭代计算的算法。同时 Spark 的拥有非

常出
色的容错和调度机制,确保系统的稳定运行,Spark 目前的发展理念是通过一个计算框架集合 SQL、

Machine
Learning、Graph Computing、Streaming Computing 等多种功能于一个项目中,具有非常好的易用性。
    目前 SPARK 已经构建了自己的整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL
查询等方面都有自己的技术,并且是 Apache 顶级 Project,可以预计的是 2014 年下半年在社区和
商业应用上会有爆发式的增长。
国内的淘宝、优酷土豆等已经使用 Spark 技术用于自己的商业生产系统中,国内外的应用开始
越来越广泛,国外一些大型互联网公司已经部署了 Spark。甚至连 Yahoo 是 Hadoop 的早期主要贡
献者,现在也在多个项目中部署使用 Spark,国内我们已经在运营商、电商等传统行业部署了 Spark。

http://www.cnblogs.com/guoshiandroid/p/3785112.html

© 著作权归作者所有

R
粉丝 0
博文 17
码字总数 22727
作品 0
广州
私信 提问
加载中

评论(0)

【免费在线讲座】革命Hadoop, Spark如何100倍提高云计算处理速度!

云计算、大数据浪潮来袭, 继Hadoop之后,谁将是下一代最热门的技术? 如何把云计算大数据处理速度提高100倍? 如何在最短的时间内掌握Spark技术核心? Spark人才极度匮乏,如何成为年薪百万...

Spark亚太研究院
2014/06/15
13
0
【免费在线讲座】革命Hadoop, Spark如何100倍提高云计算处理速度!

云计算、大数据浪潮来袭, 继Hadoop之后,谁将是下一代最热门的技术? 如何把云计算大数据处理速度提高100倍? 如何在最短的时间内掌握Spark技术核心? Spark人才极度匮乏,如何成为年薪百万...

Spark亚太研究院
2014/06/15
60
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
462
2
Spark部署及技术选型

Spark部署及技术选型 在飞速发展的云计算大数据时代,Spark是继Hadoop之后,成为替代Hadoop的下一代云计算大数据核心技术,目前Spark已经构建了自己的整个大数据处理生态系统,如流处理、图技...

Spark亚太研究院
2014/07/01
2.3K
4
大数据技术学习,大数据处理为何选择Spark,而不是Hadoop

大数据处理为何选择Spark,而不是Hadoop。 一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多...

董黎明
2018/10/20
37
0

没有更多内容

加载失败,请刷新页面

加载更多

定时器Timer和TimerTask

为什么要使用定时器呢? 比如说一个web应用,如果这个应用规模很大,那它的日志数据是不是很多。如果一直存下来服务器的存储量怕是不行吧,需要隔一段时间删除,那么就需要一个线程每隔一段时...

南柯好萌
39分钟前
18
0
深圳创服机构创成汇投融资对接指南

深圳创服机构创成汇投融资对接指南 一线城市一直是许多创业者创业热土,深圳也不例外,作为发达城市,科技是深圳的标志,也是许多科技创业者向往之地,科技创业者在创业前期面临许多难题,其...

cchlin
52分钟前
35
0
egg学习笔记第六天:使用中间件屏蔽可疑用户

站点有时候想屏蔽一些特定频繁抓取服务器数据的用户,可以放在中间件中去做,用户在指定Ip数组内,则屏蔽,如果不在,则匹配路由规则执行controller。 中间件的概念: 匹配路由前,匹配路由完...

一生懸命吧
56分钟前
34
0
005-其他技巧

css精灵图(css雪碧)sprites 减少服务器接收和发送请求的次数,提高页面加载速度 原理:将网页中的一些小背景图整合到一张大图中 使用background-position移动背景图位置-x/y坐标 字体图标ico...

沉默的懒猫
今天
15
0
YouTube视频下载:Airy for mac

想在YouTube下载视频?借助适用于Mac的AIry YouTube下载程序,您可以获得一个简单而高效的下载程序,可以在瞬间处理来自YouTube的任何曲目或播放列表。只需找到您要下载的视频,选择格式和分...

MacW软件分享
今天
38
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部