文档章节

如何把云计算大数据处理速度提高 100 倍以上?Spark 给出了答案。

R
 Rocky2014
发布于 2014/06/14 20:55
字数 457
阅读 46
收藏 0

    如何把云计算大数据处理速度提高 100 倍以上?Spark 给出了答案。
Spark 是可以革命 Hadoop 的目前唯一替代者,能够做 Hadoop 做的一切事情,同时速度比 Hadoop 快了
100 倍以上,Spark 是基于内存,是云计算领域的继 Hadoop 之后的下一代的最热门的通用的并行计算框

架开源项目,尤
其出色的支持 Interactive Query、流计算、图计算等。
Spark 在机器学习方面有着无与伦比的优势,特别适合需要多次迭代计算的算法。同时 Spark 的拥有非

常出
色的容错和调度机制,确保系统的稳定运行,Spark 目前的发展理念是通过一个计算框架集合 SQL、

Machine
Learning、Graph Computing、Streaming Computing 等多种功能于一个项目中,具有非常好的易用性。
    目前 SPARK 已经构建了自己的整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL
查询等方面都有自己的技术,并且是 Apache 顶级 Project,可以预计的是 2014 年下半年在社区和
商业应用上会有爆发式的增长。
国内的淘宝、优酷土豆等已经使用 Spark 技术用于自己的商业生产系统中,国内外的应用开始
越来越广泛,国外一些大型互联网公司已经部署了 Spark。甚至连 Yahoo 是 Hadoop 的早期主要贡
献者,现在也在多个项目中部署使用 Spark,国内我们已经在运营商、电商等传统行业部署了 Spark。

http://www.cnblogs.com/guoshiandroid/p/3785112.html

© 著作权归作者所有

共有 人打赏支持
R
粉丝 0
博文 17
码字总数 22727
作品 0
广州
私信 提问
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
0
1
大数据技术学习,大数据处理为何选择Spark,而不是Hadoop

大数据处理为何选择Spark,而不是Hadoop。 一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多...

董黎明
10/20
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节 ①

一、MapReduce已死,Spark称霸 由于Hadoop的MapReduce高延迟的死穴,导致Hadoop无力处理很多对时间有要求的场景,人们对其批评越来越多,Hadoop无力改变现在而导致正在死亡。正如任何领域一样...

Spark亚太研究院
2014/12/12
0
0
【DataMagic】如何在万亿级别规模的数据量上使用Spark

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区,未经许可,不得转载。 作者:张国鹏 | 腾讯 运营开发工程师 一、前言 Spark作为大数据计算引擎,凭借其快速、...

04/18
0
0
第二期:关于十大数据相关问答汇总,关注持续更新中哦~

NO.1 学大数据如何零基础入门? 答:学习任何东西都一样,一开始就是一道坎,我很喜欢看书,特别是容易入门的书。对于大数据,我的具体研究方向是大规模数据的机器学习应用,所以首先要掌握以...

琳达老师
05/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

降压变换器 Buck

特点 输入输出极性相同。 工作过程 在 MOS 导通时,输入电源通过 L 和 C 滤波后向负载端提供电流;当 MOS 断开后,L 通过二极管续流,保持负载电流连续。输出电压因为占空比的作用,不会超过...

colinux
今天
1
0
Apache日志不记录访问静态文件,访问日志切割,静态元素过期时间设置

Apache配置不记录访问静态文件的日志 网站大多元素为静态文件,如图片、css、js等,这些元素可以不用记录 vhost原始配置 <VirtualHost *:80> ServerAdmin test@163.com DocumentRoo...

野雪球
今天
3
0
聊聊storm的ICommitterTridentSpout

序 本文主要研究一下storm的ICommitterTridentSpout ICommitterTridentSpout storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java public interface......

go4it
今天
4
0
Ubuntu常用操作

查看端口号 netstat -anp |grep 端口号 查看已使用端口情况 netstat -nultp(此处不用加端口号) netstat -anp |grep 82查看82端口的使用情况 查找被占用的端口: netstat -tln netstat -tl...

hc321
昨天
4
0
网站cdn的静态资源突然访问变的缓慢,问题排查流程

1.首先我查看了一下是否自己的网络问题,通过对比其他资源的访问速度和下载速度,确认不是 2.通过ping 和 tracert 判断cdn域名能否正常访问,(最后回想感觉这一步可以省略,因为每次最终能访...

小海bug
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部