文档章节

Spark 1.2 发布,开源集群计算系统

openthings
 openthings
发布于 2015/01/20 20:43
字数 574
阅读 46
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。

此版本包括

  • Spark 核心操作和性能改进;

  • 添加新的网络传输子系统,进行了较大的改进;

  • Spark SQL 引入了一个外部数据源的支持,支持 Hive13;

  • 动态分区;

  • fixed-precision decimal type;

  • MLlib 添加了一个新的面向管道包 (spark.ml),组合多个算法;

  • Spark Streaming 添加了一个 Python API,提前写错误容错日志;

  • GraphX 正式脱离 Alpha 版本,引入了一个稳定的 API。

更多内容请看发行说明,现已提供下载

Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽 管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。

相关链接

想通过手机客户端(支持 Android、iPhone 和 Windows Phone)访问开源中国:请点这里

                本站文章除注明转载外,均为本站原创或编译
欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区
转载请注明:文章转载自:开源中国社区 [http://www.oschina.net]
本文标题:Spark 1.2 发布,开源集群计算系统
本文地址:http://www.oschina.net/news/58096/spark-1-2


本文转载自:http://www.oschina.net/news/58096/spark-1-2

openthings

openthings

粉丝 349
博文 1230
码字总数 908447
作品 1
东城
架构师
私信 提问
加载中

评论(0)

Spark 1.2 发布,开源集群计算系统

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。 此版本包括 Spark 核心操作和性能改进; 添加新的网络传输子系统,进行了较大的改进; Spark SQL 引入了一个外部数据源的...

潞邊壹仦貓
2014/12/19
4K
5
大数据(六十九)Spark【Spark介绍】

一、什么是Spark • Apache Spark is an open source cluster computingsystem that aims to make data analytics fast. Apache Spark是一个专注于快速分析数据的开源集群计算系统。 • both......

张--小涛涛
03/30
0
0
spark---2018.4.19回顾

原有的环境已经有了。 现在要整理清楚,具体的步骤。 1.搭建Hadoop分布式集群 2.Spark安装和集群部署 3.测试Spark集群 步骤1详细: 搭建Hadoop分布式集群 为什么要首先部署Hadoop集群?--由于...

qq_28088259
03/31
0
0
Hadoop完全分布式集群安装Spark

应用场景 当我们安装好Hadoop分布式集群后,默认底层计算是采用MapReduce,速度比较慢,适用于跑批场景,而Spark可以和hadoop完美的融合,Spark提供了更强劲的计算能力,它基于内存计算,速度...

wsc449
2017/11/16
0
0
Hadoop CDH5 Spark部署

Spark是一个基于内存计算的开源的集群计算系统,目的是让数据分析更加快速,Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark ...

China_OS
2014/05/30
1.7K
0

没有更多内容

加载失败,请刷新页面

加载更多

仝卓学籍造假微博道歉,用Python抓取微博的评论看看群众都说什么

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,...

osc_7ludm6s2
4分钟前
9
0
华为开发常用的2款利器,推荐给大家

Fiddler Fiddler是位于客户端和服务器端的HTTP代理,也是目前最常用的http抓包工具之一 。它能够记录客户端和服务器之间的所有 HTTP请求,可以针对特定的HTTP请求,分析请求数据、设置断点、...

osc_08xf0119
5分钟前
5
0
流行的JAVA IDE,你都用过哪几款?

  每一个Java程序员应该都有一款自己了解的IDE,挑选一款好的JavaIDE能够大大进步程序员的编程功率,一起有些IDE还供给的各式各样的辅助性功用,让人感觉写起代码能够飞起来!   本文收集...

osc_mbqdr3w5
7分钟前
11
0
Discourse 如何修改一个主题的分类

在你需要修改的主题后面,单击编辑的图标。 然后在弹出的界面中,进行选择你希望的分类,然后单击确定保存就可以了。 然后你就可以看到已经添加到新的主题分类中。 如果你还需要对名字或者分...

honeymoose
7分钟前
14
0
写优质Java代码的4个技巧

  咱们平时的编程使命不外乎便是将相同的技能套件应用到不同的项目中去,关于大多数状况来说,这些技能都是能够满意方针的。然而,有的项目或许需求用到一些特别的技能,因而工程师们得深入...

osc_1m04dwae
7分钟前
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部