文档章节

Spark 1.2 发布,开源集群计算系统

openthings
 openthings
发布于 2015/01/20 20:43
字数 574
阅读 42
收藏 0

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。

此版本包括

  • Spark 核心操作和性能改进;

  • 添加新的网络传输子系统,进行了较大的改进;

  • Spark SQL 引入了一个外部数据源的支持,支持 Hive13;

  • 动态分区;

  • fixed-precision decimal type;

  • MLlib 添加了一个新的面向管道包 (spark.ml),组合多个算法;

  • Spark Streaming 添加了一个 Python API,提前写错误容错日志;

  • GraphX 正式脱离 Alpha 版本,引入了一个稳定的 API。

更多内容请看发行说明,现已提供下载

Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽 管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。

相关链接

想通过手机客户端(支持 Android、iPhone 和 Windows Phone)访问开源中国:请点这里

                本站文章除注明转载外,均为本站原创或编译
欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区
转载请注明:文章转载自:开源中国社区 [http://www.oschina.net]
本文标题:Spark 1.2 发布,开源集群计算系统
本文地址:http://www.oschina.net/news/58096/spark-1-2


本文转载自:http://www.oschina.net/news/58096/spark-1-2

共有 人打赏支持
openthings
粉丝 278
博文 1031
码字总数 561308
作品 1
东城
架构师
私信 提问
Spark 1.2 发布,开源集群计算系统

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。 此版本包括 Spark 核心操作和性能改进; 添加新的网络传输子系统,进行了较大的改进; Spark SQL 引入了一个外部数据源的...

潞邊壹仦貓
2014/12/19
4K
5
Hadoop完全分布式集群安装Spark

应用场景 当我们安装好Hadoop分布式集群后,默认底层计算是采用MapReduce,速度比较慢,适用于跑批场景,而Spark可以和hadoop完美的融合,Spark提供了更强劲的计算能力,它基于内存计算,速度...

wsc449
2017/11/16
0
0
Apache Spark 1.5.1 发布,开源集群计算环境

Apache Spark 1.5.1 发布, 详细更新信息请查看: http://s.apache.org/spark-1.5.1 下载地址如下: http://spark.apache.org/downloads.html Apache Spark 是一种与 Hadoop 相似的开源集群计...

oschina
2015/10/05
1K
1
Hadoop CDH5 Spark部署

Spark是一个基于内存计算的开源的集群计算系统,目的是让数据分析更加快速,Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark ...

China_OS
2014/05/30
0
0
Spark 1.2.1 发布,开源集群计算系统

Spark 1.2.1 发布,此版本是个维护版本,包括 69 位贡献者,修复了一些 Spark 的 bug,包括核心 API,Streaming,PySpark,SQL,GraphX 和 MLlib 方面的。更多改进内容请看发行说明,此版本现...

oschina
2015/02/11
3K
13

没有更多内容

加载失败,请刷新页面

加载更多

[LintCode] Serialize and Deserialize Binary Tree(二叉树的序列化和反序列化)

描述 设计一个算法,并编写代码来序列化和反序列化二叉树。将树写入一个文件被称为“序列化”,读取文件后重建同样的二叉树被称为“反序列化”。 如何反序列化或序列化二叉树是没有限制的,你...

honeymose
今天
5
0
java框架学习日志-7(静态代理和JDK代理)

静态代理 我们平时去餐厅吃饭,不是直接告诉厨师做什么菜的,而是先告诉服务员点什么菜,然后由服务员传到给厨师,相当于服务员是厨师的代理,我们通过代理让厨师炒菜,这就是代理模式。代理...

白话
今天
23
0
Flink Window

1.Flink窗口 Window Assigner分配器。 窗口可以是时间驱动的(Time Window,例如:每30秒钟),也可以是数据驱动的(Count Window,例如:每一百个元素)。 一种经典的窗口分类可以分成: 翻...

满小茂
今天
18
0
my.ini

1

architect刘源源
今天
16
0
docker dns

There is a opensource application that solves this issue, it's called DNS Proxy Server It's a DNS server that solves containers hostnames, if could not found a hostname that mat......

kut
今天
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部