文档章节

华为拥抱开源Alluxio:内存将成重要战略平台

hmc0316
 hmc0316
发布于 2016/09/05 10:31
字数 650
阅读 46
收藏 0

华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。

华为拥抱开源Alluxio:内存将成重要战略平台

Alluxio此前曾名为Tachyon Nexus,是一家由Andreessen Horowitz资助的初创企业。

FusionStorage 则属于华为公司旗下的分布式软件定义存储系统。其最新FusionStorage 6.0支持分布式块、文件与对象存储,同时可对数据进行分类、加密与重复数据删除。

Alluxio公司的软件产品是一套以内存为中心的虚拟分布式存储系统。其功能相当于为HDFS节点集合等远程存储系统提供一套本地缓存。其基于本地节点集群运行,而各本地节点则供运行有大数据分析与查询任务的计算节点进行访问。

该软件提供:

· 配合自动数据放置的分层式存储机制(包括内存、闪存与磁盘)。

· 配合透明化命名机制的单一命名空间。

· 可集成原生S3、谷歌Cloud Storage、OpenStack Swift、阿里巴巴OSS、微软Azure Blob等存储方案。

· Fuse Connector,采用键-值接口。

· 一条命令即可完成集群部署。

· 具备指标报告功能。

华为拥抱开源Alluxio:内存将成重要战略平台

华为拥抱开源Alluxio:内存将成重要战略平台

Alluxio支持多种不同底层(远程)存储系统,具体包括HDFS、Gluster、S3、OpenStack、GCS、NFS、OrangeFS、IBm Spectrum Scake、Ceph、Isilon等等。

华为拥抱开源Alluxio:内存将成重要战略平台

百度公司在Alluxio的帮助下将Spark查询速度提升了30倍。原本需要15分钟才能完成的批量查询如今不到30秒即可搞定,而且一套1000用户Alluxio集群能够提供超过50 TB内存空间。

巴克莱银行亦在运行查询的计算节点与Teradata数据存储库之间采用Alluxio软件,从而将原本需要数小时的Spark任务加速至仅需要数秒。

听起来确实很有搞头。我们认为华为公司及其物联网/云战略确实能够与Alluxio实现良好配合。感兴趣的朋友亦可点击此处与此处分别查看Alluxio项目及其演示材料。

本文转载自:http://stor-age.zdnet.com.cn/stor-age/2016/0902/3082763.shtml

hmc0316
粉丝 1
博文 49
码字总数 55901
作品 0
台北
程序员
私信 提问
华为拥抱开源 Alluxio:内存将成重要战略平台

华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。 Alluxio此前曾名为Tachyon Nexus,是一家由...

局长
2016/09/05
13.1K
18
Apache Kylin & Alluxio Meetup @上海

活动内容 Apache Kylin是可扩展到PB规模的开源分布式大数据分析引擎,为Apache Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析(OLAP)能力,提供亚秒级的交互式...

ApacheKylin
2017/12/21
89
0
Apache Kylin & Alluxio Meetup @上海

活动内容 Apache Kylin是可扩展到PB规模的开源分布式大数据分析引擎,为Apache Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析(OLAP)能力,提供亚秒级的交互式...

ApacheKylin
2017/12/21
521
0
从开源到商业,Alluxio 是怎么做的?

Alluxio,原名Tachyon,在早些时候获得了硅谷风投Andreessen Horowitz 750万美元的A轮投资。现在,该公司正在推出第一个基于其开源的以存储为中心的分布式存储系统的商业产品。 Alluxio旨在解...

王练
2016/10/30
1K
1
华为宣布开源流处理平台查询语言 StreamCQL

华为在本周一开始的华为开发者大会上宣布开源其流处理平台查询语言StreamCQL(Stream Continuous Query Language),在Github网站上已能看到其项目代码和文档,具体网页地址:https://githu...

oschina
2015/10/25
13.3K
107

没有更多内容

加载失败,请刷新页面

加载更多

IDEA Maven project: 'xxx/pom.xml' already exists in VFS

Failed to create a Maven project: ‘xxx/pom.xml‘ already exists in VFS idea创建项目后,发现项目有问题,删除后重新创建,提示错误如下。 解决办法 1.通过idea打开任意一个项目 2.File...

国产大熊猫
51分钟前
7
0
Flutter之 State 生命周期

State 的生命周期,指的是在用户参与的情况下,其关联的 Widget 所经历的,从创建到显示,再到更新最后到停止,直至销毁等各个阶段 不同的阶段涉及到特定的任务处理 State 的生命周期流程如下...

過愙
57分钟前
11
0
零基础一年拿下BAT三家offer

背景 1、本人本科一本双非垫底的那种,硕士211。本硕电子通信,完全0基础,转行一年。 2、研一上第一学期上课+外派到老师合作公司写MATLAB。去年4月开始学习Java。 起步 1、实话说,刚决定转...

gzc426
今天
6
0
并行和并发的区别

并行和并发的区别 并行(Parallel)的重点在于同一时间点多个任务同时进行; 并发(Concurrent)的重点在于同一时间段有多个任务执行,不要求某个时间点有多个任务同时进行。...

StupidZhe
今天
38
0
java内存泄漏问题

所谓内存泄露就是指一个不再被程序使用的对象或变量一直被占据在内存中。Java中有垃圾回收机制,它可以保证一对象不再被引用的时候,即对象编程了孤儿的时候,对象将自动被垃圾回收器从内存中...

Bb进阶
今天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部