文档章节

微软开源大数据框架REEF

iris_1992
 iris_1992
发布于 2015/01/05 15:18
字数 643
阅读 72
收藏 0

在本周一的国际知识挖掘与数据发现大会上,微软信息服务首席技术官Raghu Ramakrishnan透露微软计划近期内开放其大数据框架REEF(Retainable Evaluator Execution Framework)。REEF被设计运行于下一代Hadoop资源管理器YARN之上,非常适合运行机器学习任务。

资源管理器YARN是Apache hadoop项目的一部分,可以让用户在同一物理集群上运行和管理多种任务(例如批处理MapReduce、用Storm进行流处理或图形处理包)。YARN不但能帮企业整合多个需要管理的系统,还能在同一数据和地点运行多种分析任务。有些情况下,整个工作流都能在单一集群上完成。

但Ramakrishnan指出,有些类型的任务,例如机器学习,对数据移动、任务监控有特殊要求,而且经常需要能够在之前的结果中回滚,并不适合YARN这样的框架。而运行在YARN纸上的REEF能够解决这些问题。


根据Ramakrishnan的演讲稿,REEF分为两个主要部分(上图):

一个是求值器Evaluators,是用来承载REEF服务的容器,另一个是活动代码Activities,是在求值器内部运行的用户代码。

总的来说,REEF是一个很有意义的技术,解决了一些公司长期遗留的难题。值得注意的是,REEF的开源标志着微软对Hadoop(主要通过YARN)及开源社区的战略投入,微软正融入Hadoop开源社区,并试图通过回报社区让自己在开发者眼中变得“性感”起来。

总体来看,微软大数据战略的核心是在Azure上提供Hadoop、机器学习、高性能计算和数据分析服务。因此,微软在大数据技术方面的动作也绝不仅限于与Hortonworks在Hadoop平台上的合作,正如微软技术研究员Dave Campbell所言:“Hadoop只是微软信息生产线迈出的第一步。”而REEF的开源,正是微软打造机器学习业务生态环境的第一步。


本文转载自:

iris_1992
粉丝 1
博文 25
码字总数 23873
作品 0
无锡
程序员
私信 提问
机器学习追风潮:全球知名AI开源项目有哪些?

  【PConline 杂谈】当今的IT产业哪个话题最火?当然是人工智能和机器学习,根据来自IDC最新的市场调研数据显示,当前全球在认知计算、人工智能解决方案等方面支出总额已经高达120亿美元,...

中国机器人
2018/04/23
0
0
微软人工智能系统联合中心亮相,讲述如何打造全栈AI平台

(微软微软全球执行副总裁、人工智能及微软研究事业部负责人沈向洋博士在微软2018人工智能大会) 在近来的大会上,微软反复强调其全新的世界观“智能云&智能边缘”。在移动互联网时代掉队的微...

雷锋网
2018/07/23
0
0
微软联姻Hadoop:剑指Windows Azure

  【IT168 资讯】微软最近宣布公司正在开发适用于Windows Server与Windows Azure的Apache Hadoop框架。   Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式...

作者:皮丽华
2011/10/18
0
0
Google收购Cask Data 强化大数据分析能力

  【IT168 资讯】Google一直在努力围绕Google Cloud构建更深入的企业业务,但在推广和营收方面始终落后于亚马逊的AWS和微软的Azure。为了改变这一情况,谷歌最近收购了一家名为Cask Data的...

雷锋网
2018/05/17
0
0
# Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】

直播时间 2019.01.10(周四) 19:00 - 20:00 主讲人: 黄凯——Intel大数据技术团队软件工程师。 卫雨青——Microsoft C+AI 团队软件工程师。 简介: Analytics Zoo (https://github.com/in...

社区小助手
01/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
19分钟前
2
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
4
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
13
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
13
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部