文档章节

机器学习平台PAI2.0 阿里“NASA”首个重磅武器亮相

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:11
字数 1489
阅读 4
收藏 0

阿里“NASA”计划发布了首个重磅武器。

3月29日,阿里云在云栖大会深圳峰会上正式发布机器学习平台PAI2.0。


相比1.0版本,PAI2.0有多项重大更新,除增加了100余种算法外,更重要的是对主流深度学习框架TensorFlow、Caffe和MXNet的全面兼容。

"NASA"计划


3月初,阿里巴巴董事局主席马云宣布启动内部代号为“NASA”的计划,将面向未来 20 年组建强大的独立研发部门,建立新的机制体制,为服务 20 亿人的新经济体储备核心科技。

同时,马云还动员阿里巴巴全球两万多名工程师投身“NASA”计划。

在技术大会上,机器学习、芯片、IoT、操作系统、生物识别被明确提及,智能化的产业基础和应用被放在了突出位置。

国内首个机器学习平台PAI2.0

两年前,阿里云对外发布国内首个机器学习平台PAI。此次版本的重大升级,标志着阿里云在构建AI核心技术能力上又进一步。据悉,阿里“NASA”计划将为PAI平台使用者提供强大的技术后盾。

此次PAI2.0的重大升级主要包括以下方面:

1、全面拥抱开源

PAI2.0编程接口完全兼容深度学习框架:Tensorflow、Caffe以及MXNet,用户只需要将自己本地编写的代码文件上传至云端就可以执行。

Tensorflow、Caffe和MXNet是目前全球主流的深度学习开源框架。Tensorflow开源算法和模型最丰富;Caffe是经典的图形领域框架,使用简单;MXNet分布式性能优异。

对于底层计算资源,PAI2.0提供了强大的云端异构计算资源,包含CPU、GPU、FPGA。在GPU方面,PAI2.0可以灵活实现多卡调度。

借助这些框架以及强大的计算资源,用户能非常方便地就可以将计算任务下发到对应的分布式计算机群上,实现深度学习模型训练与预测。

2、更丰富的算法库

PAI2.0提供100余种算法组件,涵盖了分类、回归、聚类等常用场景,还针对主流的算法应用场景,提供了偏向业务的算法,包含文本分析、关系分析、推荐3种类别。

“算法全部脱胎于阿里巴巴集团内部的业务实践,所有算法都经历过PB级数据和复杂业务场景的锤炼,具备成熟稳定的特点”,阿里云首席科学家周靖人说。

3、支持更大规模的数据训练

PAI2.0 新增了参数服务器(Parameter Server)架构的算法。不仅能进行数据并行,同时还可将模型分片,把大的模型分为多个子集,每个参数服务器只存一个子集,全部的参数服务器聚合在一起拼凑成一个完整的模型。

其创新点还在于失败重试的功能。

在分布式系统上,成百上千个节点协同工作时,经常会出现一个或几个节点挂掉的情况,如果没有失败重试机制,任务就会有一定的几率失败,需要重新提交任务到集群调度。PS算法支持千亿特征、万亿模型和万亿样本直至PB级的数据训练,适合于电商、广告等数据规模巨大的推荐场景。

PAI2.0的初心和愿景

阿里云首席科学家周靖人说,在过去的一年时间里我们协助客户落地了多项重大的人工智能应用。但人工智能要想真正成为成为普惠科技,需要一款更加通用的生产工具。PAI2.0正是为此而生。

人工智能综合了多门学科的技术,对人才要求极其高,除了懂统计学中各种复杂的机器学习算法,还要懂实现逻辑以及分布式架构理论。

PAI可以大幅的降低人工智能的门槛以及开发成本。

从操作界面来看,PAI没有繁琐的公式和复杂的代码逻辑,用户看到的是各种分门别类被封装好的算法组件。每一个实验步骤都提供可视化的监控页面。

在深度学习黑箱透明化方面,PAI也同时集成了各种可视化工具。

PAI的基础设施和计算框架建立在阿里云飞天计算平台之上,通过云的模式大幅降低了计算成本,支持MR、SQL、MPI、PS、GRAPH等多种分布式计算框架,对于底层的CPU和GPU计算机群可以灵活调用。

PAI2.0的应用

两年时间里,PAI在阿里巴巴内部已经被广泛使用。

以淘宝搜索为例,搜索结果会基于商品和用户的特征进行排序。通过使用参数服务器,淘宝可以把百亿个特征的模型,分散到数十个乃至于上百个参数服务器上,打破了规模的瓶颈。

在阿里云的客户当中,广东省气象局对PAI的使用最具代表性。

他们使用PAI对临近预报(0-3小时内)的降雨量进行建模预测。通过拖拽操作就完成了数据清洗、特征工程,非线性机器学习算法训练以及结果评估的工作。

PAI还被应用在各种前沿科技领域。华大基因联合阿里云科学家,正使用PAI对肺腺癌患者基因进行分析,试图寻找到导致肺腺癌病发的关键基因突变。

本文转载自:http://www.jianshu.com/p/618d74b2e8f0

AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
直击阿里云栖大会:人工智能风口上技术如何落地?

2017阿里云栖大会·深圳峰会于3月28日在深圳大中华喜来登酒店举行。在本次峰会上,阿里云发布了众多阿里在云技术、大数据和人工智能方面的新产品。阿里云总裁胡晓明发布了ET医疗大脑和ET工业...

玄学酱
2018/04/16
0
0
云栖大会 10 月杭州开幕,聚焦智能、数据与企业创新

云栖大会要来了!在完成全国巡回后,今年云栖大会将于 10 月 11-14 日在杭州云栖小镇再度重启,会议主题定为“飞天 · 智能”。 去年云栖大会吸引了来自 58 个国家和地区的 4 万名行业先锋前...

达尔文
2017/08/31
525
3
2016年人工智能、云计算、大数据版块发展大事记

大数据丰富着处理燃料,云计算提供者云端处理平台,而人工智能恰是让这些数据在平台上“跑”起来的引擎。“不做人工智能的云平台不是好的大数据”,从巨头的强势布局到人们对人工智能出现的恐...

玄学酱
2018/05/14
0
0
中国造!世界首台光量子计算机诞生 比老外快24000倍

5月3日,中国科技界迎来了一则重磅消息:世界上第一台超越早期经典计算机的光量子计算机诞生。这个“世界首台”是货真价实的“中国造”,为最终实现超越经典计算能力的量子计算奠定了基础。报...

雪花又一年
2018/05/02
0
0
云栖大会·南京峰会落下帷幕,阿里云都干了些什么?

阿里云又耐不住寂寞干了几件大事儿。 昨天,阿里云云栖大会·南京峰会举行,此次大会的主题是“飞天·智能”。按照以往惯例,在云栖大会上,阿里云方面会进行宣布合作或是发布产品,这次也不...

行者武松
2018/03/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部