文档章节

百度硅谷人工智能实验室开源高性能计算代码 加速分布式深度学习训练

A
 AI通讯社
发布于 2017/02/23 21:45
字数 546
阅读 104
收藏 0

美国时间2月22日,百度硅谷人工智能实验室(SVAIL)宣布向深度学习领域开源了 Ring Allreduce算法库,以实现在多个GPU之上更快速地训练神经网络模型。

Ring Allreduce是高性能计算领域的著名算法,但在深度学习领域应用不足。该技术可以实现近乎线性的加速,以及几十个甚至上百个GPU的扩展。比如,运用Ring Allreduce算法,百度硅谷人工智能实验室将神经网络的训练扩展至40个GPU并且训练速度提高31倍。

百度研究员Shubho Sengupta表示:“我们很高兴能开源我们的Ring Allreduce算法库,该库可应用于各大主要的深度学习框架,这将使深度学习研究人员可以在更多GPU上用更快的速度训练自己的模型。”

过去几年里,神经网络迅猛发展,其训练所需的数据量和计算资源也越来越大。为了提供所需的计算能力,更多GPU被用在训练之中。

在多个GPU之上训练神经网络通常比较困难,因为比较普遍的做法是向单个GPU发送数据,这样就形成了通讯瓶颈。而Ring Allreduce算法可以大大减少GPU用于发送数据的时间,用更多的时间进行有效运算,以此来消除瓶颈。

“Ring Allreduce算法让我们可以在神经网络的众多设备和节点之间进行更加高效的梯度分级,这是一种针对带宽优化的算法,能够大大减少运算时间,从而实现更多设备的扩展,同时还能保留同步随机梯度下降的确定性与可预测的收敛性质。百度研究员Andrew Gibiansky表示。

百度Ring Allreduce (https://github.com/baidu-research/baidu-allreduce )C类库可在Github上下载使用。同时Github上还提供与TensorFLow共同使用时所需的补丁 (https://github.com/baidu-research/tensorflow-allreduce)。

 

本文转载自:

共有 人打赏支持
A
粉丝 0
博文 2
码字总数 0
作品 0
GTC CHINA2016在京举行 助力中国开启人工智能黄金时代

2016年9月13日——中国北京—— 全球久负盛名的GTCCHINA 2016 (GPU技术大会)今天在北京召开,NVIDIA联合创始人、总裁兼首席执行官黄仁勋出席大会,深度阐释GPU计算产品与解决方案平台将如何拓...

玄学酱
05/15
0
0
腾讯AI Lab开源世界首款自动化模型压缩框架PocketFlow:将深度学习装进口袋

来源:腾讯AI 实验室 腾讯AI Lab机器学习中心今日宣布成功研发出世界上首款自动化深度学习模型压缩框架——PocketFlow,并即将在近期发布开源代码。这是一款面向移动端AI开发者的自动模型压缩...

人工智能学家
09/18
0
0
专栏 | 百度PaddlePaddle的新特性与大规模稀疏数据分布式模型训练

  机器之心专栏   来源:百度PaddlePaddle      7 月 5 日,第二届百度 AI 开发者大会落下帷幕。在今年的开发者大会上,百度宣布了一系列重磅内容:全球首款 L4 自动驾驶巴士「阿波龙...

机器之心
07/23
0
0
高性能计算技术也能助推大规模深度学习(百度实践)

更多深度文章,请关注:https://yq.aliyun.com/cloud 作者简介: Tiffany Trader,毕业于圣地亚哥州立大学和加州州立大学,长期致力于高性能计算、云计算、绿色计算新闻报道和分析,2015年开...

【方向】
2017/03/11
0
0
腾讯 Angel 正式加入 LF 深度学习基金会,代码库已迁移

今年3月我们曾报道过,腾讯计划将开源的 Angel 项目贡献给 LF 深度学习基金会。8月27日,Angel 正式宣布加入 LF 基金会,并表示即将发布可达万亿级维度特性计算的 2.0 版本。 Angel 是一个基...

王练
08/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

自定义Ubuntu/Windows双系统引导菜单主题

学习Linux自然少不了要装双系统,其中Ubuntu便是我们用的最多的Linux系统。装完双系统后,Ubuntu会自动生成grub开机引导及菜单,及其丑陋,而且很多我们用不到的选项。今天我们就介绍burg:修...

Linux就该这么学
23分钟前
0
0
Go 并发(二)

Go Mutex 通过Mutex和信道处理竞态条件。 临界区 当程序并发运行时,多个协程不应该同时访问那些修改共享资源的代码,这些修改共享资源的代码称为临界区。 Go中通过Mutex可以避免同时访问临界...

春哥大魔王的博客
26分钟前
0
0
CentOS 7安装和部署Docker

Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本 uname -r3.10.0-514.el7.x86_64 1、...

狼王黄师傅
29分钟前
0
0
php扩展可以通过pecl 或者phpize 安装

pecl 算是 php 扩展的一个官方聚合平台,一些比较有名,有特点的扩展会被 pecl 收录,收录后可以通过 pecl 的方式安装。但是更多的扩展是没有收录在 pecl 上的,这些扩展还是需要通过 phpize...

bengozhong
30分钟前
0
0
CentOS中如何安装7ZIP

执行以下命令下载安装: wget http://nchc.dl.sourceforge.net/project/p7zip/p7zip/9.20.1/p7zip_9.20.1_src_all.tar.bz2tar -jxvf p7zip_9.20.1_src_all.tar.bz2cd p7zip_9.20.1make......

凯文加内特
35分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部