文档章节

百度硅谷人工智能实验室开源高性能计算代码 加速分布式深度学习训练

A
 AI通讯社
发布于 2017/02/23 21:45
字数 546
阅读 110
收藏 0

美国时间2月22日,百度硅谷人工智能实验室(SVAIL)宣布向深度学习领域开源了 Ring Allreduce算法库,以实现在多个GPU之上更快速地训练神经网络模型。

Ring Allreduce是高性能计算领域的著名算法,但在深度学习领域应用不足。该技术可以实现近乎线性的加速,以及几十个甚至上百个GPU的扩展。比如,运用Ring Allreduce算法,百度硅谷人工智能实验室将神经网络的训练扩展至40个GPU并且训练速度提高31倍。

百度研究员Shubho Sengupta表示:“我们很高兴能开源我们的Ring Allreduce算法库,该库可应用于各大主要的深度学习框架,这将使深度学习研究人员可以在更多GPU上用更快的速度训练自己的模型。”

过去几年里,神经网络迅猛发展,其训练所需的数据量和计算资源也越来越大。为了提供所需的计算能力,更多GPU被用在训练之中。

在多个GPU之上训练神经网络通常比较困难,因为比较普遍的做法是向单个GPU发送数据,这样就形成了通讯瓶颈。而Ring Allreduce算法可以大大减少GPU用于发送数据的时间,用更多的时间进行有效运算,以此来消除瓶颈。

“Ring Allreduce算法让我们可以在神经网络的众多设备和节点之间进行更加高效的梯度分级,这是一种针对带宽优化的算法,能够大大减少运算时间,从而实现更多设备的扩展,同时还能保留同步随机梯度下降的确定性与可预测的收敛性质。百度研究员Andrew Gibiansky表示。

百度Ring Allreduce (https://github.com/baidu-research/baidu-allreduce )C类库可在Github上下载使用。同时Github上还提供与TensorFLow共同使用时所需的补丁 (https://github.com/baidu-research/tensorflow-allreduce)。

 

本文转载自:

共有 人打赏支持
A
粉丝 0
博文 2
码字总数 0
作品 0
私信 提问
百度研究院再升级,迎来9位世界级科学家

美国时间11月13日,百度研究院在美国硅谷召开会议,宣布百度研究院顾问委员会正式成立,并宣布在2018年陆续迎来9位世界级科学家加盟。 新成立的百度研究院顾问委员会包含5名成员,包括AT&T和...

AI科技大本营
2018/11/14
0
0
百度研究院今日升级,迎来 9 位世界级科学家

雷锋网(公众号:雷锋网) AI 科技评论消息,美国时间 11 月 13 日,百度研究院在美国硅谷召开会议,宣布百度研究院顾问委员会正式成立,并宣布在 2018 年陆续迎来 9 位世界级科学家加盟。当天...

汪思颖
2018/11/14
0
0
中关村十大AI研究院 | 盘点

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/83506957 雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI 不知你是否有同...

量子位
2018/10/29
0
0
Linux 基金会推出 LF 深度学习基金会,腾讯华为等加入

微软 Azure 首席技术官 Mark Russinovich 表示,最近人工智能(AI)和机器学习(ML)的兴起与开源 AI和 ML 软件分不开。诸如 Core ML,Google TensorFlow 和 ONNX 等开源项目都推动了 AI 和 ...

达尔文
2018/03/28
1K
3
腾讯 Angel 正式加入 LF 深度学习基金会,代码库已迁移

今年3月我们曾报道过,腾讯计划将开源的 Angel 项目贡献给 LF 深度学习基金会。8月27日,Angel 正式宣布加入 LF 基金会,并表示即将发布可达万亿级维度特性计算的 2.0 版本。 Angel 是一个基...

王练
2018/08/29
1K
3

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(11.9)hive操作基础知识

上一篇博客分享了hive的简介和初体验,本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name ...

em_aaron
今天
2
0
OSChina 周四乱弹 —— 我家猫真会后空翻

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @我没有抓狂 :#今天听这个# 我艇牛逼,百听不厌,太好听辣 分享 Led Zeppelin 的歌曲《Stairway To Heaven》 《Stairway To Heaven》- Led Z...

小小编辑
今天
2
0
node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
3
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部