文档章节

百度硅谷人工智能实验室开源高性能计算代码 加速分布式深度学习训练

A
 AI通讯社
发布于 2017/02/23 21:45
字数 546
阅读 102
收藏 0

美国时间2月22日,百度硅谷人工智能实验室(SVAIL)宣布向深度学习领域开源了 Ring Allreduce算法库,以实现在多个GPU之上更快速地训练神经网络模型。

Ring Allreduce是高性能计算领域的著名算法,但在深度学习领域应用不足。该技术可以实现近乎线性的加速,以及几十个甚至上百个GPU的扩展。比如,运用Ring Allreduce算法,百度硅谷人工智能实验室将神经网络的训练扩展至40个GPU并且训练速度提高31倍。

百度研究员Shubho Sengupta表示:“我们很高兴能开源我们的Ring Allreduce算法库,该库可应用于各大主要的深度学习框架,这将使深度学习研究人员可以在更多GPU上用更快的速度训练自己的模型。”

过去几年里,神经网络迅猛发展,其训练所需的数据量和计算资源也越来越大。为了提供所需的计算能力,更多GPU被用在训练之中。

在多个GPU之上训练神经网络通常比较困难,因为比较普遍的做法是向单个GPU发送数据,这样就形成了通讯瓶颈。而Ring Allreduce算法可以大大减少GPU用于发送数据的时间,用更多的时间进行有效运算,以此来消除瓶颈。

“Ring Allreduce算法让我们可以在神经网络的众多设备和节点之间进行更加高效的梯度分级,这是一种针对带宽优化的算法,能够大大减少运算时间,从而实现更多设备的扩展,同时还能保留同步随机梯度下降的确定性与可预测的收敛性质。百度研究员Andrew Gibiansky表示。

百度Ring Allreduce (https://github.com/baidu-research/baidu-allreduce )C类库可在Github上下载使用。同时Github上还提供与TensorFLow共同使用时所需的补丁 (https://github.com/baidu-research/tensorflow-allreduce)。

 

本文转载自:

共有 人打赏支持
A
粉丝 0
博文 2
码字总数 0
作品 0
GTC CHINA2016在京举行 助力中国开启人工智能黄金时代

2016年9月13日——中国北京—— 全球久负盛名的GTCCHINA 2016 (GPU技术大会)今天在北京召开,NVIDIA联合创始人、总裁兼首席执行官黄仁勋出席大会,深度阐释GPU计算产品与解决方案平台将如何拓...

玄学酱
05/15
0
0
专栏 | 百度PaddlePaddle的新特性与大规模稀疏数据分布式模型训练

  机器之心专栏   来源:百度PaddlePaddle      7 月 5 日,第二届百度 AI 开发者大会落下帷幕。在今年的开发者大会上,百度宣布了一系列重磅内容:全球首款 L4 自动驾驶巴士「阿波龙...

机器之心
07/23
0
0
高性能计算技术也能助推大规模深度学习(百度实践)

更多深度文章,请关注:https://yq.aliyun.com/cloud 作者简介: Tiffany Trader,毕业于圣地亚哥州立大学和加州州立大学,长期致力于高性能计算、云计算、绿色计算新闻报道和分析,2015年开...

【方向】
2017/03/11
0
0
阿里云机器学习PAI-提高数据的运营效率

阿里云机器学习PAI-提高数据的运营效率 摘要:2018云栖大会上海峰会,阿里云机器学习高级产品专家刘吉哲对阿里云机器学习PAI 服务与案例进行了讲述,机器学习PAI是阿里的一个计算平台,通过对...

云迹九州
06/23
0
0
2017 中国 AI 服务器市占率超 57%,看浪潮如何编织 AI 生态大网

随着深度学习带来 AI 的第三次浪潮,对 AI 的相关讨论层出不穷,算法是大家关注的重点。 算法固然重要,但想做好 AI,还需要强大的底层支撑。谷歌在训练 AlphaGo Zero 时,用到 2000 块 TPU,...

思颖
06/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

咕泡-Factory设计模式笔记

个人感悟: 设计模式都是处理复杂问题的,如果问题本身很简单,使用设计模式反而累赘,增加了开发的复杂性 遇到最简单的情况,直接 new 如果创建对象的过程简单,但是需要匹配不同情况,返回...

职业搬砖20年
17分钟前
0
0
Java中的锁分类

在读很多并发文章中,会提及各种各样锁如公平锁,乐观锁等等,这篇文章介绍各种锁的分类。介绍的内容如下: 公平锁/非公平锁 可重入锁 独享锁/共享锁 互斥锁/读写锁 乐观锁/悲观锁 分段锁 偏...

Funcy1122
25分钟前
0
0
Ansible随机数

想为你的Ansible剧本取一个随机数?还想在接下来的运行中保持系统的等幂性?这里有一个答案。 假如,你要为一大批服务器设置cron任务,却不想让它们同时启动,你可以这样设置分钟数: minute...

大别阿郎
34分钟前
0
0
SpringCloud之服务注册中心Eureka

本系列介绍的配置均基于 Spring Boot 2.0.1.RELEASE 版本和 Spring Cloud Finchley.SR1 服务注册中心 Spring Cloud 已经帮我们实现了服务注册中心,我们只需要很简单的几个步骤就可以完成。 ...

熊小飞呀
今天
7
1
“Comparison method violates ...”异常的再现方法

前提条件:JDK8 代码: import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;import java.util.List;public class Test { public stat......

hunterli
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部