文档章节

PaddlePaddle 与 Kubernetes强强联合助力深度学习模型高效运转

A
 AI通讯社
发布于 2017/02/09 17:57
字数 552
阅读 56
收藏 0

美国时间2月8日,Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes,使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。

此次兼容将使开发者能够便捷地在全球主要云服务以及私有集群 (on-premise clusters) 上做大规模深度学习训练。该项目由百度和CoreOS联合开发,同时CoreOS也是Kubernetes的主要贡献者之一。

开发者通常会将AI项目与Web服务、日志收集、和数据处理等多种作业部署在同一个通用集群(general-purpose cluster)之上,从而实现高效数据通道。为管理通用集群,需要使用Kubernetes等成熟的通用集群管理系统。使PaddlePaddle兼容Kubernetes,开发者便可以开发搭载高效深度学习的应用。

百度科学家及PaddlePaddle研发项目带头人王益表示:“Kubernetes可以有效简化分布式作业,包括分布式机器学习作业的部署和运维工作,提升研究员和开发者的工作效率。“

Kubernetes将需要GPU的PaddlePaddle任务与需要大内存或大磁盘I/O吞吐量(disk I/O throughput)等其他不同资源的任务部署在同一个物理计算机之上,从而发挥集群硬件的最大效用。同时Kubernetes还能在活跃用户较多的白天自动启动更多的Web服务进程,而在夜间释放Web服务使用的部分资源来启动更多的PaddlePaddle进程。

PaddlePaddle为百度原创的一款易于使用的深度学习框架。最近四年里应用于百度旗下的多款互联网产品中。该框架尤其适合训练循环神经网络(recurrent neural networks),从而能高效执行自然语言理解、语音识别、和计算视觉等应用。自2016年百度世界大会上,宣布开放百度深度学习平台以来,PaddlePaddle已成为发展最快的深度学习平台之一。

本文转载自:

共有 人打赏支持
A
粉丝 0
博文 2
码字总数 0
作品 0
私信 提问
百度“深度学习公开课”首场爆满 开发者收获最强进阶“宝典”

     4月21日,北京迎来了今年的第一场大雨,但是依然浇灭不了开发者的热情,超过200名资深开发者还是如约而至,来到了百度“深度学习公开课”北京站。   近日,百度AI开发者实战营第二...

中国机器人
04/23
0
0
看再多的书和论文,都不如亲自来百度公开课杭州站上个课

  百度深度学习公开课第三堂即将开课!5月18日,百度深度学习公开课将在杭州正式“开课”。届时,多位深度学习技术专家将深度解读PaddlePaddle的特性、模型与应用案例,让AI工程师与希望进...

机器之心
05/10
0
0
开源AI安全工具箱AdvBox

  项目简介 对抗样本简介   对抗样本(Adversarial Example Attack)是机器学习模型的一个有趣现象,攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变,但是却可以让机器学习模型...

FreeBuf
08/09
0
0
专栏 | 百度PaddlePaddle的新特性与大规模稀疏数据分布式模型训练

  机器之心专栏   来源:百度PaddlePaddle      7 月 5 日,第二届百度 AI 开发者大会落下帷幕。在今年的开发者大会上,百度宣布了一系列重磅内容:全球首款 L4 自动驾驶巴士「阿波龙...

机器之心
07/23
0
0
百度深度学习公开课再升级, 「地表最强」嘉宾阵容惊现成都

  短短一个月,百度深度学习公开课已走过北京、深圳和杭州三站,5 月 26 日即将在天府之国成都迎来本季收官站。百度深度学习公开课「一票难求」,此前的报名入选率仅有 20%,能参加的开发者...

机器之心
05/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

短视频App开发:短视频爆发式增长

短视频领域依旧热闹非凡,众多巨头纷纷布局短视频领域,推动市场格局的新变化。迹象显示,行业企业正纷纷瞄准AI(人工智能)及5G契机进行布局,力图获得下一步发展优势。 短视频市场火爆 竞争...

ThinkSNS账号
11分钟前
0
0
图形用户界面和交互输入方法---交互式构图技术

基本的定位方法 拖拽 约束 网格 橡皮条方法

中国龙-扬科
19分钟前
0
0
Win10:键盘任一键实现了 “一键开机”

微软自 Windows 10 系统起,默认自己的系统都开始支持“快速开启”。实质上就是“快速开机”的功能。 此功能的特点是:对于装载了 Windows 10 的电脑,开机时,只需要轻轻按一下键盘上的任意...

LivingInFHL
35分钟前
0
0
vue-router的HTML5 History 模式设置

VUE是当下最火爆的前端框架之一,vue-router是vue项目中几乎都会用到的组件,然而体验一时爽,其实坑不少。本篇经验将详细介绍vue-router的两种mode效果和开发测试环境下的问题,并给出解决方...

peakedness丶
40分钟前
1
0
Dubbo 源码分析 - 服务引用

1. 简介 在上一篇文章中,我详细的分析了服务导出的原理。本篇文章我们趁热打铁,继续分析服务引用的原理。在 Dubbo 中,我们可以通过两种方式引用远程服务。第一种是使用服务直联的方式引用...

小刀爱编程
50分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部