文档章节

PaddlePaddle 与 Kubernetes强强联合助力深度学习模型高效运转

A
 AI通讯社
发布于 2017/02/09 17:57
字数 552
阅读 51
收藏 0
点赞 0
评论 0

美国时间2月8日,Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes,使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。

此次兼容将使开发者能够便捷地在全球主要云服务以及私有集群 (on-premise clusters) 上做大规模深度学习训练。该项目由百度和CoreOS联合开发,同时CoreOS也是Kubernetes的主要贡献者之一。

开发者通常会将AI项目与Web服务、日志收集、和数据处理等多种作业部署在同一个通用集群(general-purpose cluster)之上,从而实现高效数据通道。为管理通用集群,需要使用Kubernetes等成熟的通用集群管理系统。使PaddlePaddle兼容Kubernetes,开发者便可以开发搭载高效深度学习的应用。

百度科学家及PaddlePaddle研发项目带头人王益表示:“Kubernetes可以有效简化分布式作业,包括分布式机器学习作业的部署和运维工作,提升研究员和开发者的工作效率。“

Kubernetes将需要GPU的PaddlePaddle任务与需要大内存或大磁盘I/O吞吐量(disk I/O throughput)等其他不同资源的任务部署在同一个物理计算机之上,从而发挥集群硬件的最大效用。同时Kubernetes还能在活跃用户较多的白天自动启动更多的Web服务进程,而在夜间释放Web服务使用的部分资源来启动更多的PaddlePaddle进程。

PaddlePaddle为百度原创的一款易于使用的深度学习框架。最近四年里应用于百度旗下的多款互联网产品中。该框架尤其适合训练循环神经网络(recurrent neural networks),从而能高效执行自然语言理解、语音识别、和计算视觉等应用。自2016年百度世界大会上,宣布开放百度深度学习平台以来,PaddlePaddle已成为发展最快的深度学习平台之一。

本文转载自:

共有 人打赏支持
A
粉丝 0
博文 2
码字总数 0
作品 0
百度“深度学习公开课”首场爆满 开发者收获最强进阶“宝典”

     4月21日,北京迎来了今年的第一场大雨,但是依然浇灭不了开发者的热情,超过200名资深开发者还是如约而至,来到了百度“深度学习公开课”北京站。   近日,百度AI开发者实战营第二...

中国机器人
04/23
0
0
看再多的书和论文,都不如亲自来百度公开课杭州站上个课

  百度深度学习公开课第三堂即将开课!5月18日,百度深度学习公开课将在杭州正式“开课”。届时,多位深度学习技术专家将深度解读PaddlePaddle的特性、模型与应用案例,让AI工程师与希望进...

机器之心
05/10
0
0
专栏 | 百度PaddlePaddle的新特性与大规模稀疏数据分布式模型训练

  机器之心专栏   来源:百度PaddlePaddle      7 月 5 日,第二届百度 AI 开发者大会落下帷幕。在今年的开发者大会上,百度宣布了一系列重磅内容:全球首款 L4 自动驾驶巴士「阿波龙...

机器之心
今天
0
0
百度深度学习公开课再升级, 「地表最强」嘉宾阵容惊现成都

  短短一个月,百度深度学习公开课已走过北京、深圳和杭州三站,5 月 26 日即将在天府之国成都迎来本季收官站。百度深度学习公开课「一票难求」,此前的报名入选率仅有 20%,能参加的开发者...

机器之心
05/21
0
0
AI系统化风潮渐显,PaddlePaddle如何应对开发者争夺战

最近很多海外企业之中在发生一种很有趣的改变,那就是AI正在脱离其他部门附属品的角色,成为一个独立的部门或事业部。 先是CEO纳德拉对微软大动干戈地进行了重组,将原Windows部门重组成“设...

脑极体
04/22
0
0
活动 | 敲黑板!深圳站也将迎来百度深度学习公开课

  第二堂百度深度学习公开课即将在深圳开讲啦!这也是百度AI开发者实战营第二季所添加的新环节。据悉,深圳站到公开课将由深度学习专家深入解读PaddlePaddle的特性、模型与应用案例,为AI工...

机器之心
05/03
0
0
快讯 | 教育部深度学习师资培训,这次合作者是百度和北航

     大数据文摘作品   一个多月前,教育部公布了2017年度普通高等学校本科专业备案和审批结果,其中AI相关的专业成为了爆款,有多达248所高校获批新增数据科学与大数据技术本科专业,...

大数据文摘
05/11
0
0
Paddle 0.13.0 发布,百度开源的深度学习平台

Paddle 0.13.0 已发布,PaddlePaddle (PArallel Distributed Deep LEarning 并行分布式深度学习)是百度研发的深度学习平台,具有易用,高效,灵活和可伸缩等特点,为百度内部多项产品提供深度...

达尔文
06/12
0
0
PaddlePaddle 系列之三行代码从入门到精通

本文介绍 PaddlePaddle 系列之三行代码从入门到精通。 前言 这将是 PaddlePaddle 系列教程的开篇,属于非官方教程。既然是非官方,自然会从一个使用者的角度出发,来教大家怎么用,会有哪些坑...

tangxiaoyin
2017/10/13
0
0
2018百度之星开发者大赛-paddlepaddle学习

前言 本次比赛赛题是进行人流密度的估计,因为之前看过很多人体姿态估计和目标检测的论文,隐约感觉到可以用到这次比赛上来,所以趁着现在时间比较多,赶紧报名参加了一下比赛,比赛规定用p...

bobxx
07/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

eclipse SVN 项目重新定位

SVN 重新定位 1.方法一 首先:在Eclipse中选择Windows-> Show View->others 就会出现【SVN资源库/SVN Repositories】,选中后,点击确认; 然后:选中原有的地址,选择【重新定位/Relocate】...

qimh
13分钟前
0
0
Linux 第29课 ——Linux集群架构(下)

Linux集群架构(下) 八、DR模式搭建 8.1 准备工作 试验需求三台机器: 分发器,也叫调度器(简写为dir) 192.168.112.136 ying01 rs1 192.168.112.138 ying02 rs2 192.168.112.139 ying03 vip...

feng-01
18分钟前
0
0
轻松搭建svn版本管理工具+svnmanager管理客户端

前面的文章有写过svn版本管理工具的安装是基于svn的安装包进行安装,对于svn与apache的结合还得下svn和apache的模块进行结合过程比较繁琐,今天来介绍下通过centos的yum来安装svn能够快速安装...

javazyw
27分钟前
0
0
keepalived配置高可用集群

Linux集群概述 根据功能划分为两大类:高可用和负载均衡 高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务 实现高可用的开源软件有:...

TaoXu
33分钟前
0
0
mysql联表批处理操作

1 概述 mysql中的单表增删改查操作,可以说是基本中的基本. 实际工作中,常常会遇到一些基本用法难以处理的数据操作,譬如遇到主从表甚至多级关联表的情况(如一些历史问题数据的批量处理),考虑到...

社哥
35分钟前
0
0
IntelliJ IDEA 详细图解最常用的配置,适合刚刚用的新人。

刚刚使用IntelliJ IDEA 编辑器的时候,会有很多设置,会方便以后的开发,磨刀不误砍柴工。 比如:设置文件字体大小,代码自动完成提示,版本管理,本地代码历史,自动导入包,修改注释,修改...

kim_o
50分钟前
0
0
Google Java编程风格指南

目录 前言 源文件基础 源文件结构 格式 命名约定 编程实践 Javadoc 后记 前言 这份文档是Google Java编程风格规范的完整定义。当且仅当一个Java源文件符合此文档中的规则, 我们才认为它符合...

niithub
52分钟前
0
0
java.net.MalformedURLException异常说明

1.异常片段 Java代码中,在进行URL url = new URL(urllink)操作时,提示以下异常信息,该类异常主要问题出在参数urllink上面。 异常片段1 java.net.MalformedURLException at java.ne...

lqlm
52分钟前
1
0
CentOS7修改mysql5.6字符集

解决办法:CentOS7下修改MySQL数据库字符编码为UTF-8,UTF-8包含全世界所有国家所需要的字符集,是国际编码。 具体操作如下: 1.进入MySQL [root@tianqi-01 ~]# mysql -uroot -p Enter passw...

河图再现
54分钟前
0
0
DevExpress v18.1新版亮点——WPF篇(一)

用户界面套包DevExpress v18.1日前终于正式发布,本站将以连载的形式为大家介绍各版本新增内容。本文将介绍了DevExpress WPF v18.1 的新功能,快来下载试用新版本!点击下载>> Accordion Co...

Miss_Hello_World
57分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部