文档章节

PaddlePaddle 与 Kubernetes强强联合助力深度学习模型高效运转

A
 AI通讯社
发布于 2017/02/09 17:57
字数 552
阅读 54
收藏 0

美国时间2月8日,Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes,使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。

此次兼容将使开发者能够便捷地在全球主要云服务以及私有集群 (on-premise clusters) 上做大规模深度学习训练。该项目由百度和CoreOS联合开发,同时CoreOS也是Kubernetes的主要贡献者之一。

开发者通常会将AI项目与Web服务、日志收集、和数据处理等多种作业部署在同一个通用集群(general-purpose cluster)之上,从而实现高效数据通道。为管理通用集群,需要使用Kubernetes等成熟的通用集群管理系统。使PaddlePaddle兼容Kubernetes,开发者便可以开发搭载高效深度学习的应用。

百度科学家及PaddlePaddle研发项目带头人王益表示:“Kubernetes可以有效简化分布式作业,包括分布式机器学习作业的部署和运维工作,提升研究员和开发者的工作效率。“

Kubernetes将需要GPU的PaddlePaddle任务与需要大内存或大磁盘I/O吞吐量(disk I/O throughput)等其他不同资源的任务部署在同一个物理计算机之上,从而发挥集群硬件的最大效用。同时Kubernetes还能在活跃用户较多的白天自动启动更多的Web服务进程,而在夜间释放Web服务使用的部分资源来启动更多的PaddlePaddle进程。

PaddlePaddle为百度原创的一款易于使用的深度学习框架。最近四年里应用于百度旗下的多款互联网产品中。该框架尤其适合训练循环神经网络(recurrent neural networks),从而能高效执行自然语言理解、语音识别、和计算视觉等应用。自2016年百度世界大会上,宣布开放百度深度学习平台以来,PaddlePaddle已成为发展最快的深度学习平台之一。

本文转载自:

共有 人打赏支持
A
粉丝 0
博文 2
码字总数 0
作品 0
百度“深度学习公开课”首场爆满 开发者收获最强进阶“宝典”

     4月21日,北京迎来了今年的第一场大雨,但是依然浇灭不了开发者的热情,超过200名资深开发者还是如约而至,来到了百度“深度学习公开课”北京站。   近日,百度AI开发者实战营第二...

中国机器人
04/23
0
0
看再多的书和论文,都不如亲自来百度公开课杭州站上个课

  百度深度学习公开课第三堂即将开课!5月18日,百度深度学习公开课将在杭州正式“开课”。届时,多位深度学习技术专家将深度解读PaddlePaddle的特性、模型与应用案例,让AI工程师与希望进...

机器之心
05/10
0
0
百度成立新部门,豪华技术团队加持PaddlePaddle研发

  作为人工智能时代的基础,深度学习一直是人工智能最热门的、企业投入最多的研究领域之一。近日,国内AI领军企业百度宣布成立深度学习技术平台部,汇聚更多的AI科学家和架构师,进行当前国...

遇见人工智能
07/26
0
0
专栏 | 百度PaddlePaddle的新特性与大规模稀疏数据分布式模型训练

  机器之心专栏   来源:百度PaddlePaddle      7 月 5 日,第二届百度 AI 开发者大会落下帷幕。在今年的开发者大会上,百度宣布了一系列重磅内容:全球首款 L4 自动驾驶巴士「阿波龙...

机器之心
07/23
0
0
百度深度学习公开课再升级, 「地表最强」嘉宾阵容惊现成都

  短短一个月,百度深度学习公开课已走过北京、深圳和杭州三站,5 月 26 日即将在天府之国成都迎来本季收官站。百度深度学习公开课「一票难求」,此前的报名入选率仅有 20%,能参加的开发者...

机器之心
05/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JSCH会大量使用服务器内存吗?会

java实现一个需求用到了jsch,发现服务器内存会被占满。 写了个50进程的jsch-sftp测试连接 put一个文件 ExecutorService fixedThreadPool = Executors.newFixedThreadPool(50);for (int j =...

just-coding
3分钟前
0
0
聊聊redis的数据结构的应用

序 本文主要研究一下redis的数据结构的应用 string 最常用的就是incr操作,比如可以用来维护用户在某个抽奖活动的剩余抽奖次数 setnx方法可以用来实现分布式锁 hashmap 可以用来存储session...

go4it
4分钟前
0
0
《将博客搬至CSDN》

搬到csdn

我风依旧
7分钟前
1
0
源码编译安装最新版 Subversion 1.10.x

一、使用包管理器自动安装 官方网站提供了常见 Linux 发行版的安装命令,此处仅以 CentOS、Debian 及 Ubuntu 为例进行说明,其它系统详见官网:https://subversion.apache.org/packages.html...

whoru
10分钟前
0
0
liquibase

今天在看springboot源码时发现一个好东西。 LiquibaseServiceLocatorApplicationListener Liquibase是一个用于跟踪、管理和应用数据库变化的开源的数据库重构工具。它将所有数据库的变化(包...

jack_peng
14分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部