PaddlePaddle 与 Kubernetes强强联合助力深度学习模型高效运转
PaddlePaddle 与 Kubernetes强强联合助力深度学习模型高效运转
AI通讯社 发表于10个月前
PaddlePaddle 与 Kubernetes强强联合助力深度学习模型高效运转
  • 发表于 10个月前
  • 阅读 36
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

美国时间2月8日,Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes,使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。

此次兼容将使开发者能够便捷地在全球主要云服务以及私有集群 (on-premise clusters) 上做大规模深度学习训练。该项目由百度和CoreOS联合开发,同时CoreOS也是Kubernetes的主要贡献者之一。

开发者通常会将AI项目与Web服务、日志收集、和数据处理等多种作业部署在同一个通用集群(general-purpose cluster)之上,从而实现高效数据通道。为管理通用集群,需要使用Kubernetes等成熟的通用集群管理系统。使PaddlePaddle兼容Kubernetes,开发者便可以开发搭载高效深度学习的应用。

百度科学家及PaddlePaddle研发项目带头人王益表示:“Kubernetes可以有效简化分布式作业,包括分布式机器学习作业的部署和运维工作,提升研究员和开发者的工作效率。“

Kubernetes将需要GPU的PaddlePaddle任务与需要大内存或大磁盘I/O吞吐量(disk I/O throughput)等其他不同资源的任务部署在同一个物理计算机之上,从而发挥集群硬件的最大效用。同时Kubernetes还能在活跃用户较多的白天自动启动更多的Web服务进程,而在夜间释放Web服务使用的部分资源来启动更多的PaddlePaddle进程。

PaddlePaddle为百度原创的一款易于使用的深度学习框架。最近四年里应用于百度旗下的多款互联网产品中。该框架尤其适合训练循环神经网络(recurrent neural networks),从而能高效执行自然语言理解、语音识别、和计算视觉等应用。自2016年百度世界大会上,宣布开放百度深度学习平台以来,PaddlePaddle已成为发展最快的深度学习平台之一。

标签: PaddlePaddle
共有 人打赏支持
粉丝 0
博文 2
码字总数 0
评论 (0)
×
AI通讯社
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: