基于Kubernetes的机器学习系统

原创
2018/06/02 06:33
阅读数 4.4K

基于Kubernetes的机器学习系统

基于Kubernetes搭建机器学习系统,将可以利用大型集群管理和微服务架构实现大规模、生产级的训练、研究和应用机器学习系统,Nvidia的 HGX超级机器学习平台 也基于该架构,具有强大的运算和IO能力。

Enables the World’s Largest GPU

1、基于Kubernetes的机器学习流程

机器学习系统包括训练框架、机器学习计算引擎、样本数据库、计算模型库、超级参数库、应用框架和移动应用(包括引擎、框架和参数库调优等)等部分。为了生产级的应用,还需要具有有配置参数及其版本化的管理,样本数据库、超级参数和环境配置参数往往存储在虚拟存储系统上(如NFS/Rook),以实现多个节点的并行处理访问所需。

2、基于Kubernetes的机器学习资源

本文将包含基于Kubernetes的机器学习系统相关参考资源,包括基于Ubuntu的Nvidia图形驱动驱动、cuDNN深度学习引擎、Nvidia Docker2、Nvidia Plugin for Kubernetes、Kubeflow、Spark ML等安装和配置方法。

3、Kubenrnetes集群安装参考

4、Kubenrnetes网络部署参考

5、机器学习前端应用方向

在机器学习平台中,后端主要用于训练和大型分析、在线服务,而前端通过低功耗的专用芯片实现模型的应用,如自动驾驶、图像分类、视频理解、人脸识别、语音合成、视觉定位等等,有基于ASIC、FPGA、DSP、ARM的专用芯片和多种方案,体积和功耗都是比较低的,可以在包括手机上的移动设备上运行。

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部