文档章节

基于Kubernetes的机器学习系统

openthings
 openthings
发布于 2018/06/02 06:33
字数 887
阅读 611
收藏 1

基于Kubernetes的机器学习系统

基于Kubernetes搭建机器学习系统,将可以利用大型集群管理和微服务架构实现大规模、生产级的训练、研究和应用机器学习系统,Nvidia的 HGX超级机器学习平台 也基于该架构,具有强大的运算和IO能力。

Enables the World’s Largest GPU

1、基于Kubernetes的机器学习流程

机器学习系统包括训练框架、机器学习计算引擎、样本数据库、计算模型库、超级参数库、应用框架和移动应用(包括引擎、框架和参数库调优等)等部分。为了生产级的应用,还需要具有有配置参数及其版本化的管理,样本数据库、超级参数和环境配置参数往往存储在虚拟存储系统上(如NFS/Rook),以实现多个节点的并行处理访问所需。

2、基于Kubernetes的机器学习资源

本文将包含基于Kubernetes的机器学习系统相关参考资源,包括基于Ubuntu的Nvidia图形驱动驱动、cuDNN深度学习引擎、Nvidia Docker2、Nvidia Plugin for Kubernetes、Kubeflow、Spark ML等安装和配置方法。

3、Kubenrnetes集群安装参考

4、Kubenrnetes网络部署参考

5、机器学习前端应用方向

在机器学习平台中,后端主要用于训练和大型分析、在线服务,而前端通过低功耗的专用芯片实现模型的应用,如自动驾驶、图像分类、视频理解、人脸识别、语音合成、视觉定位等等,有基于ASIC、FPGA、DSP、ARM的专用芯片和多种方案,体积和功耗都是比较低的,可以在包括手机上的移动设备上运行。

© 著作权归作者所有

openthings
粉丝 322
博文 1133
码字总数 685064
作品 1
东城
架构师
私信 提问
AirFlow/NiFi/MLFlow/KubeFlow进展

大数据分析中,进行流程化的批处理是必不可少的。传统的大数据处理大部分是基于关系数据库系统,难以实现大规模扩展;主流的基于Hadoop/Spark体系总体性能较强,但使用复杂、扩展能力弱。大数...

openthings
06/21
326
0
Kubeflow镜像的快速下载(V0.3.3)

Kubeflow是一个面向Kubernetes集群运行的机器学习框架。要想使用得先想办法把镜像搬到自己的环境里来。 目前版本0.3.3的容器镜像已经搬回来,可以使用下面的脚本来从Aliyun的镜像服务站下载:...

openthings
2018/11/28
645
0
基于 Kubernetes 的机器学习工具库 - Kubeflow

Kubeflow 是谷歌发布的一个机器学习工具库,Kubeflow 项目旨在使 Kubernetes 上的机器学习变的轻松、便捷、可扩展,其目标不是重建其他服务,而是提供一种简便的方式找到最好的 OSS 解决方案...

匿名
2017/12/12
2.7K
3
Kubernetes Meet-up 深圳

活动简介 2016年度,才云(Caicloud)被美国 CNCF/ The Linux Foundation 授权为中国地区官方 Kubernetes Meetup 独家组织机构,同时Meetup 活动早前已在杭州、上海、北京三地成功举行。金秋...

Caicloud
2016/09/22
276
0
K8S 周岁庆生| 上海 Meetup 聊聊开源落地那些事儿

活动流程 12:30 - 13:00 签到 13:00 - 13:10 K8sMeetup「上海」开场 13:10 - 13:20 Keynote CNCF :Keith Chan 13:20 - 13:40 Keynote 谷歌:李锐 《谷歌 AI:把人工智能的益处带给每...

Caicloud
2018/06/23
155
0

没有更多内容

加载失败,请刷新页面

加载更多

Replugin借助“UI进程”来快速释放Dex

public static boolean preload(PluginInfo pi) { if (pi == null) { return false; } // 借助“UI进程”来快速释放Dex(见PluginFastInstallProviderProxy的说明) return PluginFastInsta......

Gemini-Lin
今天
4
0
Hibernate 5 的模块/包(modules/artifacts)

Hibernate 的功能被拆分成一系列的模块/包(modules/artifacts),其目的是为了对依赖进行独立(模块化)。 模块名称 说明 hibernate-core 这个是 Hibernate 的主要(main (core))模块。定义...

honeymoose
今天
4
0
CSS--属性

一、溢出 当内容多,元素区域小的时候,就会产生溢出效果,默认是纵向溢出 横向溢出:在内容和容器之间再套一层容器,并且内部容器要比外部容器宽 属性:overflow/overflow-x/overflow-y 取值...

wytao1995
今天
4
0
精华帖

第一章 jQuery简介 jQuery是一个JavaScript库 jQuery具备简洁的语法和跨平台的兼容性 简化了JavaScript的操作。 在页面中引入jQuery jQuery是一个JavaScript脚本库,不需要特别的安装,只需要...

流川偑
今天
7
0
语音对话英语翻译在线翻译成中文哪个方法好用

想要进行将中文翻译成英文,或者将英文翻译成中文的操作,其实有一个非常简单的工具就能够帮助完成将语音进行翻译转换的软件。 在应用市场或者百度手机助手等各大应用渠道里面就能够找到一款...

401恶户
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部