文档章节

Kubeflow 快速入门

openthings
 openthings
发布于 2018/05/06 16:06
字数 493
阅读 1197
收藏 6

Kubeflow 快速入门

Kubeflow 是 Google 发布的用于在 Kubernetes 集群中部署和管理 tensorflow 任务的框架。主要功能包括

  • 用于管理 Jupyter 的 JupyterHub 服务
  • 用于管理训练任务的 Tensorflow Training Controller
  • 用于模型服务的 TF Serving 容器

部署

部署之前需要确保

  • 一套部署好的 Kubernetes 集群或者 Minikube,并配置好 kubectl 命令行工具
  • 安装 ksonnet 0.8.0 以上版本

对于开启 RBAC 的 Kubernetes 集群,首先要创建管理员角色绑定:

kubectl create clusterrolebinding tf-admin --clusterrole=cluster-admin --serviceaccount=default:tf-job-operator

然后运行以下命令部署

ks init my-kubeflow
cd my-kubeflow
ks registry add kubeflow github.com/google/kubeflow/tree/master/kubeflow
ks pkg install kubeflow/core
ks pkg install kubeflow/tf-serving
ks pkg install kubeflow/tf-job
ks generate core kubeflow-core --name=kubeflow-core
ks apply default -c kubeflow-core

For Error rate limit, as follow:

https_proxy=http://192.168.199.99:9999 GITHUB_TOKEN=f7b4140133f6b77e6a987a0dae62db3551737*** ks pkg install kubeflow/core

如果有多个 Kubernetes 集群,也可以切换到其他其集群中部署,如

kubectl config use-context gke
ks env add gke
ks apply gke -c kubeflow-core

稍等一会,就可以看到 tf-hub-lb 服务的公网 IP,也就是 JupyterHub 的访问地址

kubectl get svc tf-hub-lb

对于不支持 LoadBalancer Service 的集群,还可以通过端口转发(http://127.0.0.1:8100)的方式来访问:

kubectl port-forward tf-hub-0 8100:8000

JupyterHub 默认可以用任意用户名和密码登录。登陆后,可以使用自定义镜像来启动 Notebook Server,比如使用

  • gcr.io/kubeflow/tensorflow-notebook-cpu
  • gcr.io/kubeflow/tensorflow-notebook-gpu

训练示例

使用 CPU:

ks generate tf-cnn cnn --name=cnn
ks apply gke -c cnn

使用 GPU:

ks param set cnn num_gpus 1
ks param set  cnn num_workers 1
ks apply default -c cnn

部署模型

MODEL_COMPONENT=serveInception
MODEL_NAME=inception
MODEL_PATH=gs://cloud-ml-dev_jlewi/tmp/inception
ks generate tf-serving ${MODEL_COMPONENT} --name=${MODEL_NAME} --namespace=default --model_path=${MODEL_PATH}

ks apply gke -c ${MODEL_COMPONENT}

参考文档

本文转载自:https://feisky.xyz/machine-learning/

openthings
粉丝 322
博文 1137
码字总数 687066
作品 1
东城
架构师
私信 提问
Kubeflow镜像的快速下载(V0.3.3)

Kubeflow是一个面向Kubernetes集群运行的机器学习框架。要想使用得先想办法把镜像搬到自己的环境里来。 目前版本0.3.3的容器镜像已经搬回来,可以使用下面的脚本来从Aliyun的镜像服务站下载:...

openthings
2018/11/28
652
0
AirFlow/NiFi/MLFlow/KubeFlow进展

大数据分析中,进行流程化的批处理是必不可少的。传统的大数据处理大部分是基于关系数据库系统,难以实现大规模扩展;主流的基于Hadoop/Spark体系总体性能较强,但使用复杂、扩展能力弱。大数...

openthings
06/21
338
0
Kubeflow 入门——为 Kubernetes 打造的组件化、可移植、可扩展的机器学习堆栈

【编者的话】本文来自 Kubeflow 项目的产品经理 David Aronchick 和首席工程师 Jeremy Lewi,主要讲了他们新的开源项目——Kubeflow 的一些入门知识,Kubeflow 致力于使 Kubernetes 上的机器...

openthings
2018/05/06
423
0
谷歌发布Kubeflow 0.1版本,基于Kubernetes的机器学习工具包

自从 Google 发布开源容器编排工具——Kubernetes 以来,我们已经见证了其以各种方式遍地开花的景象。随着 Kubernetes 越来越受欢迎,许多辅助项目也已经发展起来。现在,Google 发布了Kubef...

Docker
2018/05/06
0
0
Kubeflow 0.1 发布,基于 Kubernetes 的机器学习工具库

Google 发布了 Kubeflow 开源工具 0.1 版本,该工具旨在将机器学习带入 Kubernetes 容器的世界。该项目背后的想法是让数据科学家充分利用在 Kubernetes 集群上运行机器学习任务的优势。Kubef...

局长
2018/05/07
1K
1

没有更多内容

加载失败,请刷新页面

加载更多

springboot2.0 maven打包分离lib,resources

springboot将工程打包成jar包后,会出现获取classpath下的文件出现测试环境正常而生产环境文件找不到的问题,这是因为 1、在调试过程中,文件是真实存在于磁盘的某个目录。此时通过获取文件路...

陈俊凯
今天
6
0
BootStrap

一、BootStrap 简洁、直观、强悍的前端开发框架,让web开发更加迅速、简单 中文镜像网站:http://www.bootcss.com 用于开发响应式布局、移动设备优先的WEB项目 1、使用boot 创建文件夹,在文...

wytao1995
今天
10
0
小知识:讲述Linux命令别名与资源文件的区别

别名 别名是命令的快捷方式。为那些需要经常执行,但需要很长时间输入的长命令创建快捷方式很有用。语法是: alias ppp='ping www.baidu.com' 它们并不总是用来缩短长命令。重要的是,你将它...

老孟的Linux私房菜
今天
8
0
《JAVA核心知识》学习笔记(6. Spring 原理)-5

它是一个全面的、企业应用开发一站式的解决方案,贯穿表现层、业务层、持久层。但是 Spring 仍然可以和其他的框架无缝整合。 6.1.1. Spring 特点 6.1.1.1. 轻量级 6.1.1.2. 控制反转 6.1.1....

Shingfi
今天
8
0
Excel导入数据库数据+Excel导入网页数据【实时追踪】

1.Excel导入数据库数据:数据选项卡------>导入数据 2.Excel导入网页数据【实时追踪】:

东方墨天
今天
11
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部