文档章节

快速运行TensorFlow的6种方式

openthings
 openthings
发布于 2018/05/19 12:27
字数 926
阅读 944
收藏 0

快速运行TensorFlow的6种方式

TensorFlow(http://tensorflow.org)是一个深度学习计算引擎,自然是可以直接安装运行的,而且能得到最佳的性能。但是,考虑到机器学习需要安装大量的软件,之间必然会带来软件管理和版本兼容性问题,而且在集群中运行更为复杂,因此不推荐这种方式。

这里将介绍几种可以在隔离环境中运行TensorFlow的方式,包括:Anaconda、Docker、Jupyter、Kubernetes POD、Kubeflow、Spark DL on MLlib,将更容易管理和扩展到集群中运行。

1、Anaconda

通过Anaconda来运行Tensorflow的Python调用代码,优点是可以提供一个相对隔离的Python运行环境,避免与其它的python任务产生版本冲突。虽然也可以通过VirtualEnv完成类似的任务,但Anaconda自带包管理功能,用起来更为方便。

下载和安装Anaconda:

echo ""
echo "====================================================================="
echo "Downloading Anaconda3 5.1.0 to ~/openthings..."
echo ""

cd ~/openthings
wget -c https://repo.anaconda.com/archive/Anaconda3-5.1.0-Linux-x86_64.sh

echo "====================================================================="
echo "Finished.Latest version at https://repo.continuum.io/archive/"
echo "More practice at https://my.oschina.net/u/2306127/blog"
echo "====================================================================="
echo ""

下载和安装Miniconda:

echo ""
echo "====================================================================="
echo "Downloading Miniconda3 4.5.1 to ~/openthings..."
echo ""

cd ~/openthings
wget -c https://repo.continuum.io/miniconda/Miniconda3-4.5.1-Linux-x86_64.sh

echo "====================================================================="
echo "Finished.Latest version at https://repo.continuum.io/miniconda/"
echo "More practice at https://my.oschina.net/u/2306127/blog"
echo "====================================================================="
echo ""

安装TensorFlow on Anaconda:

echo ""
echo "================================================================="
echo "Create conda env for Tensorflow, python 3.6.5 ..."
conda create --yes -n tensorflow pip python=3.6.5
source activate tensorflow
echo ""

echo ""
echo "================================================================="
echo "Install Tensorflow 1.8.0 with GPU support."
pip install --ignore-installed --upgrade \
	https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-1.8.0-cp36-cp36m-linux_x86_64.whl
echo "================================================================="
echo "More practice at https://my.oschina.net/u/2306127/blog"
echo "More info,Visit https://www.tensorflow.org/install/install_linux "
echo "================================================================="
echo ""

然后运行:

source activate tensorflow

这样切换Python运行环境,就可以在Anaconda环境下通过Python执行Tensorflow调用代码了,当然也可以安装Jupyter Notebook之类的组件,然后在浏览器里编写和运行tensorflow计算任务。

2、Docker

将TensorFlow放到Docker容器中执行,安装部署都更为方便,不污染宿主机环境,快速实验多种版本。

echo ""
echo "================================================================="
echo "Running Tensorflow in Docker with bash shell."
echo "More practice at https://my.oschina.net/u/2306127/blog"
echo "Please Visit https://www.tensorflow.org/install/install_linux "
echo "================================================================="
echo ""

nvidia-docker run -it tensorflow/tensorflow:latest-gpu bash

3、Jupyter

在Docker中安装Anaconda和Jupyter。

echo ""
echo "================================================================="
echo "Running Tensorflow in Docker with jupyter notebook."
echo "More practice at https://my.oschina.net/u/2306127/blog"
echo "Please Visit https://www.tensorflow.org/install/install_linux "
echo "================================================================="
echo ""

nvidia-docker run -it -p 8888:8888 tensorflow/tensorflow:latest-gpu

然后按照提示的地址,到浏览器打开网址 http://localhost:8888,就可以使用了。

4、Kubernetes POD

如果使用Kubernetes/Minikube或者OpenShift,可以将Tensorflow部署到K8S集群中,参见:

5、Kubeflow

通过Kubernetes建立TensorFlow机器学习集群的更佳方式是使用KubeFlow,目前该项目启动时间不长,还需要进一步完善。使用参考:

6、Spark DL on MLlib

由于TensorFlow只是完成计算功能,通过Spark ML建立深度学习流水线,从而可以充分利用Spark的分布式内存和数据处理、数据IO、交互分析等功能,然后进一步将其运行在Kubernetes集群之中统一调度。

© 著作权归作者所有

openthings
粉丝 325
博文 1140
码字总数 689435
作品 1
东城
架构师
私信 提问
【AI实战】快速掌握TensorFlow(二):计算图、会话

在前面的文章中,我们已经完成了AI基础环境的搭建(见文章:Ubuntu + Anaconda + TensorFlow + GPU + PyCharm搭建AI基础环境),以及初步了解了TensorFlow的特点和基本操作(见文章:快速掌握...

雪饼
2018/08/20
1K
1
【AI实战】快速掌握Tensorflow(一):基本操作

Tensorflow是Google开源的深度学习框架,来自于Google Brain研究项目,在Google第一代分布式机器学习框架DistBelief的基础上发展起来。Tensorflow于2015年11月在GitHub上开源,在2016年4月补...

雪饼
2018/08/18
2.8K
0
TensorFlow——快速安装

TensorFlow:2015年Google开源的机器学习框架 1、Anoconda安装 (1)Window,MacOS,Linux都已支持Tensorflow。 (2)Window用户只能使用python3.5(64bit)。MacOS,Linux支持python2.7和python3...

飞天小橘子
2018/04/19
0
0
史上最全TensorFlow学习资源汇总

来源 悦动智能(公众号ID:aibbtcom) 本篇文章将为大家总结TensorFlow纯干货学习资源,非常适合新手学习,建议大家收藏。 ▌一 、TensorFlow教程资源 1)适合初学者的TensorFlow教程和代码示...

悦动智能
2018/04/12
423
0
TensorFlow Lite 正式发布,谷歌移动端深度学习框架

今年 5 月,谷歌曾在 I/O 大会上宣布即将推出 TensorFlow Lite,现在,谷歌终于发布了新工具的开发者预览版本,这是一款 TensorFlow 用于移动设备和嵌入式设备的轻量级解决方案。 TensorFlow...

达尔文
2017/11/15
4.1K
5

没有更多内容

加载失败,请刷新页面

加载更多

009、Linux 文件权限管理

Linux 文件权限管理

北岩
7分钟前
1
0
Kafka学习笔记(三)—Kafka消息丢失,消费重复

一、数据传输事务的定义 最多一次(at most once):消息不会被重复发送,但是可能丢失 最少一次 (at least once)消息可能会被重复发送,但是不会漏发送 精确一次(exactly once) 不会少发...

Algoric
11分钟前
3
0
ajax设置请求头部时遇到的问题

w3c规定 当请求的header包含以下字段时 会被zhong'zhi Accept-Charset Accept-Encoding Connection Content-Length Cookie Cookie2 Content-Transfer-Encoding Date Expect Host Keep-Alive......

Bing309
35分钟前
3
0
总结:Linux

一、目录 目录 作用 /bin 存放二进制可执行文件(ls,cat,mkdir等),常用命令一般都在这里。 /etc /home 存放所有用户文件的根目录,是用户主目录的基点,比如用户user的主目录就是/home/user,...

浮躁的码农
38分钟前
4
0
什么是 happens-before 原则?

Java 中 happens-before 原则,是在 JSR-133 中提出的。 原文摘要: • Each action in a thread happens-before every subsequent action in that thread. • An unlock on a monitor happe......

ConstXiong
51分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部