文档章节

如何在Hadoop上运行TensorFlow【部署】

片刻
 片刻
发布于 2017/06/14 10:04
字数 414
阅读 312
收藏 0

原文链接 : https://www.tensorflow.org/deploy/hadoop

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=10029530

贡献者 : 片刻 ApacheCN Apache中文网

本文档介绍如何在Hadoop上运行TensorFlow。它将扩展到描述在各种集群管理器上运行,但只描述在当前运行在HDFS上。

HDFS

我们假设您熟悉阅读数据

要使用具有TensorFlow的HDFS,请更改用于将数据读取和写入HDFS路径的文件路径。例如:

filename_queue = tf.train.string_input_producer([

    "hdfs://namenode:8020/path/to/file1.csv",

    "hdfs://namenode:8020/path/to/file2.csv",

]) 

如果要使用HDFS配置文件中指定的namenode,请将文件前缀更改为hdfs://default/

启动TensorFlow程序时,必须设置以下环境变量:

  • JAVA_HOME:Java安装的位置。
  • HADOOP_HDFS_HOME:HDFS安装的位置。您还可以通过运行以下设置此环境变量:

    shell source ${HADOOP_HOME}/libexec/hadoop-config.sh

  • LD_LIBRARY_PATH:要包含libjvm.so的路径,以及可选的libhdfs.so的路径,如果您的Hadoop分发版未安装libhdfs.so $HADOOP_HDFS_HOME/lib/native。在Linux上:

    shell export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${JAVA_HOME}/jre/lib/amd64/server

  • CLASSPATH:必须在运行TensorFlow程序之前添加Hadoop jar。CLASSPATH设置${HADOOP_HOME}/libexec/hadoop-config.sh不足。必须按照libhdfs文档中的描述扩展Globs:

    shell CLASSPATH=$($HADOOP_HDFS_HOME}/bin/hadoop classpath --glob) python your_script.py 对于旧版本的Hadoop / libhdfs(早于2.6.0),您必须手动扩展类路径通配符。有关详细信息,请参阅 HADOOP-10903

如果Hadoop集群处于安全模式,则必须设置以下环境变量:

  • KERB_TICKET_CACHE_PATH:Kerberos票证缓存文件的路径。例如:

    shell export KERB_TICKET_CACHE_PATH=/tmp/krb5cc_10002 

如果您正在运行分布式TensorFlow,则所有工作人员必须设置环境变量并安装Hadoop。

© 著作权归作者所有

共有 人打赏支持
片刻
粉丝 98
博文 268
码字总数 306559
作品 0
海淀
高级程序员
私信 提问
雅虎开源 TensorFlowOnSpark,TensorFlow 结合 Spark

近日,Yahoo 开源了 TensorFlowOnSpark,这是一个大数据集群的分布式深度学习,将 TensorFlow 带到 Apache Spark 集群上。 Yahoo 在博客上表示,深度学习(DL)近年来发展迅速,为了从大量的...

王练
2017/02/14
6.3K
4
构建在 Hadoop YARN 上的 TensorFlow 框架​​​​​​​ - TonY

TensorFlow on YARN (TonY) 是一个构建在 Hadoop YARN 上的 TensorFlow 框架。 TonY 可以将单节点或分布式 TensorFlow 训练作为 Hadoop 应用程序运行。此原生连接器与其他 TonY 功能一起,旨...

匿名
09/24
0
0
Kubeflow实战系列: 利用TFJob运行分布式TensorFlow

介绍 本系列将介绍如何在阿里云容器服务上运行Kubeflow, 本文介绍如何使用运行分布式模型训练。 第一篇:阿里云上使用JupyterHub 第二篇:阿里云上小试TFJob 第三篇:利用TFJob运行分布式Ten...

Mr_zebra
06/14
0
0
Kubeflow实战系列:利用TensorFlow Serving进行模型预测

介绍 本系列将介绍如何在阿里云容器服务上运行Kubeflow, 本文介绍如何使用加载训练模型并且进行模型预测。 第一篇:阿里云上使用JupyterHub 第二篇:阿里云上小试TFJob 第三篇:利用TFJob运行...

必嘫
06/23
0
0
在阿里云Kubernetes容器服务上打造TensorFlow实验室

简介 TensorFLow是深度学习和机器学习最流行的开源框架,它最初是由Google研究团队开发的并致力于解决深度神经网络的机器学习研究,从2015年开源到现在得到了广泛的应用。特别是Tensorboard...

必嘫
04/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Ugly Number(leetcode263)

Write a program to check whether a given number is an ugly number. Ugly numbers are positive numbers whose prime factors only include 2, 3, 5. Example 1: Input: 6Output: true......

woshixin
13分钟前
0
0
深度模型从研者 眼里的 似然估计 & Hessain 海森矩阵 & Fisher Information (费雪信息)

深度模型的训练的基本依据是最小化模型拟合数据的误差。旨在不仅知其然(如何构建和训练一个深度模型),还应知其所以然(为什么这样训练,可以做哪些优化)。我们就会发现,有很多研究者,在...

刘小米_思聪
17分钟前
0
0
阿里巴巴智能监控新场景的探索

摘要: 智能监控是智能运维的子领域,详细分析。 作者简介 王肇刚 阿里巴巴全球运行指挥中心高级技术专家 智能监控是智能运维的子领域,我们说的监控,探讨的更多是在监控策略,因为可能从数...

阿里云官方博客
19分钟前
1
0
【双十二】12 月 12 日 12 点 12 分限量抢福利,云计算不剁手!

活动详情 1.首充豪礼 双十二当日,新用户首充 200 元送 200 元代金券!仅限前 88 名!先到先得!拼手速!(新用户指 12 月 12 日前已完成注册但从未充值过的用户)
 2.超值返券 双十二当日,...

七牛云
45分钟前
3
0
Calculate Linux 发布 18 LXQt是基于Gentoo的发行版

导读 Calculate Linux 是一个基于 Gentoo 并与 Gentoo 完全兼容的滚动更新发行版家族,专为企业环境下的快速部署而优化。其提供多个不同的分支版本,分别适用于桌面、服务器等应用场景。该项...

问题终结者
47分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部