文档章节

Tensorflow第一个例子

propagator
 propagator
发布于 2017/03/04 23:09
字数 1815
阅读 2020
收藏 21

安装完Tensorflow之后,尝试经典的MNIST手写体识别的例子。该例子在安装tensorflow之后自带,可在如下目录中找到(Anaconda_PATH代表安装Anaconda的目录位置)

Anaconda_PATH\envs\TensorFlow\Lib\site-packages\tensorflow\examples\tutorials\mnist

该目录中包含三个例子mnist_softmax.py,fully_connected_feed.py,mnist_with_summaries.py。其他几个文件是这几个例子执行时需要引用的。先从最简单的例子mnist_softmax.py来说明tensorflow的基本概念和原理。

 

mnist_softmax.py文件的内容如下:

# Copyright 2015 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# ==============================================================================

"""A very simple MNIST classifier.

See extensive documentation at
http://tensorflow.org/tutorials/mnist/beginners/index.md
"""
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import sys

# Import data
from tensorflow.examples.tutorials.mnist import input_data

import tensorflow as tf

FLAGS = None


def main(_):
  mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

  # Create the model
  x = tf.placeholder(tf.float32, [None, 784])
  W = tf.Variable(tf.zeros([784, 10]))
  b = tf.Variable(tf.zeros([10]))
  y = tf.matmul(x, W) + b

  # Define loss and optimizer
  y_ = tf.placeholder(tf.float32, [None, 10])

  # The raw formulation of cross-entropy,
  #
  #   tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(tf.nn.softmax(y)),
  #                                 reduction_indices=[1]))
  #
  # can be numerically unstable.
  #
  # So here we use tf.nn.softmax_cross_entropy_with_logits on the raw
  # outputs of 'y', and then average across the batch.
  cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, y_))
  train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

  sess = tf.InteractiveSession()
  # Train
  tf.global_variables_initializer().run()
  for _ in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

  # Test trained model
  correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
  print(sess.run(accuracy, feed_dict={x: mnist.test.images,
                                      y_: mnist.test.labels}))

if __name__ == '__main__':
  parser = argparse.ArgumentParser()
  parser.add_argument('--data_dir', type=str, default='/tmp/tensorflow/mnist/input_data',
                      help='Directory for storing input data')
  FLAGS, unparsed = parser.parse_known_args()
  tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)

可在命令行执行如下命令直接运行它:

python mnist_softmax.py

但是很有可能运行报错,因为天朝的网络很难下载数据集(反正我运行了好几次都不行)。最可靠的方法是新建data目录,下载下面四个文件(数据集)放到data中

http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz

http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz

http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz

http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz

然后执行如下命令:

python mnist_softmax.py --data_dir data

可能的输出如下:

恭喜,说明第一个例子运行成功了。

 

接下来解释一下这个例子做了什么事。

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

这两句用于下载数据(很不幸一般很难下载下来),并将数据读入内存。数据读入内存后会分为三部分,训练集(mnist.train,包含55000个样例),测试集(mnist.test,包含10000个样例),校验集(mnist.validation,包含5000个样例)。每一个样例可以看成一个”点“,每个点包含一张图(手写数字的照片,可记为x)和一个标记(一个数字,表示这个手写的数字是几,可记为y)。每张图都是28x28=784像素大小的,如果把每个像素点记为一个浮点数,则每个点包含784个x(因为图片是黑白的,所以用一个浮点数表示灰度即可)和一个0-9的整数y。

 

在此例中,采用了单层10个神经元的神经网络,每个神经元对应0-9中的一个数,每个神经元最终的输出相当于该图片为这个数字的概率。Tensorflow在python环境中获取所有的神经网络模型信息之后,利用底层的库(通过NumPy库进行转换)来进行高效地计算(比如大量的矩阵乘法)。

import tensorflow as tf

x = tf.placeholder(tf.float32, [None, 784])

这两句中第一句引入了tensorflow库,第二句则定义了输入变量,因为要在获得整个网络信息之后才进行计算,所以此处的网络输入是未知的,因此只是定义了一个占位符变量,表示输入量是2维浮点数,其中第一维可能是任意长度(第一维是None,代表任意长度),第二维长度为784,代表一张图上所有的像素点。

 

接下来两句定义了变量,表示在计算中可以改变但一直存在的参数,并规定其初值均为0。由于神经网络计算就是要求出权重W和偏置b,因此这些变量可以取任意初始值。

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

 

本来至此应该定义模型如下,表示输出y=f_softmax(W.x+b)

y = tf.nn.softmax(tf.matmul(x, W) + b)

但正如mnist_softmax.py原文中所解释的,为了后面定义训练模型的规则,此处改为了

y = tf.matmul(x, W) + b

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, y_))

第1行仅定义了y=W.x+b,然后为了定义该模型怎么样算好,或者说我们希望以什么东西为标准来进行优化,又定义了cross_entropy(交叉熵)的概念,该概念依赖于真实值y'和计算值y,满足

cross_entropy = - sum_i y'_i log(y_i)

y' 代表每张图所代表的真实值,比如 3 的话,就是(0,0,0,1,0,0,0,0,0,0)。交叉熵越大,意味着结果越差。因此第2行定义了y_占位符来保存真正的输出值,第3行给出了交叉熵的定义。

 

接下来利用反向传播算法最小化cross_entropy,训练模型

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

该语句表示利用梯度下降算法,以learning_rate=0.5的学习速率,最小化之前定义的cross_entropy。至此,整个神经网络模型构建好,tensorflow可以进行计算,调整参数,给出最终结果了。注意tensorflow提供了很多优化算法,可参考如下链接

https://www.tensorflow.org/api_guides/python/train#optimizers

 

最后可以进行真正的计算了

sess = tf.InteractiveSession()

tf.global_variables_initializer().run()
for _ in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

前两句创建了一个session进行计算,并对变量进行初始化;后面的循环进行真正的计算。在此处共循环1000次,每次从训练集中随机取100个点(每个点包含一张图和一个标签),然后用这些点替换之前的占位符,然后执行train_step定义的计算。值得注意的是,原则上每次循环都应该用上训练集中的所有点,但这样计算过于耗时,因此这个例子中使用了训练集的子集来进行计算,也能给出不错的结果。

 

最后,对训练的结果进行测试

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images,
                                      y_: mnist.test.labels}))

tf.argmax函数给出张量沿某个方向的最大值所在的指标,因此tf.argmax(y,1)给出神经网络模型所认为的图片对应的数字,而tf.argmax(y_,1)则给出该图片真实对应的数字。correct_prediction表示神经网络模型预言是否正确。第2行则将这些对错序列转化为浮点数,比如[true, true, false, true,...]转化为[1,1,0,1,...],然后计算其平均值。最后一行将最终的正确率打印出来。如前面图中的结果所示,正确率达到0.9196,约为92%,还算不错。

 

更详细的说明可参考如下链接:

https://www.tensorflow.org/get_started/mnist/beginners

© 著作权归作者所有

propagator
粉丝 8
博文 40
码字总数 45924
作品 0
昆明
私信 提问
加载中

评论(4)

propagator
propagator 博主

引用来自“Yashin”的评论

“在此例中,采用了单层10个神经元的神经网络” TensorFlow 是如何指定神经元的层数和个数的呢?还是说神经网络对代码来说是透明的?更高级的例子中神经元之间的调用在TensorFlow中是否也是透明的?昨天大概看了一下TensorFlow发现不太理解,望不吝赐教😆

引用来自“propagator”的评论

多层的例子看看这周或者下周末给吧。大致的原理是,它是一层一层定义的,中间层不是完全独立的,比如第2层的输入等于第一层经过计算的输出结果。然后再定义第二层的W和b,然后定义输出对第2层参数的依赖(因此间接依赖于第一层的W和b),然后定义最小化的函数。

引用来自“Yashin”的评论

就是说神经网络的中间层神经元的训练也是需要程序制定好的?而不是对于一个网络只管输入输出就好?
请参考我新写的博文“用TensorFlow实现AND和XOR”

https://my.oschina.net/propagator/blog/856728
Yashin
Yashin

引用来自“Yashin”的评论

“在此例中,采用了单层10个神经元的神经网络” TensorFlow 是如何指定神经元的层数和个数的呢?还是说神经网络对代码来说是透明的?更高级的例子中神经元之间的调用在TensorFlow中是否也是透明的?昨天大概看了一下TensorFlow发现不太理解,望不吝赐教😆

引用来自“propagator”的评论

多层的例子看看这周或者下周末给吧。大致的原理是,它是一层一层定义的,中间层不是完全独立的,比如第2层的输入等于第一层经过计算的输出结果。然后再定义第二层的W和b,然后定义输出对第2层参数的依赖(因此间接依赖于第一层的W和b),然后定义最小化的函数。
就是说神经网络的中间层神经元的训练也是需要程序制定好的?而不是对于一个网络只管输入输出就好?
propagator
propagator 博主

引用来自“Yashin”的评论

“在此例中,采用了单层10个神经元的神经网络” TensorFlow 是如何指定神经元的层数和个数的呢?还是说神经网络对代码来说是透明的?更高级的例子中神经元之间的调用在TensorFlow中是否也是透明的?昨天大概看了一下TensorFlow发现不太理解,望不吝赐教😆
多层的例子看看这周或者下周末给吧。大致的原理是,它是一层一层定义的,中间层不是完全独立的,比如第2层的输入等于第一层经过计算的输出结果。然后再定义第二层的W和b,然后定义输出对第2层参数的依赖(因此间接依赖于第一层的W和b),然后定义最小化的函数。
Yashin
Yashin
“在此例中,采用了单层10个神经元的神经网络” TensorFlow 是如何指定神经元的层数和个数的呢?还是说神经网络对代码来说是透明的?更高级的例子中神经元之间的调用在TensorFlow中是否也是透明的?昨天大概看了一下TensorFlow发现不太理解,望不吝赐教😆
tensorflow 获取变量&打印权值等方法

tensorflow 获取变量&打印权值等方法 在使用tensorflow中,我们常常需要获取某个变量的值,比如:打印某一层的权重,通常我们可以直接利用变量的name属性 来获取,但是当我们利用一些第三方的...

cassiepython
2018/01/27
0
0
【翻译】Sklearn与TensorFlow机器学习实用指南 ——第12章 设备和服务器上的分布式TensorFlow(下)

并行运行 当 TensorFlow 运行图时,它首先找出需要求值的节点列表,然后计算每个节点有多少依赖关系。 然后 TensorFlow 开始求值具有零依赖关系的节点(即源节点)。 如果这些节点被放置在不...

技术小能手
2018/06/29
0
0
安装多个版本的TensorFlow

TensorFlow 2.0测试版在今年春季发布,新版本比1.x版本在易用性上有了很大的提升。但是由于2.0发布还没有多久,现在大部分论文的实现代码都是1.x版本的,所以在学习TensorFlow的过程中同时安...

孑立的老章鱼
08/02
0
0
第3章 TensorFlow入门

第3章 TensorFlow入门 TensorFlow是Google创造的数值运算库,作为深度学习的底层使用。本章包括: TensorFlow介绍 如何用TensorFlow定义、编译并运算表达式 如何寻求帮助 注意:TensorFlow暂...

优惠券发放
2018/05/31
0
0
TensorFlow从1到2(一)续讲从锅炉工到AI专家

引言 原来引用过一个段子,这里还要再引用一次。是关于苹果的。大意是,苹果发布了新的开发语言Swift,有非常多优秀的特征,于是很多时髦的程序员入坑学习。不料,经过一段头脑体操一般的勤学...

俺踏月色而来
04/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 人生,还真是到处是意外

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @这次装个文艺青年吧 :#今日歌曲推荐# 分享lil peep的单曲《High School》 《High School》- lil peep 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
46分钟前
19
2
Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用

多线程一直是工作或面试过程中的高频知识点,今天给大家分享一下使用 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工厂...

CREATE_17
今天
6
0
CSS盒子模型

CSS盒子模型 组成: content --> padding --> border --> margin 像现实生活中的快递: 物品 --> 填充物 --> 包装盒 --> 盒子与盒子之间的间距 content :width、height组成的 内容区域 padd......

studywin
今天
7
0
修复Win10下开始菜单、设置等系统软件无法打开的问题

因为各种各样的原因导致系统文件丢失、损坏、被修改,而造成win10的开始菜单、设置等系统软件无法打开的情况,可以尝试如下方法解决 此方法只在部分情况下有效,但值得一试 用Windows键+R打开...

locbytes
昨天
10
0
jquery 添加和删除节点

本文转载于:专业的前端网站➺jquery 添加和删除节点 // 增加一个三和一节点function addPanel() { // var newPanel = $('.my-panel').clone(true) var newPanel = $(".triple-panel-con......

前端老手
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部