Tensorflow学习笔记2019.01.03

2019/01/03 19:28
阅读数 13

tensorflow学习笔记:


3.2 Tensorflow中定义数据流图

张量知识矩阵的一个超集。

超集:如果一个集合S2中的每一个元素都在集合S1中,且集合S1中可能包含S2中没有的元素,则集合S1就是S2的一个超集,反过来,S2是S1的子

张量形状:

固定长度: [],() 0阶次;[3],(2,3) 1/2阶次

不定长度:[None] 表示任意长度的向量,(None,3) 表示行数任意,3列的矩阵

获取Op:tf.shape(tensor, name="tensor_shape") , 当然只能通过Session对象得到执行

OP/operation

利用Tensor对象执行运算的节点。计算完毕,返回0/多个张量,可以为数据流图中的其他的Op所使用。

除了输入和属性外,还可以接受一个name参数,描述性的字符串来指代某个特定Op,若对不同Op希望复用name,则用name_scope变成方式将一系列运算组织即可。

运算符重载

一元:tf.neg(),tf.logical_not(),tf.abs()

二元:tf.add(),tf.subtract(),tf.multiply()元素相乘,tf.matmul()矩阵相乘,tf.truediv(),tf.mod(),tf.pow(),< tf.less(),≤ tf.less_equal(),tf.greater(),tf.greater_equal(),tf.logical_and(),tf.logical_or(),tf.logical_xor()

tf.equal(),tf.not_equal()检查张量值是否相同

Graph对象

多个流图协同工作,这样用户在一个python文件中可以计算和适应若干独立模型的输出。

为了方便起见,当Tf库被加载时,会自动创建一个Graph对象,可以用tf.get_default_graph获得默认数据流图的句柄。

创建数据流图。

g1 = tf.Graph()

g2 = tf.Graph()

g3 = tf.get_default_graph()

with g1.as_default():

一系列Op:a = tf.multiply(2, 3)....

with g2.as_default():

一系列Op:b = tf.add(2, 3)....

with g3.as_default():

#一系列Op:c = tf.pow(2, 3)....

  

 

Session类

负责数据流图的执行。tf.Session(target, graph, config)

  • target:大多数默认为空,他为制定所使用的引擎

  • graph:当使用多个数据流图时,指明Graph对象,默认是当前数据流图。

  • config:包含cpu/gpu数目,为数据流图设置优化参数以及日志选项等

import tensorflow as tf
#创建Op和Tensor对象
a = tf.add(3, 5)
b = tf.multiply(2, 4)
c = tf.add(a, 9)
sess = tf.Session()
sess.run([a, b])
#输出[8,8]
replace_dict = {a: 2}
sess.run(c, feed_dict=replace_dict)
#输出11
sess.close()
#还可以用上下文管理器
with tf.Session() as sess:
    #...

  

Session.run(fetches, feed_dict, options, run_medadata)

采用run()方法计算所期望的tensor对象输出。

  • fetches:接受任意数据流图元素,若为一个Tensor对象,输出Numpy数组。

    若为一个Op,输出None。例如sess.run(tf.global_variables_initializer()),执行初始化Variables对象所需的计算,返回None。

  • feed_dict:传入一个字典,a的值被重新赋予2,主要用在流图局部测试场景,给定输入值。

tf.placeholder()

占位节点用来添加输入。 dtype必须指定,shape可选,还可以为None,接受任意形状的Tensor,name可选。

import tensorflow as tf
import numpy as np
#占位符,输入
a = tf.placeholder(tf.int32, shape=[2], name="my_input")
b = tf.reduce_prod(a, name="prod_b")   # 5x3=15
c = tf.reduce_sum(a, name="sum_c")     # 5+3=8
#完成数据流图的定义
d = tf.add(b, c, name="add_d")    
​
sess = tf.Session()
input_dict = {a:np.array([5, 3], dtype=np.int32)}
sess.run(d, feed_dict=input_dict)      #输出15+8=23
sess.close()

  

Variables对象

  • 创建:tf.Variables()

import tensorflow as tf
my_var = tf.Variables(3, name="my_var")
add = tf.add(5, my_var)
​
#2x2的全0矩阵
zeros = tf.zeros([2, 2]) 
#长度为6的全1向量
ones = tf.ones([6])
#大小为3x3x3,元素服从0~10的均匀分布
uniform = tf.random_uniform([3, 3, 3], minval=0, maxval=10)
#大小3x3x3,元素服从均值为0,标准差为2的正态分布
normal = tf.random_normal([3, 3, 3], mean=0.0, stddev=2.0)
#截断正态分布,大小2x2,元素值距离均值不会超过两倍的标准差。防止离群点出现
trunc = tf.truncated_normal([2, 2], mean=5.0, stddev=1.0)
#也可以像手工初始化张量那样,将这些Op作为Variavle对象作为初值传入
random_var = tf.Variable(tf.truncated_normal([2, 2]))

  

  • 初始化:tf.global_variables_initializer() 或 tf.intialize_valiables([var1], name="init_var1")

#全部初始化
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
init1 = tf.initialize_variables([var1], name="init_var1")
sess1 = tf.Session()
sess1.run(init1)

   

  • 修改:Variables.assign()赋新值,Variables.assign_add()自增,Varables.assign_sub()自减

my_var = tf.Variables(1)
my_var_times_two = my_var.assign(my_var*2)
init = f.global_variables_initializer()
sess = tf.Session()
sess.run(init)
sess.run(my_var_times_two)
#输出2
sess.run(my_var_times_two)
#输出4
sess.run(my_var_times_two)
#输出8
​
sess.run(my_var.assign_add(1))
#输出9
sess.run(my_var.assign_sub(1))
#输出8

  

不同Session会各自独立维护自己的Variables对象的值。

  • trainable参数

    在自动训练的机器学习模型的Optimizer类,会自动修改Variables的值,而不需要做出显示的请求。若不希望这样,则制定trainable=False即可。

not_trainable = tf.Variable(0, trainable=False)

3.3 名称作用域name scope

语法:

with tf.name_scope("Transformation"):

...

它允许将Op划分到一些较大的,有名称的语句块中,有名称作用域都将自己的Op进行封装。如下图1

 

import tensorflow as tf
#此处显示创建一个tf.Graph()对象,并未使用默认Graph对象
graph = tf.Graph()
with graph.as_default():
    in_1 = tf.placeholder(tf.float32, shape=[], name="input_a")
    in_2 = tf.placeholder(tf.float32, shape=[], name="input_b")
    const = tf.constant(3, dtype=tf.float32, name="static_value")
    
    with tf.name_scope("Transformation"):
        with tf.name_scope("A"):
            #接受in_1,输出一些值
            A_mul = tf.multiply(in_1, const)
            A_out = tf.subtract(A_mul, in_1)
        with tf.name_scope("B"):
            #接受in_2,输出一些值            
            B_mul = tf.multiply(in_2, const)
            B_out = tf.subtract(B_mul, in_1)
        with tf.name_scope("C"):
            #接受A和B,输出一些值            
            C_div = tf.div(A_out, B_out)
            C_out = tf.add(C_div, const)
        with tf.name_scope("D"):
            #接受A和B,输出一些值                        
            D_div = tf.div(B_out, A_out)
            D_out = tf.subtract(D_div, const)
    #获取C,D的输出        
    out = tf.maximum(C_out, D_out)
        
    writer = tf.summary.FileWriter('./graph/name_scope_2',graph=tf.get_default_graph())
    writer.close()

  在tensorboard上可视化数据流图:

借助一下代码可以实现

writer = tf.summary.FileWriter('./graph/name_scope_2',graph=tf.get_default_graph())
writer.close()

  

点开Transformation 它是一个名称作作用域,包含多个Op和作用域,子作用域还可以包含多个Op和作用域。并且相似操作会着色相同颜色。

 

并且常量tf.constant(),会放置在对应名称作用域中。

 

3.4 练习

任务:运用上述组件,完成对任意长度输入的Tensor进行一系列运算和更新,并且在tensorboard中进行研究。

 

要求:输入采用占位符,随时间计算输出综合,采用名称作用域对数据流图进行合理划分,每次运行时,都将数据流图的输出,所有输出的累加和,所有输出的均值保存到磁盘中,工Tensorboard使用。

设计如下:

 

代码:

 

import tensorflow as tf

print("----start----")    
#显示创建一个数据流图
graph = tf.Graph()
with graph.as_default():
    #---variables---部分,记录运行次数globa_step和总的输出和total_output
    with tf.name_scope("variables"):
        #记录数据流图运行次数
        global_step = tf.Variable(0, dtype=tf.int32, trainable=False, name="global_step")
        #模型输出累加和
        total_output = tf.Variable(0.0, dtype=tf.float32, trainable=False, name="total_sum")
    #---transformation---部分,构建数据流图:输入层input,中间层intermediate_layer,输出层output
    with tf.name_scope("transformation"):
        #独立的输入层
        with tf.name_scope("input"):
            a = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_a")
        #独立的中间层
        with tf.name_scope("intermediate_layer"):
            b = tf.reduce_prod(a, name="prod_b")
            c = tf.reduce_sum(a, name="sum_c")
        #独立的输出层
        with tf.name_scope("output"):
            output = tf.add(b, c, name="output")
    #---Update---部分,更新variables域update_total,increment_step
    with tf.name_scope("update"):
        update_total = total_output.assign_add(output)
        increment_step = global_step.assign_add(1)
    #---summaries---部分,用于tensorboard汇总数据
    with tf.name_scope("summaries"):
        #随时间计算输出的均值
        avg = tf.div(update_total, tf.cast(increment_step, tf.float32), name="average")# tf.cast(x, dtype, name=None)数据类型转换函数
        #为输出节点创建汇总数据
        tf.summary.scalar('Output', output)#, name="output_summary")#tf.summary.scalar(name,tensor,collections=None,family=None),可用于tensorboard或者学习速率和loss等。
        tf.summary.scalar('Sum_of_outputs_over_time', update_total)#, name="total_summary")
        tf.summary.scalar('Average_of_outputs_over_time', avg)#, name="average_summary")
    
    #以上完成了数据流图的创建,还需要创建Variables初始化Op和利用汇总数据总之到一个Op的辅助节点
    #---global_ops部分---,全局variables和Op
    with tf.name_scope("global_ops"):
        #初始化Op
        init = tf.global_variables_initializer()
        #将所有汇总数据合并到一个Op中
        merged_summaries = tf.summary.merge_all()
        
    #用明确创建的Graph对象启动一个会话
    sess = tf.Session(graph=graph)
    
    # 开启一个summary.FileWriter对象,保存汇总数据
    writer = tf.summary.FileWriter('./graph/impoved_graph',graph)
    
    #初始化Variables对象
    sess.run(init)

    def run_graph(input_tensor):
        """
        辅助函数:用给定的输入张量运行数据流图并保存数据
        """
        feed_dict = {a: input_tensor}
        _, step, summary = sess.run([output, increment_step, merged_summaries],feed_dict=feed_dict)
        writer.add_summary(summary, global_step=step)

    run_graph([2,8])
    run_graph([3,1,3,3])
    run_graph([8])
    run_graph([1,2,3])
    
    #将汇总数据写入磁盘
    writer.flush()

    #关闭FileWriter对象,Session对象
    writer.close()
    sess.close()

print("----success----")

  

Tensorboard可视化:

 

edit by Strangewx 2019.01.03

 

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部