文档章节

关于TensorFlow 2.0,这里有你想知道的一切

读芯术
 读芯术
发布于 07/20 19:14
字数 3354
阅读 8
收藏 1

全文共8094字,预计学习时长30分钟或更长

图片来源:pexels.com/@pixabay

TensorFlow是谷歌2015年开源的通用高性能计算库。最初主要是为构建神经网络(NNs)提供高性能的API。然而,随着时间的推移和机器学习(ML)社区的兴起,TensorFlow已经发展为一个完整的机器学习生态系统。

TensorFlow自诞生以来变化巨大。TensorFlow 2.0目前处于测试阶段,与TF1.x相比有了许多变化。下面是主要的几个变化。

1. 默认状态的Eager Execution

首先,eager execution是运行TF代码的默认方式。

为了在TF1.x中构建一个神经网络,需要定义一个名为图形(Graph)的抽象数据结构。另外,如果试图打印其中一个图节点,将看不到期望值,却可以看到对图节点的引用。实际上,要运行图形,需要使用一个名为会话(Session)的封装。使用Session.run()法,可以将Python数据传给图形,并对模型进行实际训练。

TF 1.x代码示例

利用eager execution可以进行改变。现在,TensorFlow代码可以像普通的Python代码一样运行。这意味着可以迅速创建并评估操作。

Tensorflow 2.0代码示例

TensorFlow 2.0代码看起来很像NumPy代码。事实上,TensorFlow和NumPy的对象可以很容易地切换。因此不必担心占位符、会话、feed_dictionaties等问题。

2. API清理

许多API,如tf.gans、tf.app、tf.contrib、tf.flags,会被清理或移动到单独的存储库。

然而,最重要的清理之一涉及到我们如何构建模型。TF1.x中有超过1或2种不同的构建/训练ML模型的方法。

tf.slim,tf.layers,tf.contrib.layers,tf.keras都是可以用来构建神经网络的API。不包括TF1.x中的序列到API序列。大多数情况下,每种情况下要选择哪一种尚不明确。

尽管许多API性能良好,但似乎并没有收敛出一种通用的开发方式。此外,如果在其中一个API中训练模型,那么使用其他API来再利用该代码并不简单。

在TF2.0中,tf.keras是推荐的高级API。

可以看到,目前正试图利用KerasAPI解决所有可能的用例。

3. 初学者API

与1.0版本相比,2.0版本中的初学者API变化不大。但是现在,Keras为默认和推荐的高级API。总之,Keras指的是一组图层,通过使用明确的标准来构建神经网络。使用pip安装TensorFlow时,一般会得到完整的Keras API和一些附加功能。

model= tf.keras.models.Sequential()
model.add(Flatten(input_shape=
(IMAGE_HEIGHT,IMAGE_WIDTH)))
model.add(Dense(units=32,activation='relu'))
model.add(Dropout(0.3))
model.add(Dense(units=32,activation='relu'))
model.add(Dense(units=10,activation='softmax')) 
#Configures the model for training.
#Define the model optimizer, the loss 
function and the accuracy metrics
model.compile(optimizer='adam',             
loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
model.summary()

初学者API称为序列化,一般会将神经网络定义为一组层。除了简单性,它还有其他优点。请注意,模型是根据数据结构(一组层)来定义的。因此,由于模型定义而产生错误的概率降至最低。

4. Keras-Tuner

Keras-tuner是一个对Keras模型进行超参数调整的专用库。在撰写本文时,该库处于α之前的状态,但是使用tf.keras和TensorFlow 2.0β可以在Colab上很好地运行。

传送门:https://github.com/keras-team/keras-tuner

这个概念非常简单。首先,需要定义一个返回编译后的Keras模型的建模函数。函数接受一个名为hp的参数作为输入。通过使用hp,可以定义一个候选值的范围,对超参数值进行采样。

下面建立了一个简单的模型,并对3个超参数进行了优化。为了查看隐藏单元,对预定义范围之间的整数值进行采样。为了计算丢失率和学习率,在一些给定值之间随机选择。

defbuild_model(hp): 
# define the hyper parameter ranges for 
thelearning rate, dropout and hidden unit  
hp_units = hp.Range('units', min_value=32,max_value=128, step=32)  
hp_lr = hp.Choice('learning_rate',values=[1e-2, 1e-3, 1e-4])  
hp_dropout = hp.Choice('dropout',values=[0.1,0.2,0.3])  
 
# build a Sequential model  
model = keras.Sequential() 
model.add(Flatten(input_shape=(IMAGE_HEIGHT,IMAGE_WIDTH)))  
model.add(Dense(units=hp_units,activation='relu'))  
model.add(Dropout(hp_dropout))  
model.add(Dense(units=32, activation='relu'))  
model.add(layers.Dense(10,activation='softmax'))   
# compile and return the model model.compile(optimizer=keras.optimize
rs.Adam(hp_lr),      
loss='sparse_categorical_crossentropy',     
metrics=['accuracy'])  

return model 
#create a Random Search tunertuner= RandomSearch(    
build_model,    
objective='val_accuracy', # define themetric to be optimized over    
max_trials=3,    
executions_per_trial=1,    
directory='my_logs') 
# define the outputlog/checkpoints folder  
# start hyper-parameter optmization searchtuner.search(x_train,y_train,             
epochs=2,             
validation_data=(x_test, y_test))

然后创建一个调谐器对象。在这种情况下,会实现随机搜索策略。最后可以使用search() 开始优化。它具有与 fit()相同的签名。

最后,可以检查调谐器的结论,并选择最佳模型。请注意,训练日志和模型检查点都保存在目录文件夹(my_logs)中。此外,最小化或最大化目标(验证精度)的选择是自动推断的。

5. 高级API

当你看到这种类型的implementation时,要追溯到面向对象编程。这里的模型是一个扩展tf.keras.Model的Python类。模型子类化是由Chainer提出的,与PyTorch如何定义模型有很大关联。

通过模型子类化来定义类构造函数中的模型层。call()负责正推法的定义和执行。

class Model(tf.keras.Model):  
def__init__(self):    
# Define thelayers here    
super(Model,self).__init__()    
self.conv1 =Conv2D(filters=8, kernel_size=4, padding="same", 
strides=1,input_shape=(IMAGE_HEIGHT,IMAGE_WIDTH,IMAGE_DEPTH))    
self.conv2 =Conv2D(filters=16, kernel_size=4, padding="same", strides=1)    
self.pool =MaxPool2D(pool_size=2, strides=2, padding="same")    
self.flat =Flatten()    
elf.probs =Dense(units=N_CLASSES, activation='softmax', name="output")   
def call(self,x):   

# Define theforward pass    
net =self.conv1(x)    
net =self.pool(net)    
net =self.conv2(net)    
net =self.pool(net)    
net =self.flat(net)    
net =self.probs(net)    
return net   

defcompute_output_shape(self, input_shape):    
# You need tooverride this function if you want to use the subclassed model    
# as part of afunctional-style model.    
# Otherwise,this method is optional.    
shape =tf.TensorShape(input_shape).as_list()    
shape[-1] =self.num_classes    
returntf.TensorShape(shape)

子类化优点很多:简化模型检查;(使用断点调试)在给定的行停止并检查模型的激活或逻辑。

然而,灵活性增加之后,随之而来的是更多的漏洞。

模型子类化需要程序员更多的关注和了解。

总之,代码的错误会更明显(如模型布线)。

6. 定义培训回路

在TF2.0中训练模型的最简便方法是使用 fit() 。fit()支持序列化模型和子类化模型。如果使用模型子类化,唯一需要调整的就是重写compute_output_shape()分类方法。除此之外,应该能够将fit()与tf.data.Dataset 或标准NumPynd-arrays一起输入。

但是,如果想清楚地了解梯度或丢失的情况,可以使用梯度带。这在研究中格外有效。

使用梯度带,就可以手动定义训练过程的每个步骤。可分别应用于训练神经网络的每个基本步骤,如:

· 正推法

· 损失函数求值

· 逆推法

· 梯度下降法

可以直观地了解神经网络是如何训练的。也可以直接输出损失值w.r.t、模型权重或梯度向量本身来进行检查。

梯度带提供了更大的灵活性。但是,就像子类化与序列化一样,灵活性越大,额外的成本越高。与fit()相比,需要手动定义一个训练回路。作为一个自然结果,它使代码的漏洞更加突出,并且更难调试。这是一个很好的折衷,和那些对开发新产品感兴趣的研究人员相比,更适合代码工程师(寻找标准化的代码)。

另外,使用fit() 可以简便地设置TensorBoard。

7. 设置TensorBoard

使用 fit()可以 简便地设置TensorBoard的实例。它也适用于Jupyter/Colab notebook。

添加TensorBoard,作为fit的回调函数。

fit()可以用于序列化API和子类化API。

# Load theTensorBoard notebook extension%load_exttensorboard 
# create thetensorboard callbacktensorboard= TensorBoard
(log_dir='logs/{}'.format(time.time()), histogram_freq=1) 
# train themodelmodel.fit(x=x_train,  
        
y=y_train,          
epochs=2,          
validation_data=(x_test, y_test),          
callbacks=[tensorboard]) 
# launchTensorBoard%tensorboard--logdir logs

如果选择使用模型子类化并自己编写训练回路(使用分级带),则还需要手动定义TensorBoard。包括使用 tf.summary.create_file_writer()创建摘要文件,并指定需要可视化的变量。

有许多回调函数可供使用,其中较为有效的是:

· EarlyStopping:顾名思义,它建立了一个规则——当监控量停止增加时,就停止培训。

· ReduceLROnPlateau:当测度停止增加时,降低学习速率。

· TerminateOnNaN:遇到NaN丢失时终止培训。

· LambdaCallback:用于创建简单的自定义联机回调。

可在 TensorFlow 2.0 callbacks查看完整目录。

传送门:https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/callbacks

8. EagerCode的提取性能

如果选择使用梯度带进行模型训练,性能会显著下降。

执行TF代码有助于理解,但性能不佳。为了避免这个问题,TF2.0引入了tf.function。

基本上,如果用tf.function修饰Python函数,TensorFlow会接收函数并将其转换为一个TF高性能抽象。

@tf.functiondeftrain_step(images, labels):   
with tf.GradientTape() as tape:    
# forward pass    
predictions = model(images)  
     
# compute the loss    
loss = cross_entropy(tf.one_hot(labels,N_CLASSES), predictions)   
# get the gradients w.r.t the model's weights  
gradients = tape.gradient(loss,model.trainable_variables)  
 
# perform a gradient descent step  
optimizer.apply_gradients(zip(gradients,model.trainable_variables))   
# accumulates the training loss and accuracy  train_loss(loss)  
train_accuracy(labels, predictions)

这意味着该函数将标记为JIT编辑,以便TensorFlow将其作为图形运行。因此,可以获得TF1.x(图形)的性能优势,如节点修剪、内核融合等。

简而言之,TF2.0旨在将代码设计为更小的函数。然后,可以使用tf.function对所需的代码进行标记以获得额外的性能。最适用于修饰表示最大计算瓶颈的函数。这些通常是训练回路或模型的正推。

注意,用tf.function修饰函数时,会失去eager execution的一些优势。也就是说,无法在该代码段中设置断点或使用print()。

9. 保存和修复模型

TF1.x对于如何保存/加载经过培训的模型以用于生产缺乏一致的标准。TF2.0试图通过定义单个API来解决这个问题。

TF2.0保存模型的方法不多,而是对一个称为SavedModel的抽象进行标准化。

这里无需多言。如果使用tf.keras.模型创建序列化模型或扩展类,则类将从tf.train.Checkpoints继承。因此,可以将模型序列化为SavedModel对象。

# serialize your model to a SavedModel object
# It includes the entire graph, all variables 
andweightsmodel.save('/tmp/model', save_format='tf') 
# load your saved 

modelmodel = tf.keras.
models.load_
model('/tmp/model')

SavedModel与Tensorflow生态系统结合到一起。换句话说,能够将其分配到许多不同的设备,包括移动电话、边缘设备和服务器。

10. 转换至TF-Lite

如果要将SavedModel分配到Raspberry Pi、Edge TPU或手机等嵌入式设备,请使用TF Lite转换器。

请注意,在2.0版本中中,TFLite转换器不支持冻结的GraphDef(通常在TF1.x中生成)。如果要将冻结的GraphDefs转换为在TF2.0中运行,可以使用tf.compat.v1.TFLite转换器。

在分配到嵌入式设备之前,一般会进行训练后量化。要使用TFLite转换器执行此操作,请将优化标志设置为“OPTIMIZE_FOR_SIZE”。这将把模型的权重从浮点量化到8位精度。可在不降低模型精度的情况下减小模型尺寸并改善延迟。

# create a TF Lite converter
converter 
=tf.lite.TFLiteConverter.from_keras_mode
l(model) 

# performs model quantization to reduce 
the size of themodel and improve latency

converter.optimizations 
=[tf.lite.Optimize.OPTIMIZE_FOR_SIZE] 
tflite_model = converter.convert()

请注意,这是一个实验性标志,可能会发生更改。

11. 转换至TensorFlow.js

如要关闭,可以使用相同的SavedModel对象并将其转换为TensorFlow.js格式。然后可使用JavaScript进行加载,并在浏览器上运行模型。

!tensorflowjs_converter\    
--input_format=tf_saved_model \    
--saved_model_tags=serve \    
--output_format=tfjs_graph_model \    
/tmp/model \    
/tmp/web_model

首先,需要通过pip安装TensorFlow.js。然后使用tensorflowjs_converter脚本获取训练模型并转换为Javascript兼容的代码。最后,可进行加载并用Javascript进行推断。

还可以在浏览器上使用Tesnorflow.js来训练模型。

结语

最后来介绍2.0版本的其他功能。首先,向序列化模型或子类化模型添加更多层是非常简单的。尽管TF覆盖了Conv2D、TransposeConv2D等层,但总会出现不可用的情况。对于论文再现或研究来说尤为如此。

好消息是,可以开发自定义层。通过遵循相同的Keras API,可以创建一个类并将其扩展到tf.keras.Layer。实际上,可以按照非常相似的模式创建自定义激活函数、正则化层或测度。

资源传送门:https://www.tensorflow.org/tutorials/eager/custom_layers

此外,还可以将现有的TensorFlow 1.x代码转换为TF2.0。为此,TF团队创建了tf_upgrade_v2。

此脚本不将TF1.x代码转换为2.0惯用代码。它基本上将tf.compat.v1模块用于更改名称空间的函数。另外,如果旧代码使用tf.contrib,将无法进行转换。可能需要使用其他库或缺失函数的新TF2.0版本。

留言 点赞 发个朋友圈

我们一起分享AI学习与发展的干货

 

© 著作权归作者所有

读芯术
粉丝 1
博文 67
码字总数 168006
作品 0
东城
私信 提问
TensorFlow 2.0深度强化学习指南

在本教程中,我将通过实施Advantage Actor-Critic(演员-评论家,A2C)代理来解决经典的CartPole-v0环境,通过深度强化学习(DRL)展示即将推出的TensorFlow2.0特性。虽然我们的目标是展示Ten...

【方向】
01/24
0
0
TensorFlow 2.0开发者测试版来啦,正式版推出指日可待

雷锋网(公众号:雷锋网) AI 科技评论按,2015 年 11 月,谷歌发布了 TensorFlow,到如今已经有 3 年多了。最近,在TensorFlow 2.0 问世前,TensorFlow 2.0 开发者测试版先行发布,谷歌欢迎开...

王雪佩
01/11
0
0
代码实例:如何使用 TensorFlow 2.0 Preview

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/aliceyangxi1987/article/details/86478283 去年8月13日,谷歌宣布 “TensorFlow 2.0 is coming”, 最近几天...

Alice熹爱学习
01/14
0
0
TensorFlow从1到2(一)续讲从锅炉工到AI专家

引言 原来引用过一个段子,这里还要再引用一次。是关于苹果的。大意是,苹果发布了新的开发语言Swift,有非常多优秀的特征,于是很多时髦的程序员入坑学习。不料,经过一段头脑体操一般的勤学...

俺踏月色而来
04/07
0
0
对话Google全球VP Jay Yagnik:TensorFlow2.0会强化可控性

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/83027077 李根 发自 凹非寺 量子位 报道 | 公众号 QbitAI Jay Yagnik,一...

量子位
2018/10/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
13
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
12
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
12
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部