文档章节

Keras之00-入门介绍

LevineHuang
 LevineHuang
发布于 2017/02/25 11:23
字数 2094
阅读 100
收藏 0

Keras之00-入门介绍


Keras是一个高层神经网络库,Keras由纯Python编写而成并基于Tensorflow或Theano。Keras 为支持快速实验而生,能够把你的idea迅速转换为结果。

Keras特点

  • 简易和快速的原型设计(keras具有高度模块化,极简,和可扩充特性)
  • 支持CNN和RNN,或二者的结合
  • 支持任意的链接方案(包括多输入和多输出训练)
  • 无缝CPU和GPU切换

Keras设计原则

  • 模块性:模型可理解为一个独立的序列或图,完全可配置的模块以最少的代价自由组合在一起。具体而言,网络层、损失函数、优化器、初始化策略、激活函数、正则化方法都是独立的模块,你可以使用它们来构建自己的模型。
  • 极简主义:每个模块都应该尽量的简洁。每一段代码都应该在初次阅读时都显得直观易懂。没有黑魔法,因为它将给迭代和创新带来麻烦。
  • 易扩展性:添加新模块超级简单的容易,只需要仿照现有的模块编写新的类或函数即可。创建新模块的便利性使得Keras更适合于先进的研究工作。
  • 与Python协作:Keras没有单独的模型配置文件类型(作为对比,caffe有),模型由python代码描述,使其更紧凑和更易debug,并提供了扩展的便利性。

Keras新特性

  • 泛型模型:简单和强大的新模块,用于支持复杂深度学习模型的搭建。
  • 更优秀的性能:现在,Keras模型的编译时间得到缩短。所有的RNN现在都可以用两种方式实现,以供用户在不同配置任务和配置环境下取得最大性能。现在,基于Theano的RNN也可以被展开,以获得大概25%的加速计算。
  • 测量指标:现在,你可以提供一系列的测量指标来在Keras的任何监测点观察模型性能。
  • 更优的用户体验:我们面向使用者重新编写了代码,使得函数API更简单易记,同时提供更有效的出错信息。
  • 新版本的Keras提供了Lambda层,以实现一些简单的计算任务。

Keras基本概念

符号计算

Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端。Theano和TensorFlow都是一个“符号主义”的库。

符号主义的计算首先定义各种变量,然后建立一个“计算图”,计算图规定了各个变量之间的计算关系。建立好的计算图需要编译已确定其内部细节,然而,此时的计算图还是一个“空壳子”,里面没有任何实际的数据,只有当你把需要运算的输入放进去后,才能在整个模型中形成数据流,从而形成输出值。

Keras的模型搭建形式就是这种方法,在你搭建Keras模型完毕后,你的模型就是一个空壳子,只有实际生成可调用的函数后(K.function),输入数据,才会形成真正的数据流。

大多数的深度学习框架使用的都是符号计算这一套方法,因为符号计算能够提供关键的计算优化、自动求导等功能。

张量(tensor)

张量可以看作是向量、矩阵的自然推广,我们用张量来表示广泛的数据类型。

规模最小的张量是0阶张量,即标量,也就是一个数。

当我们把一些数有序的排列起来,就形成了1阶张量,也就是一个向量

如果我们继续把一组向量有序的排列起来,就形成了2阶张量,也就是一个矩阵

把矩阵摞起来,就是3阶张量,我们可以称为一个立方体,具有3个颜色通道的彩色图片就是一个这样的立方体

把矩阵摞起来,好吧这次我们真的没有给它起别名了,就叫4阶张量了,不要去试图想像4阶张量是什么样子,它就是个数学上的概念。

张量的阶数有时候也称为维度,或者轴,轴这个词翻译自英文axis。譬如一个矩阵[[1,2],[3,4]],是一个2阶张量,有两个维度或轴,沿着第0个轴(为了与python的计数方式一致,本文档维度和轴从0算起)你看到的是[1,2],[3,4]两个向量,沿着第1个轴你看到的是[1,3],[2,4]两个向量。

要理解“沿着某个轴”是什么意思,不妨试着运行一下下面的代码:

import numpy as np

a = np.array([[1,2],[3,4]])
sum0 = np.sum(a, axis=0)
sum1 = np.sum(a, axis=1)

print(sum0)  # [4 6]
print(sum1)  # [3 7]

'th'与'tf'

这是一个无可奈何的问题,在如何表示一组彩色图片的问题上,Theano和TensorFlow发生了分歧,'th'模式,也即Theano模式会把100张RGB三通道的16×32(高为16宽为32)彩色图表示为下面这种形式(100,3,16,32),Caffe采取的也是这种方式。第0个维度是样本维,代表样本的数目,第1个维度是通道维,代表颜色通道数。后面两个就是高和宽了。

而TensorFlow,即'tf'模式的表达形式是(100,16,32,3),即把通道维放在了最后。

Keras默认的数据组织形式在~/.keras/keras.json中规定,可查看该文件的image_dim_ordering一项查看,也可在代码中通过K.image_dim_ordering()函数返回,请在网络的训练和测试中保持维度顺序一致。

泛型模型

Keras的核心数据结构是“模型”,模型是一种组织网络层的方式。Keras中主要的模型是Sequential模型,Sequential是一系列网络层按顺序构成的栈。

在原本的Keras版本中,模型其实有两种:

  • Sequential,称为序贯模型,也就是单输入单输出,一条路通到底,层与层之间只有相邻关系,跨层连接统统没有。这种模型编译速度快,操作上也比较简单
  • Graph,即图模型,这个模型支持多输入多输出,层与层之间想怎么连怎么连,但是编译速度慢。Sequential其实是Graph的一个特殊情况。

在现在这版Keras中,图模型被移除,而增加了了“functional model API”。由于functional model API表达的是“一般的模型”这个概念,我们这里将其译为泛型模型,即只要这个东西接收一个或一些张量作为输入,然后输出的也是一个或一些张量,那不管它是什么鬼,统统都称作“模型”。

batch

参数更新的方式方式:

  • Batch gradient descent,批梯度下降 遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习。

  • stochastic gradient descent(SGD),随机梯度下降 每看一个数据就算一下损失函数,然后求梯度更新参数。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。

  • mini-batch gradient decent,小批的梯度下降 为了克服两种方法的缺点,现在一般采用的是一种折中手段,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。

基本上现在的梯度下降都是基于mini-batch的,所以Keras的模块中经常会出现batch_size,就是指这个。

Reference

© 著作权归作者所有

LevineHuang

LevineHuang

粉丝 5
博文 9
码字总数 14787
作品 0
东城
私信 提问
2019年6月值得一读的10本人工智能技术书籍!

导语:当你困惑时,书给你启迪当你迷惘时,书给你指路。当你落寞时,书给你勇气。当你悲伤时,书给你欢愉。当你狂躁时,书给你冷静。当你成功时,书给你导航。我们整理出2019年6月值得一读的...

本冉来啦
06/26
0
0
年薪35万的深度学习工程师,正面临数百万的人才缺口

深度学习已经被广泛应用在计算机视觉、自然语言处理等人工智能领域中,极大推动了人工智能的发展。当下,无论学术界还是企业界,都在发力深度学习的研究和应用;谷歌大脑、百度的IDL、腾讯的...

fnqtyr45
2017/12/11
0
0
深度学习实践——三步轻松用YOLO实现目标识别

上一篇文章介绍了YOLO和目标识别算法,大家是不是迫不及待跃跃欲试了。先不要着急,YOLO本身原理虽然简单,但是实现起来也不容易。YOLO原生是用C语言写的,放在无法直接用Python实现。 当然我...

Hongtao洪滔
04/12
0
0
Tensorflow 2.0 轻松实现迁移学习

image from unsplash by Gábor Juhász 迁移学习即利用已有的知识来学习新的知识,与人类类似,比如你学会了用笔画画,也就可以学习用笔来画画,并不用从头学习握笔的姿势。对于机器学习来说...

Hongtao洪滔
前天
0
0
Tensorflow入门——卷积神经网络MNIST手写数字识别

Image source: unsplash.com by Paweł Czerwiński 之前的文章我们介绍了如何用单层和多的 全连接层神经网络识别手写数字,虽然识别率能够达到98%,但是由于全链接神经网络本身的局限性,其...

Hongtao洪滔
04/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
9
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
5
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
11
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部