文档章节

【转】18个技巧实战深度学习,资深研究员的血泪教训

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:25
字数 1593
阅读 2
收藏 0

(文/Nikolas Markou)我自 2013 年以来就一直在使用深度学习和深度置信网络。

我加入了一个绿地项目,负责选择在计算机视觉平台上使用的核心机器学习算法。

这些算法要么是不能很好地工作,要么能够很好地工作但不能泛化,需要很多时间或在遇到类似的数据集时,它无法收敛。我迷失了。然后,我从学术界抓住了希望,学术界掀起了深度学习的热风,宣称它能解决所有问题。

对于深度学习,我是持怀疑态度的,所以我阅读了很多相关的论文、书籍、笔记等。令我惊讶的是,这不是炒作,深度学习能工作,而且工作得很好。但是,它毕竟是一个新的概念(虽然它的基础在70年代就已筑起了),出现了很多有关如何充分利用深度学习的技巧和 tips(例如 Alex Krizhevsky 就几乎概况了大部分的 tips,而且可以说是他预先发现了批标准化)。

下面是我发现的一些有助于充分利用 DNN 的小技巧:

  • 记得要 shuffle。不要让你的网络通过完全相同的 minibatch,如果框架允许,在每个 epoch 都 shuffle 一次。

  • 扩展数据集。DNN 需要大量的数据,而且模型在小的数据集上很容易过拟合。我强烈建议你要扩展原始的数据集。如果你的是一个视觉任务,可以增加噪点、增白,减少像素,旋转或色移,模糊,等等可以扩展的一切。有一点不好的是,假如你扩展得太大,可能训练的数据大多数是相同的。我创建了一个应用随机变换的层来解决这个问题,这样就不会有相同的样本。若果你用的是语音数据,可以进行移位和失真处理。

  • 在整个数据集上训练之前,先在非常小的子数据集上训练进行过拟合,这样你会知道你的网络可以收敛。这个 tip 来自 Karpathy。

  • 始终使用 dropout 将过拟合的几率最小化。在大小 > 256 (完全连接层或卷积层)之后就应该使用 dropout。关于这一点有一篇很好的论文:Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning [Gal Yarin & Zoubin Ghahramani,2015].

  • 避免 LRN 池化,MAX 池化会更快。

  • 避免 Sigmoid/TanH 的门,它们代价昂贵,容易饱和,而且可能会停止反向传播。实际上,你的网络越深,就越应该避免使用 Sigmoid 和 TanH。可以使用更便宜而且更有效的 ReLU 和 PreLU 的门,正如在 Yoshua Bengio 等人的论文 Deep Sparse Rectifier Neural Networks 中所提到的,这两者能够促进稀疏性,而且它们的反向传播更加鲁棒。

  • 在最大池化之前不要使用 ReLU 或 PreLU ,而是在保存计算之后使用它。

  • 不要使用 ReLU,它们太旧了。虽然他们是非常有用的非线性函数,可以解决很多问题。但是,你可以试试用它微调一个新模型,由于 ReLU 阻碍反向传播,初始化不好,你没法得到任何微调效果。但是你应该用 PreLU 以及一个非常小的乘数,通常是0.1。使用 PreLU 的话收敛更快,而且不会像 ReLU 那样在初始阶段被卡住。ELU 也很好,但成本高。

  • 经常使用批标准化。 参考论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift [Sergey Ioffe & Christian Szegedy,2015]。这会很有效。批标准化允许更快的收敛(非常快)以及更小的数据集。这样你能够节省时间和资源。

  • 虽然大多数人喜欢删除平均值,不过我不喜欢。我喜欢压缩输入数据为[-1,+1]。这可以说是训练和部署方面的技巧,而不是针对提升性能的技巧。

  • 要能适用更小的模型。假如你是像我这样部署深度学习模型,你很快就会体会到把千兆字节规模的模型推给用户或地球另一端的服务器的痛苦。哪怕要牺牲一些准确度,也应该小型化。

  • 假如你使用比较小的模型,可以试试 ensemble。通常 ensemble 5个网络能够提升准确度约3%。

  • 尽可能使用 xavier 初始化。你可以只在大的完全连接层上使用它,然后避免在 CNN 层上使用。有关这点的解释可以阅读这篇文章:An Explanation of Xavier Initialization(by Andy Jones)

  • 如果你的输入数据有空间参数,可以试试端到端的 CNN。可以阅读这篇论文:SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size [Forrest N. Iandola et. al. 2016],它介绍了一种新的方法,而且性能非常好,你可以尝试应用上面提到的tips。

  • 修改你的模型,只要可能就使用 1x1 的 CNN 层,它的位置对提高性能很有帮助。

  • 假如没有高端的 GPU,就不要尝试训练任何东西了。

  • 假如你要利用模型或你自己的层来制作模板,记得把所有东西参数化,否则你得重建所有二进制文件。

  • 最后,要明白你在做什么。深度学习就像是机器学习里的中子弹,它不是任何任务、任何时候都有效的。了解你正在使用的结构以及你试图达成的目的,才不至于盲目地复制模型。

了解 DL 背后的数学,推荐阅读 Ian Goodfellow , Yoshua Bengio 和 Aaron Courville 合著的经典教材《深度学习》,这本书真的很好,讲解得很清楚。网上有免费的 pdf 版本,但买一本支持作者的贡献也无妨。

此外,如果想了解深度学习的历史和介绍,可以阅读邓力和俞栋合著的《深度学习:方法及应用》。

如果真的想从头开始实现算法,可以阅读 Timothy Masters 写的 Deep Belief Nets in C++ and CUDA C, Vol. 1: Restricted Boltzmann Machines and Supervised Feedforward Networks。


原文:新智元

本文转载自:http://www.jianshu.com/p/e6aa86ba946b

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
活动 | 敲黑板!深圳站也将迎来百度深度学习公开课

  第二堂百度深度学习公开课即将在深圳开讲啦!这也是百度AI开发者实战营第二季所添加的新环节。据悉,深圳站到公开课将由深度学习专家深入解读PaddlePaddle的特性、模型与应用案例,为AI工...

机器之心
05/03
0
0
报名 | 谷歌资深工程师手把手教你使用TensorFlow最新API构建学习模型

目前,深度学习的研究和应用大受追捧,各种开源的深度学习框架层出不穷。TensorFlow 作为目前最受欢迎的深度学习框架,已经在 GitHub 上获得了 112194 个 star,受欢迎程序可见一斑。但如何学...

AI科技大本营
10/17
0
0
DeeCamp 人工智能暑期夏令营启动报名

由教育部、创新工场、北京大学联合主办的 DeeCamp 人工智能训练营正式启动报名。该训练营将挑选出 300 名大学生,进行为期 5 周的理论和实战闭门培训。授课老师团队华丽,既包括图灵奖得主、...

奕欣
05/17
0
0
Python入门到机器学习再到深入学习及应用整个学习系统

就在昨天我们收到了一位刚拿到Google offer的九章学员发来的截图 作为一名同是转专业到cs的程序猿,对此猿我定要表示万分真心的理解和祝贺! 其中滋味,唯吾猿类方懂… 此外这位细心的猿还找...

m68futkmurmtj
04/24
0
0
百度“深度学习公开课”首场爆满 开发者收获最强进阶“宝典”

     4月21日,北京迎来了今年的第一场大雨,但是依然浇灭不了开发者的热情,超过200名资深开发者还是如约而至,来到了百度“深度学习公开课”北京站。   近日,百度AI开发者实战营第二...

中国机器人
04/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Java并发编程:volatile关键字解析

volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java 5之后,volatile关键字才得以重获生...

engeue
14分钟前
0
0
通过ajax访问远程天气预报服务

http://www.webxml.com.cn/zh_cn/index.aspx 更改wsdl文件 打开文件将15行,51行,101行去掉 然后把文件复制到c盘 然后在桌面上面就生成了文件 将文件打成jar包 package cn.it.ws.weather;...

江戸川
今天
1
0
聊聊storm的tickTuple

序 本文主要研究一下storm的tickTuple 实例 TickWordCountBolt public class TickWordCountBolt extends BaseBasicBolt { private static final Logger LOGGER = LoggerFactory.getLogg......

go4it
今天
1
0
自动装箱和自动拆箱

自动装箱和自动拆箱 Java 提供了 8 种基本数据类型,每种数据类型都有其对应的包装类型,包装类是面向对象的类,是一种高级的数据类型,可以进行一些比较复杂的操作,它们是引用类型而不再基...

tsmyk0715
今天
2
0
简易审计系统

1、有时候我们需要对线上用户的操作进行记录,可以进行追踪,出现问题追究责任,但是linux自带的history并不会实时的记录(仅仅在内存中,当用户正常退出(exit logout )时才会记录到history文件里...

芬野de博客
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部