文档章节

【转】18个技巧实战深度学习,资深研究员的血泪教训

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:25
字数 1593
阅读 4
收藏 0

(文/Nikolas Markou)我自 2013 年以来就一直在使用深度学习和深度置信网络。

我加入了一个绿地项目,负责选择在计算机视觉平台上使用的核心机器学习算法。

这些算法要么是不能很好地工作,要么能够很好地工作但不能泛化,需要很多时间或在遇到类似的数据集时,它无法收敛。我迷失了。然后,我从学术界抓住了希望,学术界掀起了深度学习的热风,宣称它能解决所有问题。

对于深度学习,我是持怀疑态度的,所以我阅读了很多相关的论文、书籍、笔记等。令我惊讶的是,这不是炒作,深度学习能工作,而且工作得很好。但是,它毕竟是一个新的概念(虽然它的基础在70年代就已筑起了),出现了很多有关如何充分利用深度学习的技巧和 tips(例如 Alex Krizhevsky 就几乎概况了大部分的 tips,而且可以说是他预先发现了批标准化)。

下面是我发现的一些有助于充分利用 DNN 的小技巧:

  • 记得要 shuffle。不要让你的网络通过完全相同的 minibatch,如果框架允许,在每个 epoch 都 shuffle 一次。

  • 扩展数据集。DNN 需要大量的数据,而且模型在小的数据集上很容易过拟合。我强烈建议你要扩展原始的数据集。如果你的是一个视觉任务,可以增加噪点、增白,减少像素,旋转或色移,模糊,等等可以扩展的一切。有一点不好的是,假如你扩展得太大,可能训练的数据大多数是相同的。我创建了一个应用随机变换的层来解决这个问题,这样就不会有相同的样本。若果你用的是语音数据,可以进行移位和失真处理。

  • 在整个数据集上训练之前,先在非常小的子数据集上训练进行过拟合,这样你会知道你的网络可以收敛。这个 tip 来自 Karpathy。

  • 始终使用 dropout 将过拟合的几率最小化。在大小 > 256 (完全连接层或卷积层)之后就应该使用 dropout。关于这一点有一篇很好的论文:Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning [Gal Yarin & Zoubin Ghahramani,2015].

  • 避免 LRN 池化,MAX 池化会更快。

  • 避免 Sigmoid/TanH 的门,它们代价昂贵,容易饱和,而且可能会停止反向传播。实际上,你的网络越深,就越应该避免使用 Sigmoid 和 TanH。可以使用更便宜而且更有效的 ReLU 和 PreLU 的门,正如在 Yoshua Bengio 等人的论文 Deep Sparse Rectifier Neural Networks 中所提到的,这两者能够促进稀疏性,而且它们的反向传播更加鲁棒。

  • 在最大池化之前不要使用 ReLU 或 PreLU ,而是在保存计算之后使用它。

  • 不要使用 ReLU,它们太旧了。虽然他们是非常有用的非线性函数,可以解决很多问题。但是,你可以试试用它微调一个新模型,由于 ReLU 阻碍反向传播,初始化不好,你没法得到任何微调效果。但是你应该用 PreLU 以及一个非常小的乘数,通常是0.1。使用 PreLU 的话收敛更快,而且不会像 ReLU 那样在初始阶段被卡住。ELU 也很好,但成本高。

  • 经常使用批标准化。 参考论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift [Sergey Ioffe & Christian Szegedy,2015]。这会很有效。批标准化允许更快的收敛(非常快)以及更小的数据集。这样你能够节省时间和资源。

  • 虽然大多数人喜欢删除平均值,不过我不喜欢。我喜欢压缩输入数据为[-1,+1]。这可以说是训练和部署方面的技巧,而不是针对提升性能的技巧。

  • 要能适用更小的模型。假如你是像我这样部署深度学习模型,你很快就会体会到把千兆字节规模的模型推给用户或地球另一端的服务器的痛苦。哪怕要牺牲一些准确度,也应该小型化。

  • 假如你使用比较小的模型,可以试试 ensemble。通常 ensemble 5个网络能够提升准确度约3%。

  • 尽可能使用 xavier 初始化。你可以只在大的完全连接层上使用它,然后避免在 CNN 层上使用。有关这点的解释可以阅读这篇文章:An Explanation of Xavier Initialization(by Andy Jones)

  • 如果你的输入数据有空间参数,可以试试端到端的 CNN。可以阅读这篇论文:SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size [Forrest N. Iandola et. al. 2016],它介绍了一种新的方法,而且性能非常好,你可以尝试应用上面提到的tips。

  • 修改你的模型,只要可能就使用 1x1 的 CNN 层,它的位置对提高性能很有帮助。

  • 假如没有高端的 GPU,就不要尝试训练任何东西了。

  • 假如你要利用模型或你自己的层来制作模板,记得把所有东西参数化,否则你得重建所有二进制文件。

  • 最后,要明白你在做什么。深度学习就像是机器学习里的中子弹,它不是任何任务、任何时候都有效的。了解你正在使用的结构以及你试图达成的目的,才不至于盲目地复制模型。

了解 DL 背后的数学,推荐阅读 Ian Goodfellow , Yoshua Bengio 和 Aaron Courville 合著的经典教材《深度学习》,这本书真的很好,讲解得很清楚。网上有免费的 pdf 版本,但买一本支持作者的贡献也无妨。

此外,如果想了解深度学习的历史和介绍,可以阅读邓力和俞栋合著的《深度学习:方法及应用》。

如果真的想从头开始实现算法,可以阅读 Timothy Masters 写的 Deep Belief Nets in C++ and CUDA C, Vol. 1: Restricted Boltzmann Machines and Supervised Feedforward Networks。


原文:新智元

本文转载自:http://www.jianshu.com/p/e6aa86ba946b

共有 人打赏支持
AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
活动/Leangoo敏捷大讲堂

活动介绍: Leangoo敏捷大讲堂是Leangoo敏捷社区主办的敏捷社区活动。Leangoo敏捷社区由Leangoo(领歌)敏捷项目协作工具发起,是面向敏捷开发爱好者和实践者的公益性敏捷社区。 Leangoo敏捷...

晓月玥
2017/11/17
19
0
记录这两日悲哀的血泪史,以便后来人能绕行

血泪史 --- uuid使用 --- 阿里云磁盘问题 ---

深山猎人
2015/05/15
0
0
QCon全球软件开发大会

标题:100+大咖讲师集结QCon上海,9折特惠最后一周!! 卷首语: QCon是由InfoQ主办的全球顶级技术盛会,内容源于实践并面向社区,演讲嘉宾依据热点技术话题,面向5年以上工作经验的技术团队...

NicoleHan
2016/09/18
621
0
北京大数据技术分析与实战案例分享(百度、京东、Hulu大咖云集)

百度,京东,Hulu,阿里《解密双十一背后的“大数据”技术支持》 大数据前沿技术与实战案例分享 主讲嘉宾: 百度·毕然 百度资深研究员,在商业营销、在线广告、电信、国家安全等领域有丰富的...

简直是天才
2016/11/21
263
0
【嘶吼送书】从零开始的渗透测试生活 |《Web安全攻防:渗透测试实战指南》

     零基础入门,从渗透测试信息收集到后渗透攻防,安全专家实战讲解,全面介绍Web渗透核心攻击与防御方式!      购买链接:   京东:https://item.jd.com/12401707.html   当...

嘶吼RoarTalk
2018/08/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(11.9)hive操作基础知识

上一篇博客分享了hive的简介和初体验,本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name ...

em_aaron
今天
0
0
OSChina 周四乱弹 —— 我家猫真会后空翻

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @我没有抓狂 :#今天听这个# 我艇牛逼,百听不厌,太好听辣 分享 Led Zeppelin 的歌曲《Stairway To Heaven》 《Stairway To Heaven》- Led Z...

小小编辑
今天
1
0
node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
3
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部