文档章节

Hinton神经网络公开课8 More recurrent neural networks

hankcs
 hankcs
发布于 2017/05/20 18:40
字数 318
阅读 3
收藏 0
本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/ml/hinton-more-rnn.html
Hinton神经网络公开课8 More recurrent neural networks
首先简要介绍Hessian-Free优化理论。这是块硬骨头,并不要求一定掌握。在给定方向上的移动能够将误差降低多少在训练神经网络的时候,我们想要在error surface上尽量多地下降。梯度有了之后,具体能够迈多大一步呢?以二次曲线为例,给定曲线,假设其曲率为常数,并且假设梯度随error下降而减小。误差的最大减小量取决于梯度与曲率的比值,不同的方向梯度与曲率都可能不一样。比如:横轴是weight,纵轴是error(可以想象这是碗状凸函数的一个纵切面)。从红点出发能够获得的最大error减小量为蓝色箭头。...

继续阅读码农场 » Hinton神经网络公开课8 More recurrent neural networks

原文链接http://www.hankcs.com/ml/hinton-more-rnn.html


感谢阅读本文,欢迎 查看原文或访问 码农场 获取更多内容

© 著作权归作者所有

共有 人打赏支持
hankcs
粉丝 35
博文 222
码字总数 53918
作品 1
美国
私信 提问
机器学习/深度学习/自然语言处理学习路线

原文地址:http://www.cnblogs.com/cyruszhu/p/5496913.html 未经允许,请勿用于商业用途!相关请求,请联系作者:yunruizhu@126.com 转载请附上原文链接,谢谢。 机器学习/深度学习/自然语言处...

Cyrus_Zhu
2016/05/16
0
0
Deep Learning方向的paper

个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部分是有交叉或者内容重叠,也不必纠结于这属于DNN还是CNN之类,个人只是大致分了个类。目前只整理了部分,剩余部分还会持续更...

langb2014
2016/03/06
0
0
干货 | 深度学习论文汇总

  AI 科技评论按:本文作者罗浩,AI 科技评论授权转载。   本文用于记录自己平时收集的一些不错的往年(截止至 2017 / 12 / 29)深度学习论文,近9成的文章都是引用量3位数以上的论文,剩...

AI科技评论
01/01
0
0
【译文】学习深度学习的四个步骤

原文地址(访问需fq。。。) 首先,如果你需要了解一些关于深度学习的基本信息,或者需要了解为什么深度学习会对未来有如此巨大的影响的话,请先看一下Andrew Ng的讲解视频: Andrew Ng: Dee...

zgljl2012
2017/06/06
0
0
学习深度学习的四个步骤

原文地址: https://medium.com/@vzkuma/4-steps-for-learning-deep-learning-86f11fcee54 学习深度学习的四个步骤 一个手写资源列表帮助你变成一个深度学习专家 首先,如果你需要一些基本的...

uncle_ll
2016/09/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Vue重要知识小结

vue sync修饰 (1)双向数据绑定,父子组件之间信息的交互 1⃣️在自组件中使用this.emmit('toFather'),子组件产生一个tofather事件,然后在父组件中通过@进行监听,那么可以实现通信过程 2⃣...

peakedness丶
37分钟前
1
0
1024我们的码农节-向自己致敬!

一、blog主有话要说 作为(真正)入赘程序届的第一年, 对明天的1024码农节有很多话想说.比如: 给各位辛苦大佬们讲几个咱们程序届段子 给自己立一个flag, 明年的1024争取少掉点甚至不掉头发! ...

Ala6
39分钟前
10
0
solr使用规范

0. 目的 规范solr设计、用法,避免bug,提高性能 1. 设计规范 solr的用途是查询,不是存储,建议查询结果尽量都为id主键,而后再拿该id主键到缓存或者db中再查询相关信息,例如:请勿将经销商...

andersChow
51分钟前
1
0
11-《深度拆解JVM》之Java对象的内存布局

一、问题引入 在 Java 程序中,我们拥有多种新建对象的方式。除了最为常见的 new 语句之外,我们还可以通过反射机制、Object.clone 方法、反序列化以及 Unsafe.allocateInstance 方法来新建对...

飞鱼说编程
56分钟前
1
0
Windows Install Docker

win7、win8 win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ docker toolbox...

linuxprobe16
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部