Hinton神经网络公开课8 More recurrent neural networks
博客专区 > hankcs 的博客 > 博客详情
Hinton神经网络公开课8 More recurrent neural networks
hankcs 发表于9个月前
Hinton神经网络公开课8 More recurrent neural networks
  • 发表于 9个月前
  • 阅读 3
  • 收藏 0
  • 点赞 0
  • 评论 0

新睿云服务器60天免费使用,快来体验!>>>   

摘要:  知识共享署名-非商业性使用-相同方式共享:码农场 » Hinton神经网络公开课8 More recurrent neural networks
本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/ml/hinton-more-rnn.html
Hinton神经网络公开课8 More recurrent neural networks
首先简要介绍Hessian-Free优化理论。这是块硬骨头,并不要求一定掌握。在给定方向上的移动能够将误差降低多少在训练神经网络的时候,我们想要在error surface上尽量多地下降。梯度有了之后,具体能够迈多大一步呢?以二次曲线为例,给定曲线,假设其曲率为常数,并且假设梯度随error下降而减小。误差的最大减小量取决于梯度与曲率的比值,不同的方向梯度与曲率都可能不一样。比如:横轴是weight,纵轴是error(可以想象这是碗状凸函数的一个纵切面)。从红点出发能够获得的最大error减小量为蓝色箭头。...

继续阅读码农场 » Hinton神经网络公开课8 More recurrent neural networks

原文链接http://www.hankcs.com/ml/hinton-more-rnn.html


感谢阅读本文,欢迎 查看原文或访问 码农场 获取更多内容

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 29
博文 222
码字总数 53918
作品 1
评论 (0)
×
hankcs
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: