文档章节

NN中的反向传导算法

lan_cyl
 lan_cyl
发布于 2017/04/23 16:43
字数 217
阅读 16
收藏 0

在看 ufldl中的反向传导算法时,一时不理解计算出 残差(error term)后,怎么直接得出最终需要的偏导数的,就查了点资料,这里记录一下。

相关资料:

ufldl的反向传导算法 http://ufldl.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95

反向传导算法用于求偏导的优势
原文 http://colah.github.io/posts/2015-08-Backprop/
翻译 https://zhuanlan.zhihu.com/p/25081671

下面摘录ufldl上的反向传导算法的细节: 1,2步 3,4步

其中a=f(z),代表激活值,使用 sigmoid或者 tanh,对这里的推导没有影响;z(l)=w(l-1)*a(l-1)+b

单步的计算还都理解,就是第4步怎么来的呢?一点不解释清楚就懵逼啊==

确实很简单,无须过多说明,继续

© 著作权归作者所有

lan_cyl
粉丝 1
博文 13
码字总数 16151
作品 0
武汉
私信 提问
数学 · RNN(二)· BPTT 算法

(这里是本章会用到的 GitHub 地址) (感谢评论区 @陌烛 指出本文的诸多错误!!真的非常感谢!!【拜】) RNN 的“前向传导算法” 在说明如何进行训练之前,我们先来回顾一下 RNN 的“前向...

射命丸咲
2017/05/14
0
0
基于PyTorch的深度学习入门教程(七)——PyTorch重点综合实践

前言 PyTorch提供了两个主要特性: (1) 一个n维的Tensor,与numpy相似但是支持GPU运算。 (2) 搭建和训练神经网络的自动微分功能。 我们将会使用一个全连接的ReLU网络作为实例。该网络有一...

zzlyw
2017/12/14
0
0
Caffe深入分析(源码)

Caffe的整体流程图: 程序入口:main() 1 int main(int argc, char** argv) {2 .....3 return GetBrewFunction(caffe::string(argv[1]))();4 ....5 } gbrewmap实现过程,首先通过 typedef定义......

liurio
2017/08/05
0
0
如果你还不了解机器学习的简史,请看这篇文章

本文由伯乐在线 -李大萌 翻译,艾凌风 校稿。未经许可,禁止转载! 英文出处:Eren Golge。欢迎加入翻译组。 【导读】:全面介绍机器学习的发展史,从感知机、神经网络、决策树、SVM、Adabo...

伯乐在线
2017/12/05
0
0
基于PyTorch的深度学习入门教程(四)——构建神经网络

前言 本文参考PyTorch官网的教程,分为五个基本模块来介绍PyTorch。为了避免文章过长,这五个模块分别在五篇博文中介绍。 Part1:PyTorch简单知识 Part2:PyTorch的自动梯度计算 Part3:使用...

zzlyw
2017/12/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 人生,还真是到处是意外

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @这次装个文艺青年吧 :#今日歌曲推荐# 分享lil peep的单曲《High School》 《High School》- lil peep 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
12分钟前
1
0
Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用

多线程一直是工作或面试过程中的高频知识点,今天给大家分享一下使用 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工厂...

CREATE_17
今天
6
0
CSS盒子模型

CSS盒子模型 组成: content --> padding --> border --> margin 像现实生活中的快递: 物品 --> 填充物 --> 包装盒 --> 盒子与盒子之间的间距 content :width、height组成的 内容区域 padd......

studywin
今天
7
0
修复Win10下开始菜单、设置等系统软件无法打开的问题

因为各种各样的原因导致系统文件丢失、损坏、被修改,而造成win10的开始菜单、设置等系统软件无法打开的情况,可以尝试如下方法解决 此方法只在部分情况下有效,但值得一试 用Windows键+R打开...

locbytes
昨天
8
0
jquery 添加和删除节点

本文转载于:专业的前端网站➺jquery 添加和删除节点 // 增加一个三和一节点function addPanel() { // var newPanel = $('.my-panel').clone(true) var newPanel = $(".triple-panel-con......

前端老手
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部