文档章节

李宏毅机器学习笔记4:Brief Introduction of Deep Learning、Backpropagation(后向传播算法)

o
 osc_w9s1w4o0
发布于 2019/03/29 09:04
字数 853
阅读 22
收藏 0

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube、网易云课堂、B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳!)

 


 

Lecture 6: Brief Introduction of Deep Learning

 本节课主要围绕Deep Learing三步骤:

(1)function set

(2)goodness of function

(3)pick the best function

 

1.function set

Neuron之间采用不同的连接方式,就会得到不同的网络结构。 

给定了网络结构,就定义了一个function set。 

给定了网络结构并给定了参数,网络就是一个函数:而输入输出的形式都是向量。如下图所示:

在output layer之前的部分,可以看做特征提取(上一节描述的概念)。output layer是Multi-class Classifier.

但是问题来了,Deep learning中的隐层到底要订多少层合适呢?

 

2.goodness of function

损失函数表达式以及优化过程如下所示:

3.pick the best function

 显而易见,优化损失函数采用的依旧是Gradient Descent

 但是现在市面上有很多软件可以帮我们进行GD的大部分计算:

Backpropagation:后向传播算法,在下一节内容我们将会详细讨论。

 

 

Lecture 7: Backpropagation

在神经网络的计算中,神经网络通常含有非常深的隐藏层,换句话说就是可能拥有百万量级的参数,为了在梯度下降时更加有效地计算梯度,所以本节课引入一个概念:反向传播算法(Backpropagation)

 

先让我们考虑只有一组data的时候对参数的偏微分,如下图:

根据链式法则, C/z/w * C/z,计算∂z/w我们称为前向过程,计算∂C/z我们称为后向过程

前向过程:从上图中,我们能明显看出前向过程∂z/w的值。∂z / ∂wi = the value connected by the weight wi。

有关后向过程,让我们一起看下图:

后向过程:根据链式法则, ∂C / ∂z = ∂a / ∂z * ∂C / ∂a,其中∂a / ∂z = σ′(z)。

如下图所示倘若我们从另外一个观点看待上面的式子:有另外一个neuron(下图中的三角形,表示乘法/放大器),input是C / z′与C / z′′权重分别是w3,w4w3,w4,求和经过neuron(乘以σ(z)),得到C / z。

 

那么现在问题又来了,我们该如何计算C / zC / z′′呢?分两种情况

(1)z,z″ 所接的neuron是output layer的neuron

 

(2)z,z″ 所接的neuron不是output layer的neuron

 

总结:实际上在做Backword Pass的时候,就是建立一个反向的neural network的过程,对损失函数求导 = 前向传播 * 后向传播

划重点:

链式法则将计算∂C / ∂w 拆成前向过程与后向过程。

前向过程计算的是∂z / ∂w ,这里z是w所指neuron的input,计算结果是与w相连的值。

后向过程计算的是∂C / ∂z,这里z仍是w所指neuron的input,计算结果通过从后至前递归得到

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

如何在Ruby中生成随机字符串 - How to generate a random string in Ruby

问题: I'm currently generating an 8-character pseudo-random uppercase string for "A" .. "Z": 我目前正在为“ A” ..“ Z”生成一个8个字符的伪随机大写字符串: value = ""; 8.times{......

法国红酒甜
今天
20
0
Python中的mkdir -p功能[重复] - mkdir -p functionality in Python [duplicate]

问题: This question already has an answer here: 这个问题在这里已有答案: How can I safely create a nested directory? 如何安全地创建嵌套目录? 25 answers 25个答案 Is there a way...

技术盛宴
今天
21
0
原价500元的认证证书,限时免费考取!

本文作者:y****n 百度云智学院致力于为百度ABC战略(人工智能、大数据、云计算)提供人才生态体系建设,包括基于百度ABC、IoT的课程体系,整合百度优势技术能力的深度学习技术、Apollo无人车...

百度开发者中心
昨天
17
0
在virtualenv中使用Python 3 - Using Python 3 in virtualenv

问题: Using virtualenv , I run my projects with the default version of Python (2.7). 使用virtualenv ,我使用默认版本的Python(2.7)运行项目。 On one project, I need to use Pyth......

富含淀粉
今天
16
0
Python的__init__和self是做什么的? - What __init__ and self do on Python?

问题: I'm learning the Python programming language and I've came across something I don't fully understand. 我正在学习Python编程语言,遇到了一些我不太了解的东西。 In a method ......

javail
今天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部