文档章节

神经网络和深度学习-第二周神经网络基础-第四节:梯度下降法

侯法超
 侯法超
发布于 2017/12/27 22:22
字数 485
阅读 522
收藏 6

本系列博客是吴恩达(Andrew Ng)深度学习工程师 课程笔记。全部课程请查看吴恩达(Andrew Ng)深度学习工程师课程目录

在上一节中学习了损失函数,损失函数是衡量单一训练样例的效果,成本函数用于衡量参数w和b的效果,在全部训练集上来衡量。下面我们讨论如何使用梯度下降法,来训练和学习训练集上的参数w和b,使得$J(w,b)$尽可能地小。

这个图中的横轴表示空间参数w和b,在实践中,w可以是更高维的。成本函数$J(w,b)$是在水平轴w和b上的曲面,曲面的高度表示了$J(w,b)$在某一点的值,我们所想要做的就是找到这样的w和b,使其对应的成本函数J值是最小值。可以看到成本函数$J$是一个凸函数,因此我们的成本函数$J(w,b)$之所以是凸函数,其性质是我们使用logistic回归的个特定成本函数$J$的重要原因之一。为了找到更好的参数值,我们要做的就是用某初始值初始化w和b,用图上最上面的小红点表示。

对于logistic回归而言几乎任意初始化方法都有效,通用用0来进行初始化,但对于logistic回归,我们通常不这么做。因为函数是凸的无论在哪里初始化,都应到达同一点或大致相同的点。梯度下降法所做的就是从初始点开始朝最陡的下坡方向走,就像图里一样沿着红点一直走,直到到达或接近全局最优解。

© 著作权归作者所有

共有 人打赏支持
侯法超
粉丝 152
博文 57
码字总数 105341
作品 0
大兴
程序员
私信 提问
CMU 深度学习导论更新 | 第四讲:反向传播

AI 研习社获得官方授权,汉化翻译CMU 2018 秋季《深度学习导论》课程,9月27日正式上线中文字幕版。 好消息!CMU 深度学习小组在 AI 研习社突破 700 人啦! 扫描二维码 ↓↓↓ 即可加入~ 春风...

雷锋字幕组
11/27
0
0
独家 | CMU 2018 秋季《深度学习导论》中文字幕版今日上线!

AI 研习社获得官方授权,汉化翻译CMU 2018 秋季《深度学习导论》课程,今日正式上线中文字幕版。 CMU 2018 秋季《深度学习导论》为官方开源最新版本,由卡耐基梅隆大学教授 Bhiksha Raj 授权...

雷锋字幕组
09/27
0
0
ng-深度学习-课程笔记-0: 概述

课程概述 这是一个专项课程(Specialization),包含5个独立的课程,学习这门课程后做了相关的笔记记录。 (1) 神经网络和深度学习 (2) 改善深层神经网络:超参数调试,正则化,优化 (3) 结构化...

PilgrimHui
2017/10/09
0
0
深度学习笔记6:神经网络优化算法之从SGD到Adam

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定! 对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴...

天善智能
07/19
0
0
资源 | DLL:一个炙手可热的快速深度神经网络库

  选自arXiv   作者:Baptiste Wicht 等   机器之心编译   参与:乾树、李泽南      DLL 是一个旨在提供由 C++实现的受限玻尔兹曼机(RBM)和深度信念网络(DBN)及其卷积版本的...

机器之心
05/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
10
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
17
0

中国龙-扬科
昨天
2
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
11
0
java框架学习日志-6(bean作用域和自动装配)

本章补充bean的作用域和自动装配 bean作用域 之前提到可以用scope来设置单例模式 <bean id="type" class="cn.dota2.tpye.Type" scope="singleton"></bean> 除此之外还有几种用法 singleton:......

白话
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部