文档章节

神经网络和深度学习-第二周神经网络基础-第二节:Logistic回归

侯法超
 侯法超
发布于 2017/12/19 10:45
字数 854
阅读 21
收藏 1

本系列博客是吴恩达(Andrew Ng)深度学习工程师 课程笔记。全部课程请查看吴恩达(Andrew Ng)深度学习工程师课程目录

本节将会讲解logistic回归,logistic是一个学习算法,用在监督学习问题中输出标签y是0或1的时候,这是一个二元分类问题。

已知的输入特征向量x可能是一张图,你希望识别出这个图里是不是一只猫。你需要一个算法可以给出一个预测值我们说预测值$\hat{y}$,就是你对y的预测。更正式的说,你希望$\hat{y}$是一个概率,当输入特征x满足条件时y就是1。所以换句话说,如果x是图片,正如我们在上一节中看到,你希望$\hat{y}$能告诉你这个图里是猫的概率。所以x正如我们之前课程里所说的是一个$n_x$维向量: $$ x \in R^{n_x} $$ 已知logistic回归的参数是w(也是$n_x$维向量,$w \in R^{n_x}$)而b就是一个实数,所以已知输入x、参数w和b,我们如何计算输出预测$\hat{y}$ ?你可以试试(但其实并不靠谱)$\hat{y}=w^T x + b$,输入x的线性函数,事实上,如果你做线性回归就是这么算的。但这并不是一个非常好的二元分类算法,因为你希望$\hat{y}=1$,所以$\hat{y}$应该在0和1之间,但事实上这很难实现,因为$w^{T} x + b$可能比1大的多或者甚至是负值,这样的概率是没有意义的,你希望$\hat{y}$在0和1之间。所以在logisticl回归中我们的输出变成:$\hat{y}= \sigma(w^T x +b)$,加上一个sigmoid函数,$sigmoid(x)$函数的图形如下图所示:

sigmoid函数

$sigmoid(x)$公式为: $$ \sigma(z) = \frac{1}{1+e^{-z}} \quad z \in R $$ 要注意一些事项,如果z非常大,那么$e^{-z}$就很接近0那么$sigmoid(x)$无限接近1,相反如果z很小$sigmoid(x)$就会无限接近0。所以当你实现logistic函数时,你要做的是学习参数w和b,所以$\hat{y}$变成了对$y=1$比较好的估计。

在继续之前,我们再讲讲符号约定当我们对神经网络编程时,我们通常会把w和参数b分开(这里b对应一个拦截器)。在其他课程是你可能看过其他不同的表示,在一些符号约定中,定义一个额外的特征向量$x_0=1$所以出现x是$R^{n_x + 1}$维向量;将$\hat{y}$定义为$\sigma(\theta^T x)$在这种符号约定中,你有一个向量参数$\theta= \begin{bmatrix} \theta_0 & \theta_1 & ... & \theta_{n_x} \end{bmatrix}^T$,所以$\theta_0$扮演是的b的角色,这是一个实数而$\theta_1$到$\theta_{n_x}$的作用和w一样。事实上,当你实现神经网络时,将b和w看成单独的参数可能更好,所以对于这门课,我们不会使用这种符号约定。

现在你看到了logistic回归模型长什么样,下一节我们看看参数w和b,需要定义一个成本函数(cost function)。

© 著作权归作者所有

共有 人打赏支持
侯法超
粉丝 152
博文 57
码字总数 105341
作品 0
大兴
程序员
私信 提问
ng-深度学习-课程笔记-0: 概述

课程概述 这是一个专项课程(Specialization),包含5个独立的课程,学习这门课程后做了相关的笔记记录。 (1) 神经网络和深度学习 (2) 改善深层神经网络:超参数调试,正则化,优化 (3) 结构化...

PilgrimHui
2017/10/09
0
0
《deeplearning.ai》 课程一第二周 | Logistic Regression

deeplearning.ai 是机器学习领域大牛Andrew Ng在Coursera上公布的新的深度学习的课程,相比之前机器学习的课程,本课程更偏重于深度学习的领域。 本文是课程一《Neural Networks and Deep Le...

V怪兽
2017/12/14
0
0
CMU 深度学习导论更新 | 第四讲:反向传播

AI 研习社获得官方授权,汉化翻译CMU 2018 秋季《深度学习导论》课程,9月27日正式上线中文字幕版。 好消息!CMU 深度学习小组在 AI 研习社突破 700 人啦! 扫描二维码 ↓↓↓ 即可加入~ 春风...

雷锋字幕组
11/27
0
0
独家 | CMU 2018 秋季《深度学习导论》中文字幕版今日上线!

AI 研习社获得官方授权,汉化翻译CMU 2018 秋季《深度学习导论》课程,今日正式上线中文字幕版。 CMU 2018 秋季《深度学习导论》为官方开源最新版本,由卡耐基梅隆大学教授 Bhiksha Raj 授权...

雷锋字幕组
09/27
0
0
基于深度学习的NLP 32页最新进展综述,190篇参考文献

来源:专知 摘要:深度学习使用多层学习层次的数据表示,并在许多领域得到了最优的结果。最近,各种各样的模型设计和方法在自然语言处理(NLP)蓬勃发展。在本文中,我们回顾了被广泛应用于各种N...

人工智能学家
12/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
10
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
17
0

中国龙-扬科
昨天
2
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
11
0
java框架学习日志-6(bean作用域和自动装配)

本章补充bean的作用域和自动装配 bean作用域 之前提到可以用scope来设置单例模式 <bean id="type" class="cn.dota2.tpye.Type" scope="singleton"></bean> 除此之外还有几种用法 singleton:......

白话
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部