文档章节

【机器学习】Andrew Ng梯度下降法实战

Parser7
 Parser7
发布于 2016/03/22 19:57
字数 311
阅读 700
收藏 5

问题建模

在房价预测问题当中,设特征向量x1=size,x2=房间数

假设房价y可由函数以下函数估测,并另x0=1:

 

那么对于m个样本,我们需要求取一组theta使得该式子最小:

搜索算法实现

 

简化公式推导

那么反映到MATLAB上就一行的implementation:

theta=(featsx'*featsx)\featsx'*y; 

关于过拟合:

当用线性函数拟合时,输出的准确率(或其它指标):

训练集    测试集1    测试集2    测试集3

 0.9599    0.9080    0.9246    0.9476

可以发现测试集效果还是比较OK的,但是当使用较高次的非线性函数拟合时,输出的准确率就差很多了。

训练集    测试集1    测试集2    测试集3

0.9929    0.1475    0.1060    0.0179
可见,虽然训练集准确率非常高,但是观察测试集测试结果发现其泛化能力降低得很厉害。

© 著作权归作者所有

Parser7
粉丝 26
博文 16
码字总数 21280
作品 1
杭州
程序员
私信 提问
加载中

评论(2)

出场自带BGM
出场自带BGM
吴恩达的教学里面的?
Osc尘埃
Osc尘埃
反正没看懂
【吴恩达Deeplearning.ai笔记一】直观解释逻辑回归

深度学习(Deep Learning)是机器学习(Machine Learning)的一大分支,它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 逻辑回归(Logistic Regressi...

机器学习算法与自然语言处理
2018/03/01
0
0
机器学习(四)正则化与过拟合问题 Regularization / The Problem of Overfitting

文章内容均来自斯坦福大学的Andrew Ng教授讲解的Machine Learning课程,本文是针对该课程的个人学习笔记,如有疏漏,请以原课程所讲述内容为准。感谢博主Rachel Zhang 的个人笔记,为我做个人...

rgvb178
2016/12/23
0
0
Andrew Ng经典机器学习课程的Python实现(第1部分)

几个月前,我在Coursera(免费大型公开在线课程项目)上完成Andrew Ng机器学习的MOOC教学。对于任何一个想进入人工智能和机器学习世界的人来说,这都是一个很好的入门课程,但其中的项目是用...

【方向】
2018/09/07
0
0
机器学习 (二) 多变量线性回归 Linear Regression with Multiple Variables

文章内容均来自斯坦福大学的Andrew Ng教授讲解的Machine Learning课程,本文是针对该课程的个人学习笔记,如有疏漏,请以原课程所讲述内容为准。感谢博主Rachel Zhang 的个人笔记,为我做个人...

rgvb178
2016/10/04
0
0
【deeplearning.ai】深度学习(4):优化神经网络(2)

深度学习(4):优化神经网络(2) 想提高一个深层神经网络的训练效率,需从各个方面入手,优化整个运算过程,同时预防其中可能发生的各种问题。 本文涉及优化深层神经网络中的几种梯度下降法,梯...

Hugsy
2018/03/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

3_数组

3_数组

行者终成事
今天
7
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0
使用logstash同步MySQL数据到ES

概述   在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。   在使用logstas...

zxiaofan666
今天
10
0
X-MSG-IM-分布式信令跟踪能力

经过一周多的鏖战, X-MSG-IM的分布式信令跟踪能力已基本具备, 特点是: 实时. 只有要RX/TX就会实时产生信令跟踪事件, 先入kafka, 再入influxdb待查. 同时提供实时sub/pub接口. 完备. 可以完整...

dev5
今天
7
0
OpenJDK之CyclicBarrier

OpenJDK8,本人看的是openJDK。以前就看过,只是经常忘记,所以记录下 图1 CyclicBarrier是Doug Lea在JDK1.5中引入的,作用就不详细描述了,主要有如下俩个方法使用: await()方法,如果当前线...

克虏伯
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部