理解最小二乘法

原创
2016/10/27 16:28
阅读数 1.6K

想要理解好最小二乘法,首先得理解一些数学概念。然后再去理解最小二乘法

  1. 什么是导数? 导数在几何里面理解就是函数的切线,函数的增长速度。
    参考: 导数    第一节 导数概念
  2. 什么是偏导数?当一元函数是平面的时候(定义域x,值域y,组成一个平面),二元函数就是三维空间了(定义域x,定义域y,值域z组成一个三维空间xyz),一元函数的导数很好理解,那二元函数是一个立体空间,得到的导数也是一个二元函数,就不那么好理解了,所以需要我们控制一面,就相当于减少一个元,变成一元函数的导数,比如说先去掉y这个平面,先求平行于xoz平面的的函数的导数,其实就相当于求一个一元函数的导数。
    参考:偏导数    偏导数及其几何意义
  3. 最小二乘法怎么理解?
    对于一元线性回归模型, 假设从总体中获取了n组观察值(X1,Y1),(X2,Y2), …,(Xn,Yn)。对于平面中的这n个点,可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看,这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。有以下三个标准可以选择:
  • 用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
  • 用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
  • 最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外,得到的估计量还具有优良特性。这种方法对异常值非常敏感。

仔细理解上面三个标准,理解他们的几何意义,就知道最小二乘法(又叫最小平方法)才能是拟合曲线最优误差最小。 还需要理解公式是怎么推导出来的,如下两个公式,式2是如何从式1推导过来的呢?就是要用到上面学习偏导数了,让β0,β1分别成为变量,x和y看成常量,Q相当于固定平面,分别求β0和β1方面的偏导数,最后让偏导数的值为0,就出来了式2了。
输入图片说明 式1 输入图片说明式2
参考:最小二乘法

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部