文档章节

最大似然,最小二乘,Ridge 回归,LASSO 回归,Laplace 分布, Gaussian 分布

tantexian
 tantexian
发布于 2017/07/24 17:22
字数 813
阅读 86
收藏 0

最小二乘法可以从Cost/Loss function角度去想,这是统计(机器)学习里面一个重要概念,一般建立模型就是让loss function最小,而最小二乘法可以认为是 loss function = (y_hat -y )^2的一个特例,类似的想各位说的还可以用各种距离度量来作为loss function而不仅仅是欧氏距离。所以loss function可以说是一种更一般化的说法。

最大似然估计是从概率角度来想这个问题,直观理解,似然函数在给定参数的条件下就是观测到一组数据realization的概率(或者概率密度)。最大似然函数的思想就是什么样的参数才能使我们观测到目前这组数据的概率是最大的。

类似的从概率角度想的估计量还有矩估计(moment estimation)。就是通过一阶矩 二阶矩等列方程,来反解出参数。

各位有人提到了正态分布。最大似然估计和最小二乘法还有一大区别就是,最大似然估计是需要有分布假设的,属于参数统计,如果连分布函数都不知道,又怎么能列出似然函数呢? 而最小二乘法则没有这个假设。 二者的相同之处是都把估计问题变成了最优化问题。但是最小二乘法是一个凸优化问题,最大似然估计不一定是。

 

知乎用户

其实我觉着你这个答案站的角度才比较符合这个问题的本质。
补充一点点:从优化的角度上来讲,负的log likelihood 就是求MLE(最大似然估计)要优化的目标函数。
那么为啥MLE需要设置分布这么麻烦,还有这么多应用,因为当likelihood设置正确的时候,这个目标函数给出的解最efficient。
那么为啥有这么多人把MLE和OLSE搞混,因为当likelihood用的是gaussian的时候,由于gaussian kernel里有个类似于Euclidean distance的东西,一求log就变成square loss了,导致解和OLSE是一样的。而碰巧刚接触MLE的时候基本都是gaussian假设,这才导致很多人分不清楚。

 

 

 

 

从概率论的角度:

  1. Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
  2. Ridge 回归可以用 Gaussian 分布和最大后验估计解释
  3. LASSO 回归可以用 Laplace 分布和最大后验估计解释


-------------------------------------------------------------------
下面贴一下我以前的推导给大家参考,相信会有启发。如有错误还望指正 -_-
注意:

  1. 假设你已经懂得:高斯分布、拉普拉斯分布、最大似然估计,最大后验估计(MAP)。
  2. 按照李航博士的观点,机器学习三要素为:模型策略算法。一种模型可以有多种求解策略,每一种求解策略可能最终又有多种计算方法。以下只讲模型策略,不讲算法。(具体怎么算,convex or non-convex, 程序怎么写,那是数值分析问题)

-------------------------------------------------------------------

© 著作权归作者所有

共有 人打赏支持
tantexian
粉丝 201
博文 501
码字总数 722631
作品 0
成都
架构师
机器学习:最小二乘、正则化和广义线性模型

1. 最小二乘法(Least squares) 最小二乘法是一种数学优化技术,它通过最小化误差的平方来寻找数据的最佳函数匹配。 先引入一些先验知识: 1. 高斯分布(Gaussian distribution) · 若随机...

Deepool
2017/03/26
0
0
机器学习从零开始系列连载(2)——线性回归

作者:张磊 编辑:赵一帆 本周剩余内容: 2. 建模方法回顾 2.0 偏差与方差 2.1 线性回归-Linear Regression 2.1.1 模型原理 2.1.2 损失函数 2.2 支持向量机-Support Vector Machine 2.2.1 模...

szm21c11u68n04vdclmj
2017/11/27
0
0
7种回归模型

【编者按】回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势,重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七...

NORTHhan
2017/03/09
0
0
留给人类的时间不多了?现在不学机器学习更待何时!

立即参团 原价 ¥899.00 目前已达最低价 ¥399.00 >>点击文末阅读原文参团<< 机器学习(升级版Ⅶ) 课程目标:本课程特点是从数学层面推导最经典的机器学习算法,以及每种算法的示例和代码实...

bjweimengshu
2017/11/21
0
0
机器学习|逻辑回归里有哪些逻辑?

目录: 1.逻辑回归 2.牛顿法求极值 3.指数分布族与多项分布 4.广义线性模型 前言 在看逻辑回归之前,先回想一下线性回归问题的求解步骤,再顺着线性回归,来介绍逻辑回归。 1.首先假设误差存...

最会设计的科研狗
2017/07/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

《看图轻松理解数据结构与算法系列》导引贴

最近学习数据结构,遇到一个很喜欢的博主,他的文章图文并茂,理解起来很容易。特此开贴记录,方便反复阅读。 博主主页 https://juejin.im/user/57c3970f79bc440063e58518/posts?sort=popul...

科陆李明
20分钟前
0
0
20.27 分发系统介绍~ 20.30 expect脚本传递参数

分发系统介绍分发系统-expect讲解(也就是一个分发的脚本)场景:业务越来越大,网站app,后端,编程语言是php,所以就需要配置lamp或者lnmp,最好还需要吧代码上传到服务器上;但是因...

洗香香
34分钟前
2
0
设计一个百万级的消息推送系统

前言 首先迟到的祝大家中秋快乐。 最近一周多没有更新了。其实我一直想憋一个大招,分享一些大家感兴趣的干货。 鉴于最近我个人的工作内容,于是利用这三天小长假憋了一个出来(其实是玩了两...

crossoverJie
40分钟前
1
0
软件架构:5种你应该知道的模式

Singleton(单例模式)、仓储模式(repository)、工厂模式(factory)、建造者模式(builder)、装饰模式(decorator)……大概每个上课听讲的程序员都不会陌生——软件的设计模式为我们提供...

好雨云帮
52分钟前
2
0
OSChina 周二乱弹 —— 这只是一笔金钱交易

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @小小编辑:推荐歌曲《暮春秋色》- 窦唯 / 译乐队 《暮春秋色》- 窦唯 / 译乐队 手机党少年们想听歌,请使劲儿戳(这里) @我没有抓狂:跨服聊...

小小编辑
今天
845
16

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部