文档章节

最大似然,最小二乘,Ridge 回归,LASSO 回归,Laplace 分布, Gaussian 分布

tantexian
 tantexian
发布于 2017/07/24 17:22
字数 813
阅读 66
收藏 0
点赞 0
评论 0

最小二乘法可以从Cost/Loss function角度去想,这是统计(机器)学习里面一个重要概念,一般建立模型就是让loss function最小,而最小二乘法可以认为是 loss function = (y_hat -y )^2的一个特例,类似的想各位说的还可以用各种距离度量来作为loss function而不仅仅是欧氏距离。所以loss function可以说是一种更一般化的说法。

最大似然估计是从概率角度来想这个问题,直观理解,似然函数在给定参数的条件下就是观测到一组数据realization的概率(或者概率密度)。最大似然函数的思想就是什么样的参数才能使我们观测到目前这组数据的概率是最大的。

类似的从概率角度想的估计量还有矩估计(moment estimation)。就是通过一阶矩 二阶矩等列方程,来反解出参数。

各位有人提到了正态分布。最大似然估计和最小二乘法还有一大区别就是,最大似然估计是需要有分布假设的,属于参数统计,如果连分布函数都不知道,又怎么能列出似然函数呢? 而最小二乘法则没有这个假设。 二者的相同之处是都把估计问题变成了最优化问题。但是最小二乘法是一个凸优化问题,最大似然估计不一定是。

 

知乎用户

其实我觉着你这个答案站的角度才比较符合这个问题的本质。
补充一点点:从优化的角度上来讲,负的log likelihood 就是求MLE(最大似然估计)要优化的目标函数。
那么为啥MLE需要设置分布这么麻烦,还有这么多应用,因为当likelihood设置正确的时候,这个目标函数给出的解最efficient。
那么为啥有这么多人把MLE和OLSE搞混,因为当likelihood用的是gaussian的时候,由于gaussian kernel里有个类似于Euclidean distance的东西,一求log就变成square loss了,导致解和OLSE是一样的。而碰巧刚接触MLE的时候基本都是gaussian假设,这才导致很多人分不清楚。

 

 

 

 

从概率论的角度:

  1. Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
  2. Ridge 回归可以用 Gaussian 分布和最大后验估计解释
  3. LASSO 回归可以用 Laplace 分布和最大后验估计解释


-------------------------------------------------------------------
下面贴一下我以前的推导给大家参考,相信会有启发。如有错误还望指正 -_-
注意:

  1. 假设你已经懂得:高斯分布、拉普拉斯分布、最大似然估计,最大后验估计(MAP)。
  2. 按照李航博士的观点,机器学习三要素为:模型策略算法。一种模型可以有多种求解策略,每一种求解策略可能最终又有多种计算方法。以下只讲模型策略,不讲算法。(具体怎么算,convex or non-convex, 程序怎么写,那是数值分析问题)

-------------------------------------------------------------------

© 著作权归作者所有

共有 人打赏支持
tantexian
粉丝 189
博文 467
码字总数 717645
作品 0
成都
架构师
机器学习:最小二乘、正则化和广义线性模型

--* 1. 最小二乘法(Least squares) 最小二乘法是一种数学优化技术,它通过最小化误差的平方来寻找数据的最佳函数匹配。 先引入一些先验知识: 1. 高斯分布(Gaussian distribution) · 若...

Deeplayer ⋅ 2017/03/26 ⋅ 0

机器学习从零开始系列连载(2)——线性回归

作者:张磊 编辑:赵一帆 本周剩余内容: 2. 建模方法回顾 2.0 偏差与方差 2.1 线性回归-Linear Regression 2.1.1 模型原理 2.1.2 损失函数 2.2 支持向量机-Support Vector Machine 2.2.1 模...

szm21c11u68n04vdclmj ⋅ 2017/11/27 ⋅ 0

7种回归模型

【编者按】回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势,重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七...

NORTHhan ⋅ 2017/03/09 ⋅ 0

留给人类的时间不多了?现在不学机器学习更待何时!

立即参团 原价 ¥899.00 目前已达最低价 ¥399.00 >>点击文末阅读原文参团<< 机器学习(升级版Ⅶ) 课程目标:本课程特点是从数学层面推导最经典的机器学习算法,以及每种算法的示例和代码实...

bjweimengshu ⋅ 2017/11/21 ⋅ 0

机器学习|逻辑回归里有哪些逻辑?

目录: 1.逻辑回归 2.牛顿法求极值 3.指数分布族与多项分布 4.广义线性模型 前言 在看逻辑回归之前,先回想一下线性回归问题的求解步骤,再顺着线性回归,来介绍逻辑回归。 1.首先假设误差存...

最会设计的科研狗 ⋅ 2017/07/09 ⋅ 0

AI学习者必备 | 圣母大学公开统计计算课程讲义(视频+PPT+作业)

翻译 | AI科技大本营(微信ID:rgznai100,点击查看AI科技大本营更多干货文章) 参与 | 刘畅 近日,圣母大学(University of Notre Dame)公开了一门统计学课程资源,包括:课程笔记和授课视频...

AI科技大本营 ⋅ 01/02 ⋅ 0

AI-机器学习-监督学习-线性回归

回归算法是监督学习其中之一。 线性回归算法是已知样本和样本对应的预测结果,求新的样本的预测结果。 1、先对已知样本进行适当的处理,包括去除一些缺省值,一些不正常的值等。 2、样本和结...

n_sapientia ⋅ 05/25 ⋅ 0

对线性回归,logistic回归和一般回归的认识

1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题,回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到...

oldpan ⋅ 2017/09/23 ⋅ 0

机器学习|最小二乘法的概率解释

在拟合数据时,为什么选择最小二乘来作为误差函数呢? 虽然不明白为什么,但是一直觉得很有道理的样子。最小二乘或平方差作为误差函数,是基于一些概率假设推导出了这个公式。这里有一些概率...

最会设计的科研狗 ⋅ 2017/06/10 ⋅ 0

数学基础(四)——广义线性回归和对偶优化(未完)

广义线性回归和对偶优化 ps: 个人笔记 根据视频和PDF学习 线性回归 y=ax+b 多个变量的情形 考虑两个变量 最小二乘的目标函数 m为样本个数,则一个比较“符合常理”的误差函数为: 符合常理 ...

qq_41010142 ⋅ 04/18 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

熊掌号收录比例对于网站原创数据排名的影响[图]

从去年下半年开始,我在写博客了,因为我觉得业余写写博客也还是很不错的,但是从2017年下半年开始,百度已经推出了原创保护功能和熊掌号平台,为此,我也提交了不少以前的老数据,而这些历史...

原创小博客 ⋅ 今天 ⋅ 0

LVM讲解、磁盘故障小案例

LVM LVM就是动态卷管理,可以将多个硬盘和硬盘分区做成一个逻辑卷,并把这个逻辑卷作为一个整体来统一管理,动态对分区进行扩缩空间大小,安全快捷方便管理。 1.新建分区,更改类型为8e 即L...

蛋黄Yolks ⋅ 今天 ⋅ 0

Hadoop Yarn调度器的选择和使用

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它负...

p柯西 ⋅ 今天 ⋅ 0

uWSGI + Django @ Ubuntu

创建 Django App Project 创建后, 可以看到路径下有一个wsgi.py的问题 uWSGI运行 直接命令行运行 利用如下命令, 可直接访问 uwsgi --http :8080 --wsgi-file dj/wsgi.py 配置文件 & 运行 [u...

袁祾 ⋅ 今天 ⋅ 0

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

不羁之后 ⋅ 昨天 ⋅ 0

推荐:并发情况下:Java HashMap 形成死循环的原因

在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障,并且这个事发生了很多次,原因是在Java语言在并发情况下使用HashMap造成Race Condition,从而导致死循环。这个事情我4、5年前也经历...

码代码的小司机 ⋅ 昨天 ⋅ 2

聊聊spring cloud gateway的RetryGatewayFilter

序 本文主要研究一下spring cloud gateway的RetryGatewayFilter GatewayAutoConfiguration spring-cloud-gateway-core-2.0.0.RC2-sources.jar!/org/springframework/cloud/gateway/config/G......

go4it ⋅ 昨天 ⋅ 0

创建新用户和授予MySQL中的权限教程

导读 MySQL是一个开源数据库管理软件,可帮助用户存储,组织和以后检索数据。 它有多种选项来授予特定用户在表和数据库中的细微的权限 - 本教程将简要介绍一些选项。 如何创建新用户 在MySQL...

问题终结者 ⋅ 昨天 ⋅ 0

android -------- 颜色的半透明效果配置

最近有朋友问我 Android 背景颜色的半透明效果配置,我网上看资料,总结了一下, 开发中也是常常遇到的,所以来写篇博客 常用的颜色值格式有: RGB ARGB RRGGBB AARRGGBB 这4种 透明度 透明度...

切切歆语 ⋅ 昨天 ⋅ 0

CentOS开机启动subversion

建立自启动脚本: vim /etc/init.d/subversion 输入如下内容: #!/bin/bash## subversion startup script for the server## chkconfig: 2345 90 10# description: start the subve......

随风而飘 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部