文档章节

先验分布 后验分布 似然估计

ericSM
 ericSM
发布于 06/03 15:54
字数 1203
阅读 3
收藏 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

一、先验分布
对未知参数x的先验信息用一个分布形式p(x)来表示,此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原因的经验推断

对于一个未知参数,在抽取样本之前就已经知道了一些关于该参数的信息。我们知道的途径可能来源于生活经验,自然规律等等。

例子:来源  https://blog.csdn.net/lsgqjh/article/details/79168156

比如,测量自己的体重,在测量之前就可以推断出自己不会超过120斤,也不会少于90斤。这个推断可以理解为我们的生活经验所得。

比如测量某地的重力加速度,测量之前根据自然规律,就知道该地的重力加速度必然在9.8附近。这就是根据自然规律得到的先验信息。再根据自然规律,知道任何一个地方的重力加速度与标准不会相差0.1,这就是先验分布。可以写成G~(9.8,0.01),这就是先验分布。

老王会走路,骑自行车,或者开车去某个地方,假设老王是个健身达人,且大家都知道,那么老王开车去的可能性就较小,跑步的可能性比较大,这就是根据我们的常识得到的先验分布。

二、后验分布
知道事情的结果,然后根据_结果推测原因_,即结果是由某个原因导致的概率就是后验概率。p(原因|结果)

例子:

隔壁老王要去10公里外的一个地方办事,他 可以选择走路,骑自行车或者开车,并花费了一定时间到达目的地。在这个事件中,可以把交通方式(走路、骑车或开车)认为是原因,花费的时间认为是结果。若老王花了一个小时的时间完成了10公里的距离,那么很大可能是骑车过去的,当然也有较小可能老王是个健身达人跑步过去的,或者开车过去但是堵车很严重。若老王一共用了两个小时的时间完成了10公里的距离,那么很有可能他是走路过去的。若老王只用了二十分钟,那么很有可能是开车。这种先知道结果,然后由结果估计原因的概率分布,p(交通方式|时间),就是后验概率。

三、似然估计
与后验分布相反,后验分布根据结果推测原因,而似然估计则是根据原因推测该原因导致结果发生的概率。

例子:

老王决定步行过去,那么很大可能10公里的距离大约需要两个小时;较小可能是老王平时坚持锻炼,跑步过去用了一个小时;更小可能是老王是个猛人,40分钟就到了。老王决定骑车过去,很可能一个小时就能到;较小可能是老王那天精神不错加上单双号限行交通很通畅,40分钟就到了;还有一种较小可能是老王运气很差,连着坏了好几辆共享单车,花了一个半小时才到。老王决定开车过去,很大可能是20分钟就到了,较小可能是那天堵车很严重,磨磨唧唧花了一个小时才到。这种先确定原因,根据原因来估计结果的概率分布,p(时间|交通方式),就是似然估计。

补充:

如果老王去了那个地方好多次,我们只搜集到了老王这么多次花费的时间的信息,那么关于花费时间的概率分布 p(时间) 就叫evidence.

四、贝叶斯公式
解释了上面三个概念之间的关系,给出了后验概率的求法

为一般性的公式

这里的x是样本,seta是决定样本如何分布的参数

ps 可以把这里的seta理解为原因,x理解为结果,因为seta决定了x是什么样的

解释如下:

evidence

后验概率 posterior

先验分布 prior

似然分布 likelihood

本文转载自:https://blog.csdn.net/qq_40597317/article/details/82388164

ericSM
粉丝 18
博文 142
码字总数 154379
作品 0
南京
项目经理
私信 提问
共轭先验、共轭分布——为LDA做准备

概率论中两大学派: 频率学派和贝叶斯学派。先验概率,后验概率,共轭分布和共轭先验是贝叶斯学派中的几个概念。原因是贝叶斯学派认为分布存在先验分布和后验分布的不同,而频率学派则认为一...

Arya鑫
2017/11/01
0
0
贝叶斯估计、最大似然估计、最大后验概率估计

文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 1. 引言 贝叶斯估计、最大似然估计(MLE)、最大后验概率估计(MAP)这几个概念在机器学习和深度学习中经常碰到,读文章的时候还感觉挺明白,...

SnailTyan
2018/05/31
0
0
NLP面试-最大似然估计与贝叶斯估计的区别

1 相关理论 1.1 全概率公式 全概率公式为概率论中的重要公式,它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。 如果事件B1、B2、B3…Bn 构成一个完备...

致Great
2018/08/20
0
0
从最大似然估计开始,你需要打下的机器学习基石

  选自Medium   作者:Jonny Brooks-Bartlett   机器之心编译      概率论是机器学习与深度学习的基础知识,很多形式化的分析都是以概率的形式进行讨论。而这些讨论或多或少都离不...

机器之心
2018/01/09
0
0
关于最大后验概率估计就是结构风险最小化的详解(统计学习方法)

详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解 (1)最大似然估计 这篇文章中提到,关于最大似然估计,使用频率去估计概率,在抛硬币问题中会得到正面向上的概率...

qq_41058526
2018/03/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

阿里云视频云正式支持AV1编码格式 为视频编码服务降本提效

今天我们要说的 AV1 可不是我们平时说的 .AVI 文件格式,它是由AOM(Alliance for Open Media,开放媒体联盟)制定的一个开源、免版权费的视频编码格式,可以解决H.265昂贵的专利费用和复杂的...

一肥仔
25分钟前
8
0
软件缺陷静态分析 CodeSonar 5.2 新版发布

对于使用C和C++构建安全关键软件的开发团队而言,CodeSonar一直是首选的静态分析解决方案。在近期发行的版本中,CodeSonar通过使用开放标准来扩展其语言覆盖范围,并增加了对Java、C#、Obj...

旋极科技
25分钟前
5
0
数据迁移

1. insert into values 或 insert into select批量插入时,都满足事务的原子性与一致性,但要注意insert into select的加锁问题。 2. replace into与insert into on duplicate key update都可...

qiang123
32分钟前
6
0
Linux装Windows系统后还不会激活?3招教你搞定

     相信大家已经发现荣耀MagicBook科技尝鲜版有多“香”了,不但可以轻松的将Linux系统装回Windows系统,还足足省下了300大洋!但是装回系统就万事大吉了吗?NoNoNo,我们还需要去激活...

梅丽莎好
35分钟前
6
0
Tomcat8源码分析-请求处理过程

上一篇:Tomcat8源码分析-启动流程-start方法 此篇主要讲Tomcat8从接收请求到处理请求的时序图画出来,并用文字描述一下主要流程 时序图 说明 文字描述流程之前先提示如下两点: 1.Acceptor...

特拉仔
37分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部