先验分布 后验分布 似然估计

2019/06/03 15:54
阅读数 34

一、先验分布
对未知参数x的先验信息用一个分布形式p(x)来表示,此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原因的经验推断

对于一个未知参数,在抽取样本之前就已经知道了一些关于该参数的信息。我们知道的途径可能来源于生活经验,自然规律等等。

例子:来源  https://blog.csdn.net/lsgqjh/article/details/79168156

比如,测量自己的体重,在测量之前就可以推断出自己不会超过120斤,也不会少于90斤。这个推断可以理解为我们的生活经验所得。

比如测量某地的重力加速度,测量之前根据自然规律,就知道该地的重力加速度必然在9.8附近。这就是根据自然规律得到的先验信息。再根据自然规律,知道任何一个地方的重力加速度与标准不会相差0.1,这就是先验分布。可以写成G~(9.8,0.01),这就是先验分布。

老王会走路,骑自行车,或者开车去某个地方,假设老王是个健身达人,且大家都知道,那么老王开车去的可能性就较小,跑步的可能性比较大,这就是根据我们的常识得到的先验分布。

二、后验分布
知道事情的结果,然后根据_结果推测原因_,即结果是由某个原因导致的概率就是后验概率。p(原因|结果)

例子:

隔壁老王要去10公里外的一个地方办事,他 可以选择走路,骑自行车或者开车,并花费了一定时间到达目的地。在这个事件中,可以把交通方式(走路、骑车或开车)认为是原因,花费的时间认为是结果。若老王花了一个小时的时间完成了10公里的距离,那么很大可能是骑车过去的,当然也有较小可能老王是个健身达人跑步过去的,或者开车过去但是堵车很严重。若老王一共用了两个小时的时间完成了10公里的距离,那么很有可能他是走路过去的。若老王只用了二十分钟,那么很有可能是开车。这种先知道结果,然后由结果估计原因的概率分布,p(交通方式|时间),就是后验概率。

三、似然估计
与后验分布相反,后验分布根据结果推测原因,而似然估计则是根据原因推测该原因导致结果发生的概率。

例子:

老王决定步行过去,那么很大可能10公里的距离大约需要两个小时;较小可能是老王平时坚持锻炼,跑步过去用了一个小时;更小可能是老王是个猛人,40分钟就到了。老王决定骑车过去,很可能一个小时就能到;较小可能是老王那天精神不错加上单双号限行交通很通畅,40分钟就到了;还有一种较小可能是老王运气很差,连着坏了好几辆共享单车,花了一个半小时才到。老王决定开车过去,很大可能是20分钟就到了,较小可能是那天堵车很严重,磨磨唧唧花了一个小时才到。这种先确定原因,根据原因来估计结果的概率分布,p(时间|交通方式),就是似然估计。

补充:

如果老王去了那个地方好多次,我们只搜集到了老王这么多次花费的时间的信息,那么关于花费时间的概率分布 p(时间) 就叫evidence.

四、贝叶斯公式
解释了上面三个概念之间的关系,给出了后验概率的求法

为一般性的公式

这里的x是样本,seta是决定样本如何分布的参数

ps 可以把这里的seta理解为原因,x理解为结果,因为seta决定了x是什么样的

解释如下:

evidence

后验概率 posterior

先验分布 prior

似然分布 likelihood

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部