文档章节

概率笔记12——多维正态分布的最大似然估计

o
 osc_g8254g7s
发布于 2019/08/19 19:34
字数 1064
阅读 9
收藏 0
pq

精选30+云产品,助力企业轻松上云!>>>

  我们在前面的章节中见识过二维正态分布,(X,Y)服从参数为μ1, μ2, σ1, σ2, ρ的二维正态分布,记作(X, Y)~N(μ1, μ2, σ1, σ2, ρ),它的密度函数:

  其中μ1是第1维度的均值,σ12是第1维度的方差,ρ是将两个维度的相关性规范到-1到+1之间的统计量,称为样本的相关系数,定义为:

  对于二维正态随机变量(X,Y),X和Y相互独立的充要条件是二者的协方差为0,也就是参数ρ=0。由于一维随机变量没有是否独立一说,ρ一定是0,因此没有在一维随机变量的正态分布中体现ρ。

  下图是一个标准二维正态分布和其在x-z,y-z平面的投影:

多维正态分布

  现在推广到多维,为了便于表达,我们用向量的形式表示随机变量和参数,对于n维随机变量:

  这里只考虑所有维度变量互相独立的情况,即ρ=0的情况,此时密度函数可表示为:

  上面的结果告诉我们,在各维度相互独立的情况下,多维正态分布的概率密度其实就是各个维度的正态分布密度函数的乘积。

  在①中:

  σi2表示xi的方差,如此看来,中间那个矩阵实际上是协方差矩阵的逆矩阵:

  根据行列式的性质,上三角矩阵的行列式等于主对角线所有元素的乘积,斜对角矩阵当然也是一个上三角矩阵,因此协方差矩阵的行列式是:

  将②、③代入①中,得到最终结果:

最大似然估计量

  n维相互独立的随机变量x服从正态分布:

  在求最大似然估计量时和一维随机变量有所区别,根据上一节的最终结果:

  假设有m个可观察样本,那么最大似然函数是:

  其对数似然函数是:

  其中m和n是已知的,C 是一个常数。

  求极值需要对μ和∑求偏导:

  μ和∑是矩阵,涉及到矩阵的求导法则。先看对μ的求导,lnL由3个因子组成,只有一个因子含有μ,因此:

  其中:

  上式中:

  因此:

  将该结论代入∂lnL/∂μ中:

  μ和∑是矩阵,根据矩阵的求导法则:

  因为∑-1是一个对称矩阵,因此:

  根据矩阵的求导法则:

  将a1,a2代入∂lnL/∂μ 中:

  

  

  再看对∑求偏导:

  ∑和∑-1都是实对称矩阵,根据矩阵的求导法则,当A是实对称矩阵时:

  再看b2。设ωpq是∑第p行第q列的元素,Epq是一个第p行第q列元素为1,其它元素全为0的矩阵,E与∑-1同阶。根据矩阵的求导公式:

  已经知道了∑-1是一个对称矩阵,矩阵乘法满足结合律,在不改变矩阵顺序的条件下可以任意加括号:

  其中(∑-1(x(i)-μ))T是一个1*n的矩阵,(∑-1(x(i)-μ))Tp表示矩阵中的第p个元素;∑-1(x(i)-μ)是一个n*1的矩阵,(∑-1(x(i)-μ))q表示矩阵中的第q个元素。将该结论推广到矩阵对矩阵的的求导,根据矩阵对矩阵的求导公式:

  其中:

  在A1中,(∑-1(x(i)-μ))T是一个1*n的矩阵,(∑-1(x(i)-μ))Ti表示矩阵中的第i个元素,是一个标量;∑-1(x(i)-μ)是一个n*1的矩阵,(∑-1(x(i)-μ))i表示矩阵中的第i个元素,也是一个标量,因此:

  终于可以求得b2了:

  现在可以看看最终的似然函数:

  I是单位矩阵,∑-1I=-1

  等号两侧同时左乘∑:

  两侧同时右乘∑:

  最终解得:

  最终结论,多维正态分布的最大似然估计量是:

  


  作者:我是8位的

  出处:http://www.cnblogs.com/bigmonkey

  本文以学习、研究和分享为主,如需转载,请联系本人,标明作者和出处,非商业用途! 

  扫描二维码关注公作者众号“我是8位的”

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
异常检测(3)——基于概率统计的异常检测(2)

  书接上文,继续讨论基于多元正态分布的异常检测算法。      现在有一个包含了m个数据的训练集,其中的每个样本都是一个n维数据:   可以通过下面的函数判断一个样本是否是异常的:...

osc_2xb14pj9
2019/09/03
2
0
异常检测(3)——基于概率统计的异常检测(2)

  书接上文,继续讨论基于多元正态分布的异常检测算法。      现在有一个包含了m个数据的训练集,其中的每个样本都是一个n维数据:   可以通过下面的函数判断一个样本是否是异常的:...

我是8位的
03/31
0
0
概率笔记12——多维正态分布的最大似然估计

  我们在前面的章节中见识过二维正态分布,(X,Y)服从参数为μ1, μ2, σ1, σ2, ρ的二维正态分布,记作(X, Y)~N(μ1, μ2, σ1, σ2, ρ),它的密度函数:   其中μ1是第1维度的均值,σ...

我是8位的
03/31
0
0
贝叶斯分类器

贝叶斯分类器 Category: 机器学习听课笔记Last Edited: Oct 10, 2018 9:43 PMTags: 听课笔记,机器学习注:本文非完全原创,很多公式和例子借鉴于各位前辈。 先导知识 贝叶斯决策论:贝叶斯决...

osc_my7ioimn
2018/10/11
5
0
机器学习中的参数估计方法

原文:https://blog.csdn.net/yt71656/article/details/42585873 前几天上的机器学习课上,老师讲到了参数估计的三种方法:ML,MAP和Bayesian estimation。课后,又查了一些相关资料,以及老...

osc_r33mp6vv
2019/12/15
2
0

没有更多内容

加载失败,请刷新页面

加载更多

我们一定会在人生的更高处相见的

2020.6.7 我知道没人会看到 2021.6.7 我再来写下 每天进步一点点 一年后我就是不一样的我 你也是。 高考加油!

osc_9oidllr2
16分钟前
7
0
esp8266物联网开发一:MicroPython初战江湖

用esp8266做的物联网开发,涉及到固件烧写,固件擦除,代码编写等方面,做一一记录。 1. 固件烧写 首先,下载固件烧写工具:https://www.espressif.com/sites/default/files/tools/flash_dow...

osc_s2b5kacl
17分钟前
20
0
获小黄衫有感

这个作业属于哪个课程 https://edu.cnblogs.com/campus/fzu/2020SpringW/ 一、与软工的开始 在选课的时候咨询学长意见,听上届学长说这门课会有寒假作业,心里很忐忑,又抱有侥幸心理——可能...

osc_r5t7sskd
19分钟前
9
0
ppt 视频不显示控制条

1 正常解决方法 2 如果还不能显示可能是ppt是兼容模式,另存为非兼容模式就好了 后缀是.ppt 现存就好了

osc_hzf6peqc
20分钟前
15
0
五笔经常打不出来的字:温故而知新

遍 ynmp 凸凹 hgmm 凸 hgm 凹mmgd

osc_iy56i6w3
22分钟前
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部