online lda 的dirichlet_expectation函数

原创
2013/12/25 12:56
阅读数 1.6K

起因

看onlineldavb.py的时候看到求E[log(theta)] 期望的函数如下:

def dirichlet_expectation(alpha):
    """
For a vector theta ~ Dir(alpha), computes E[log(theta)] given alpha.
"""
    if (len(alpha.shape) == 1):
        return(psi(alpha) - psi(n.sum(alpha)))
    return(psi(alpha) - psi(n.sum(alpha, 1))[:, n.newaxis])
今天看了半天都不理解为何dirichlet的期望可以由上面的函数来实现,后来看到几个公式之后才明白,这里记录一下过程。

psi函数

psi应该是gamma函数的一阶导数,有以下代码可以理解:

>>> from scipy import special
>>> x = [2, 3, 25.5]
>>> special.polygamma(1, x)
array([ 0.64493407,  0.39493407,  0.03999467])
>>> special.polygamma(0, x) == special.psi(x)
array([ True,  True,  True], dtype=bool)
polygamma是gamma函数的N阶导数。

公式推导

\Psi(x) = \frac{d}{dx} \ln(\Gamma(x))

其它细节可参考链接:http://www.hiit.fi/u/ahonkela/dippa/node95.html

(话说osc如何插入公式?)


展开阅读全文
打赏
0
2 收藏
分享
加载中
更多评论
打赏
0 评论
2 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部