文档章节

受限波尔兹曼机

abcijkxyz
 abcijkxyz
发布于 2016/11/22 16:45
字数 1286
阅读 3
收藏 0

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。


第三篇,谈谈自己对最近几年颇为流行的受限波尔兹曼网络RBM的理解。我不打算详细描述其生物学运行机理和相关的算法推导过程,因为网络上已经有太多的教程可以参考。


1.  概述

       前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢?很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。

     

        第一,概率分布函数。由于网络节点的取值状态是随机的,从贝叶斯网的观点来看,要描述整个网络,需要用三种概率分布来描述系统。即联合概率分布,边缘概率分布和条件概率分布。要搞清楚这三种不同的概率分布,是理解随机网络的关键,这里向大家推荐的书籍是张连文所著的《贝叶斯网引论》。很多文献上说受限波尔兹曼是一个无向图,这一点也有失偏颇。从贝叶斯网的观点看,受限波尔兹曼网应该是一个双向的有向图。即从输入层节点可以计算隐层节点取某一种状态值的概率,反之亦然.


        第二,能量函数。随机神经网络是根植于统计力学的。受统计力学中能量泛函的启发,引入了能量函数。能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中,系统的能量越小。反之,系统越无序或者概率分布越趋于均匀分布,则系统的能量越大。能量函数的最小值,对应于系统的最稳定状态。


2. 网络结构和学习算法

    2.1  RBM网络结构如下:

                        


     正如前面我们提到的,描述RBM的方法是能量函数和概率分布函数。实际上,把它们二者结合起来,也就是概率分布是能量函数的泛函,其能量泛函和联合概率分布如下:


                         


                             

其中,上式中的Z是归一化系数,它的定义如下:

                                           

而输入层的边缘概率,是我们感兴趣的,它的计算如下:

                                        

因为,网络学习的目的是最大可能的拟合输入数据。根据极大似然学习法则,我们的目的就是对所以的输入,极大化上面的公式(4),公式4在统计学里也称作似然函数,更多的我们对其取对数,也就是对数似然函数,考虑所有的输入样本,其极大化对数似然函数的定义如下:

                                 (5)

             注意,上面的公式中,多了个theta。theta就是网络的权值,包括公式(1)中的w,a,b,是网络学习需要优化的参数。其实在上面所有的公式中都有theta这个变量,只是为了便于描述问题,我把它们都给抹掉了。


 2.2  对比度散度学习算法


         根据公式5,逐步展开,运用梯度下降策略,可以推导出网络权值的更新策略如下:


                                   

          其中,第一项,是给定样本数据的期望,第二项是模型本身的期望。数据的期望,很容易计算,而模型的期望不能直接得到。一种典型的方法是通过吉布斯采样得到,而Hinton提出了一种快速算法,称作contrastive divergence算法。这种算法只需迭代k次,就可以获得对模型的估计,而通常k等于1. CD算法在开始是用训练数据去初始化可见层,然后用条件分布计算隐层;然后,再根据隐层,同样,用条件分布来计算可见层。这样产生的结果是对输入的一个重构。CD算法将上述公式6表示为:

                    

                                                            (7)




具体算法流程可以看参考西安交大 张春霞等人的论文。


        另外,网络上很多讲波尔兹曼机的文献都提到了模拟退火算法,但是在受限玻尔兹曼机里面却木有提到。个人认为是网络能量函数的定义里面对退火温度默认为1了。如果这个温度不是1,则应该在能量函数里面加上当前迭代的退火温度T,这时候,网络参数的学习率将会是一个逐步衰减的过程。Persistent Contrastivedivergence算法的迭代过程学习率是一个逐步衰减的过程,可以认为是考虑了退火过程的算法。



       

本文转载自:http://www.cnblogs.com/celerychen/archive/2013/05/28/3588202.html

共有 人打赏支持
abcijkxyz
粉丝 63
博文 6196
码字总数 1876
作品 0
深圳
项目经理
私信 提问
深度学习之浅见

通常来说,大家认为深度学习的观点是Geoffrey Hinton在2006年提出的。这一算法提出之后,得到了迅速的发展。关于深度学习,zouxy09的专栏中有详细的介绍,Free Mind 的博文也很值得一读。本博...

暗海风
2014/09/22
0
0
深度学习与TensorFlow:关于DBN的一些认识

最近在学习深度置信网络(DBN)的时候,看过几篇博客,但是在DBN的结构上,一大堆博客讲DBN是将受限玻尔兹曼机(RBM)像砖块一样叠加起来的一个网络,这本身是有一些错误的,修正一波。 1:受...

云时之间
07/19
0
0
深度学习算法实践16---限制性波尔兹曼机(RBM)原理1

我们目前的讨论的神经网络,虽然学习算法不同,但基本上架构还是相同的,就是都是分层网络,即神经元按层进行组织,层内神经元无连接,层间神经元间有连接。我们在这篇博文中,将讨论一种非常...

yt7589
2016/09/21
0
0
关于机器学习中的受限玻尔兹曼机(RBM)的非二值情况的推导

前言 近一段时间以来笔者一直在查找关于受限玻尔兹曼机(Restricted Boltzmann Machine,下简称RBM)的相关资料,其实CSDN上的相关帖子已经其二值分布的情况介绍的比较到位,而且在《机器学习...

chenhu73
06/28
0
0
一文帮你理解什么是深层置信网络(DBN)

翻译 | 林椿眄 编辑 | SuiSui 前言 随着机器学习的进步和深度学习的出现,一些工具和图形表示被逐渐用来关联大量的数据。深度置信网络(Deep Belief Networks)本质上是一种具有生成能力的图...

AI科技大本营
01/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

《阿里铁军》的读书笔记和读后感范文2600字

《阿里铁军》的读书笔记和读后感范文2600字: 在中国互联网,有一个流传很广的说法是,百度强在技术,腾讯强在产品,阿里强在运营。虽然发展到今天,已经不能再用这样简单的视角来看待这三个...

原创小博客
9分钟前
1
0
怎样实际项目中运用责任链模式

1 模式概要 1.1 简介 责任链模式为请求创建一个接收者对象链,每个接收者都包含对另一个接收者的引用,如果一个对象不能处理该请求,那么它会把请求传给下一个接收者,依此类推 责任链模式避...

小刀爱编程
24分钟前
1
0
【宇润日常疯测-004】JS 遍历数组如何快!快!快!

首先,我就是一后端全栈,对前端也只是会用罢了。闲的无聊来测测,不深究,只看表面,不喜勿喷! 遍历数组在写 JS 代码时候一定是经常用的,那么怎么遍历能达到最高效率呢,很多人一定没有测...

宇润
28分钟前
10
1
Linux系统如何定制History输出格式

Linux系统使用History命令来查看系统的运行记录,从而找出一些问题。但是History输出的数据中常常没有时间等信息。本文就来教大家Linux系统如何定制History输出格式。   具体方法如下 以r...

linuxprobe16
30分钟前
1
0
(一) pyhon 基础语法(数值 字符串 元组 列表 字典)

1、python的数据类型: 数值 字符串 列表 元组 字典; 数值类型包括; 整型(int) 长整型(long) 浮点型(float) 复数型 字符串; 可以通过type() 来查看是什么类型的; 注释:len()只支持 字符...

芬野de博客
31分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部