回声状态网络ESN(Echo State Networks)

2019/11/28 15:51
阅读数 818

1.1 网络结构

ESN通过随机地部署大规模系数链接的神经元构成网络隐层,一般称为"储备池"。ESN网络具有的特点如下:

 (1)包含数目相对较多的神经元;

 (2)神经元之间的连接关系随机产生;

 (3)神经元之间的链接具有稀疏性;

 网络结构:

 

可以看出网络主要三层结构构成:

1.输入层(Input Layer)

输入向量u(n)其维度为:n×1

输入层→存储池的连接权重为:

注意该权重是不需要训练的,随机初始化完成即可

2.储存池(Reservoir)

存储池接受两个方向的输入一个来自于输入层u(n),另外一个来自存储池前一个状态的输出x(n−1),

其中状态反馈权重​相同均不需要训练,由随机初始状态决定,所以为大型稀疏矩阵,其中的非0元素表明了存储池中被激活的神经元:

 3.输出层(Readout)

存储池→输出层为线性连接关系,即满足:

 

实际训练过程中需要训练线性连接的权重。

核心思想:使用大规模随机稀疏网络(存储池)作为信息处理媒介,将输入信号从低维输入空间映射到高维度状态空间,在高维状态空间采用线性回归方法对网络的部分连接权重进行训练,而其他随机连接的权重在网络训练过程中保持不变。

1.2 ESN关键参数

1.3 ESN算法过程

1.权重参数初始化

 输出层权重初始化

 存储池内部反馈权重初始化

 

2.训练阶段

 

上述介绍的是训练算法分为离线训练和在线训练两种情况,一般情况下,由于矩阵X可能为奇异矩阵,

所以X的逆矩阵采用伪逆算法或者正则化技术:岭回归(Ridge Regression)算法。

1.3 ESN超参数

整个网络只需要训练WoutWout,所以它的训练过程非常快,这是ESN的优点之一。另外,对于一维时序数列的处理和预测,ESN有很好的优势。但对于高维的时序数列,比如说视频帧处理,ESN就不太能胜任了。

为了让这个网络能够正常的运转,还有一些地方是需要注意的:

之所以叫回声状态网络,是因为前面时刻输入的信息会通过WW回回荡在储备池中,就像回声一样。为了避免储备池状态爆炸,WW的特征值必须要小于等于1。这也就引入了ESN中谱半径的概念:WW的最大特征值。

由于网络中只有WoutWout是可变的,为了尽可能多的表示不同的数据规律,WW必须要设置的非常大,才能从中找出各种不同的特征进行输出。另一方面,WW的稀疏性也很重要,Hinton在多伦多大学的公开课里解释是:建立一个松散的连接,这样某一信息可以在网络中的一小部分回荡,而不会迅速的传播到其他部分。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部