多层神经网络和深度学习网络(DBN、SDA)的区别

原创
2017/08/26 14:59
阅读数 1.1K

区别在于训练的过程。多层神经网络每次训练都从第一层计算到最后一层,然后反向传播误差来更新连接权重,这样的问题是如果层数太多,最后一层的误差在反向传播过程中会逐渐消失,靠前的层得不到更新。而深度学习网络(DBN、SDA)的训练方式是“逐层”训练,每一层都以前面一层作为输入和输出,自己作为中间层,组成一个编码解码器式的3层神经网络进行单独训练。从第一层开始,训练得到第二层,依此类推训练到倒数二层,前面这些层都是无监督的,最后一层的训练则是常规有监督式的训练。总之,DBN和SDA的训练不是从第一层到最后一层的拉通式训练,而是依次训练每一层去表示前一层。后来的深度学习网络用dropout、pooling、cnn等方法也是为了达到类似的目的。

DBN:deep belief network

SDA: stacked denoising autoencoders

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部