文档章节

多层神经网络和深度学习网络(DBN、SDA)的区别

airxiechao
 airxiechao
发布于 2017/08/26 14:59
字数 298
阅读 43
收藏 0

区别在于训练的过程。多层神经网络每次训练都从第一层计算到最后一层,然后反向传播误差来更新连接权重,这样的问题是如果层数太多,最后一层的误差在反向传播过程中会逐渐消失,靠前的层得不到更新。而深度学习网络(DBN、SDA)的训练方式是“逐层”训练,每一层都以前面一层作为输入和输出,自己作为中间层,组成一个编码解码器式的3层神经网络进行单独训练。从第一层开始,训练得到第二层,依此类推训练到倒数二层,前面这些层都是无监督的,最后一层的训练则是常规有监督式的训练。总之,DBN和SDA的训练不是从第一层到最后一层的拉通式训练,而是依次训练每一层去表示前一层。后来的深度学习网络用dropout、pooling、cnn等方法也是为了达到类似的目的。

DBN:deep belief network

SDA: stacked denoising autoencoders

© 著作权归作者所有

共有 人打赏支持
airxiechao
粉丝 1
博文 39
码字总数 8042
作品 1
成都
程序员
深度学习中预训练的作用

深度学习中预训练的作用 1.深度学习的挑战 深度学习通常使用后向传播算法(即BP算法)来训练深度神经网络,但是训练深度神经网络的挑战是处理层层之间参数的依赖关系,一种方法来解决这种困难...

断桥残雪断桥残雪
2015/12/07
374
0
科普丨浅谈人工神经网络跌宕起伏七十年

人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了深度学习是很有效的,但...

r1unw1w
03/24
0
0
深度学习与神经网络:浅谈人工神经网络跌宕起伏七十年

人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了深度学习是很有效的,但...

云时之间
03/22
0
0
入门 | 献给新手的深度学习综述

  选自arXiv   作者:Matiur Rahman Minar、Jibon Naher   机器之心编译   参与:翁俊坚、刘晓坤      这篇综述论文列举出了近年来深度学习的重要研究成果,从方法、架构,以及正...

机器之心
08/10
0
0
Tensorflow快餐教程(8) - 深度学习简史

深度学习简史 从机器学习流派说起 如果要给机器学习划分流派的话,初步划分可以分为『归纳学习』和『统计学习』两大类。所谓『归纳学习』,就跟我们平时学习所用的归纳法差不多,也叫『从样例...

lusing
05/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

49.Nginx防盗链 访问控制 解析php相关 代理服务器

12.13 Nginx防盗链 12.14 Nginx访问控制 12.15 Nginx解析php相关配置(502的问题) 12.16 Nginx代理 扩展 502问题汇总 http://ask.apelearn.com/question/9109 location优先级 http://blog....

王鑫linux
今天
1
0
Nginx防盗链、访问控制、解析php相关配置、Nginx代理

一、Nginx防盗链 1. 编辑虚拟主机配置文件 vim /usr/local/nginx/conf/vhost/test.com.conf 2. 在配置文件中添加如下的内容 { expires 7d; valid_referers none blocked server_names *.tes......

芬野de博客
今天
0
0
spring EL 和资源调用

资源调用 import org.springframework.beans.factory.annotation.Value;import org.springframework.context.annotation.PropertySource;import org.springframework.core.io.Resource;......

Canaan_
今天
1
0
memcached命令行、memcached数据导出和导入

一、memcached命令行 yum装telnet yum install telent 进入memcached telnet 127.0.0.1 11211 命令最后的2表示,两位字节,30表示过期时间(秒) 查看key1 get key1 删除:ctrl+删除键 二、m...

Zhouliang6
今天
1
0
Linux定时备份MySQL数据库

做项目有时候要备份数据库,手动备份太麻烦,所以找了一下定时备份数据库的方法 Linux里有一个 crontab 命令被用来提交和管理用户的需要周期性执行的任务,就像Windows里的定时任务一样,用这...

月夜中徘徊
今天
1
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部