文档章节

多层神经网络和深度学习网络(DBN、SDA)的区别

airxiechao
 airxiechao
发布于 2017/08/26 14:59
字数 298
阅读 49
收藏 0

区别在于训练的过程。多层神经网络每次训练都从第一层计算到最后一层,然后反向传播误差来更新连接权重,这样的问题是如果层数太多,最后一层的误差在反向传播过程中会逐渐消失,靠前的层得不到更新。而深度学习网络(DBN、SDA)的训练方式是“逐层”训练,每一层都以前面一层作为输入和输出,自己作为中间层,组成一个编码解码器式的3层神经网络进行单独训练。从第一层开始,训练得到第二层,依此类推训练到倒数二层,前面这些层都是无监督的,最后一层的训练则是常规有监督式的训练。总之,DBN和SDA的训练不是从第一层到最后一层的拉通式训练,而是依次训练每一层去表示前一层。后来的深度学习网络用dropout、pooling、cnn等方法也是为了达到类似的目的。

DBN:deep belief network

SDA: stacked denoising autoencoders

© 著作权归作者所有

共有 人打赏支持
airxiechao
粉丝 1
博文 41
码字总数 9266
作品 1
成都
程序员
深度学习中预训练的作用

深度学习中预训练的作用 1.深度学习的挑战 深度学习通常使用后向传播算法(即BP算法)来训练深度神经网络,但是训练深度神经网络的挑战是处理层层之间参数的依赖关系,一种方法来解决这种困难...

断桥残雪断桥残雪
2015/12/07
374
0
科普丨浅谈人工神经网络跌宕起伏七十年

人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了深度学习是很有效的,但...

r1unw1w
03/24
0
0
深度学习与神经网络:浅谈人工神经网络跌宕起伏七十年

人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了深度学习是很有效的,但...

云时之间
03/22
0
0
入门 | 献给新手的深度学习综述

  选自arXiv   作者:Matiur Rahman Minar、Jibon Naher   机器之心编译   参与:翁俊坚、刘晓坤      这篇综述论文列举出了近年来深度学习的重要研究成果,从方法、架构,以及正...

机器之心
08/10
0
0
Tensorflow快餐教程(8) - 深度学习简史

深度学习简史 从机器学习流派说起 如果要给机器学习划分流派的话,初步划分可以分为『归纳学习』和『统计学习』两大类。所谓『归纳学习』,就跟我们平时学习所用的归纳法差不多,也叫『从样例...

lusing
05/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如何在Java中生成比特币钱包地址

让我们通过学习比特币(Bitcoin)如何实施该技术的各个方面来工作,好吗?该技术包括以下几个方面: 比特币地址bitcoin address是用来发送和接收比特币的。 交易transaction是比特币从一个地...

geek12345
12分钟前
0
0
面试必备Linux基础知识

学习Linux之前,我们先来简单的认识一下操作系统。 一 从认识操作系统开始 1.1 操作系统简介 我通过以下四点介绍什么操作系统: 操作系统(Operation System,简称OS)是管理计算机硬件与软件...

小小明童鞋
12分钟前
2
0
SpringBoot基础教程3-1-3 Quartz定时任务单点持久化

1 概述 实际项目中,复杂的定时任务都会结合持久化,动态改变定时任务状态,本文将介绍基于Quartz的定时任务单点持久化方式,通过RESTful风格,演示定时任务的CRUD,最后使用Swagger测试。 ...

Mkeeper
29分钟前
3
0
Android入门—文件目录解析

AndroidManifest.xml 是每个android程序中必须的文件,它位于整个项目的根目录。我们每天都在使用这个文件,往里面配置程序运行所必要的组件,权限,以及一些相关信息。但是对于这个文件,我...

haoyuehong
31分钟前
5
0
IDEA中Maven打包时如何跳过测试

方法1:直接使用IDEA提供的方式 Maven命令栏的工具栏有下图中的图标,上面就写着 Skip Tests 按下图标后,如下图,test就不可用了 直接使用package命令即可。 方法2:自己编辑maven命令 进入...

karma123
45分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部