文档章节

多层神经网络和深度学习网络(DBN、SDA)的区别

airxiechao
 airxiechao
发布于 2017/08/26 14:59
字数 298
阅读 60
收藏 0

区别在于训练的过程。多层神经网络每次训练都从第一层计算到最后一层,然后反向传播误差来更新连接权重,这样的问题是如果层数太多,最后一层的误差在反向传播过程中会逐渐消失,靠前的层得不到更新。而深度学习网络(DBN、SDA)的训练方式是“逐层”训练,每一层都以前面一层作为输入和输出,自己作为中间层,组成一个编码解码器式的3层神经网络进行单独训练。从第一层开始,训练得到第二层,依此类推训练到倒数二层,前面这些层都是无监督的,最后一层的训练则是常规有监督式的训练。总之,DBN和SDA的训练不是从第一层到最后一层的拉通式训练,而是依次训练每一层去表示前一层。后来的深度学习网络用dropout、pooling、cnn等方法也是为了达到类似的目的。

DBN:deep belief network

SDA: stacked denoising autoencoders

© 著作权归作者所有

共有 人打赏支持
airxiechao
粉丝 2
博文 41
码字总数 9266
作品 1
成都
程序员
私信 提问
深度学习中预训练的作用

深度学习中预训练的作用 1.深度学习的挑战 深度学习通常使用后向传播算法(即BP算法)来训练深度神经网络,但是训练深度神经网络的挑战是处理层层之间参数的依赖关系,一种方法来解决这种困难...

断桥残雪断桥残雪
2015/12/07
374
0
Deep Belief Nets

Overview 深度信念网络(DBN)是神经网络的一种: 无监督学习:自编码机 有监督学习:分类器 DBNs是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之...

Leviosa
2017/01/17
0
0
深度学习算法实践15---堆叠去噪自动编码机(SdA)原理及实现

在上一篇博文中,我们讨论了去噪自动编码机(dA),并讨论了Theano框架实现的细节。在本节中,我们将讨论去噪自动编码机(dA)的主要应用,即组成堆叠自动编码机(SdA),我们将以MNIST手写字...

最老程序员闫涛
2016/09/07
0
0
深度学习架构

深度学习架构 人工智能的兴起 M. Tim Jones 2017 年 11 月 20 日发布 连接主义体系结构已存在 70 多年,但新的架构和图形处理单元 (GPU) 将它们推到了人工智能的前沿。深度学习架构是最近 20...

M. Tim Jones
2017/11/20
0
0
深度学习架构

深度学习架构 人工智能的兴起 M. Tim Jones 2017 年 11 月 20 日发布 连接主义体系结构已存在 70 多年,但新的架构和图形处理单元 (GPU) 将它们推到了人工智能的前沿。深度学习架构是最近 20...

M. Tim Jones
2017/11/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java框架学习日志-2

上篇文章(java框架学习日志-1)虽然跟着写了例子,也理解为什么这么写,但是有个疑问,为什么叫控制反转?控制的是什么?反转又是什么? 控制其实就是控制对象的创建。 反转与正转对应,正转...

白话
17分钟前
0
0
Integer使用双等号比较会发生什么

话不多说,根据以下程序运行,打印的结果为什么不同? Integer a = 100;Integer b = 100;System.out.println(a == b);//print : trueInteger a = 200;Integer b = 200;System.out.pr...

兜兜毛毛
昨天
7
0
CockroachDB

百度云上的CockroachDB 云数据库 帮助文档 > 产品文档 > CockroachDB 云数据库 > 产品描述 开源NewSQL – CockroachDB在百度内部的应用与实践 嘉宾演讲视频及PPT回顾:http://suo.im/5bnORh ...

miaojiangmin
昨天
4
0
I2C EEPROM驱动实例分析

上篇分析了Linux Kernel中的I2C驱动框架,本篇举一个具体的I2C设备驱动(eeprom)来对I2C设备驱动有个实际的认识。 s3c24xx系列集成了一个基于I2C的eeprom设备at24cxx系列。at24cxx系列芯片包...

yepanl
昨天
5
0
设计模式之工厂模式

本篇博文主要翻译这篇文章: https://www.journaldev.com/1392/factory-design-pattern-in-java 由于翻译水平有限,自认为许多地方翻译不恰当,欢迎各位给出宝贵的建议,建议大家去阅读原文。...

firepation
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部