文档章节

反向传播BP算法

abcijkxyz
 abcijkxyz
发布于 2016/11/22 16:46
字数 360
阅读 57
收藏 1

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。


第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。


一. 网络结构

 经典的BP网络,其具体结构如下:

   

 请特别注意上面这个图的一些符号说明如下:




二.  学习算法


     1. 信号的前向传递过程
          
              请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。

   2.   误差反向传导过程
         
         
 












三.  小结

     
           信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:
      




 

本文转载自:http://www.cnblogs.com/celerychen/archive/2013/05/23/3588204.html

共有 人打赏支持
abcijkxyz
粉丝 63
博文 6196
码字总数 1876
作品 0
深圳
项目经理
简单易学的机器学习算法——神经网络之BP神经网络

一、BP神经网络的概念 BP神经网络是一种多层的前馈神经网络,其主要的特点是:信号是前向传播的,而误差是反向传播的。具体来说,对于如下的只含一个隐层的神经网络模型: (三层BP神经网络模...

khflash
03/23
0
0
详解反向传播算法(下)

神经网络结构图: 示例网络图 其中C是损失函数,例如C可以取: 梯度下降(SGD)进行学习时,核心问题是求解损失函数C关于所有网络参数的偏导数。 根据详解反向传播算法(上) 我们已经知道用反...

晓雷
2017/03/04
0
0
Javascript实现BP神经网络

BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络。 BP神经网络误差反向传播神经网络: 置各权和阈值的初始化 给定P个训练样本Xp(p=1,2,...,p) 和对...

janwool
05/17
0
0
BP(Back propagation)神经网络

1、BP(Back propagation)神经网络描述 (1)BP(反向传播(Back Propagation))神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络之一。 (2)该网络...

飞天小橘子
05/02
0
0
数学 · RNN(二)· BPTT 算法

(这里是本章会用到的 GitHub 地址) (感谢评论区 @陌烛 指出本文的诸多错误!!真的非常感谢!!【拜】) RNN 的“前向传导算法” 在说明如何进行训练之前,我们先来回顾一下 RNN 的“前向...

射命丸咲
2017/05/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

活动推荐|互联网3.0与区块链新时代论坛(北京)

1 时间地点 **时间:**9月22日 14:00 - 18:00 地点:(北京海淀)西大街70号 3w咖啡 二层 2 活动详情 Harmony创始人Stephen及团队将介绍他们的区块链分片扩容技术。Stephen曾任Apple地图服务...

HiBlock
42分钟前
1
0
如何优雅的删除Redis的大key

关于Redis大键(Key),我们从[空间复杂性]和访问它的[时间复杂度]两个方面来定义大键。前者主要表示Redis键的占用内存大小;后者表示Redis集合数据类型(set/hash/list/sorted set)键,所含有的...

IT--小哥
52分钟前
1
0
spring cloud学习笔记

工具 eclipse 4.9 gradle 4.10.2 spring cloud Finchley.SR1 spring boot 2.0.4 build.gradle buildscript {ext {springBootVersion = '2.0.4.RELEASE'}repositories {jcenter()......

bobby2006
54分钟前
1
0
Tcl命令操作实验-----(5)

Vivado% proc myproc {arg} {puts $arg}Vivado% myproc mynamemynameVivado% if {2>1} {puts 2>1} else {puts 2<1}2>1...

whoisliang
今天
1
0
比特币钱包RPC的PHP调用方法

当我们希望在Php开发的网站中加入比特币支付功能时,需要解决的第一个 问题,就是如何在Php程序代码中调用比特币钱包的RPC API开发接口来实现 我们期望的功能,例如比特币的支付与接收。 例如...

汇智网教程
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部