文档章节

反向传播BP算法

abcijkxyz
 abcijkxyz
发布于 2016/11/22 16:46
字数 360
阅读 58
收藏 1

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。


第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。


一. 网络结构

 经典的BP网络,其具体结构如下:

   

 请特别注意上面这个图的一些符号说明如下:




二.  学习算法


     1. 信号的前向传递过程
          
              请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。

   2.   误差反向传导过程
         
         
 












三.  小结

     
           信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:
      




 

本文转载自:http://www.cnblogs.com/celerychen/archive/2013/05/23/3588204.html

共有 人打赏支持
abcijkxyz
粉丝 63
博文 6196
码字总数 1876
作品 0
深圳
项目经理
私信 提问
简单易学的机器学习算法——神经网络之BP神经网络

一、BP神经网络的概念 BP神经网络是一种多层的前馈神经网络,其主要的特点是:信号是前向传播的,而误差是反向传播的。具体来说,对于如下的只含一个隐层的神经网络模型: (三层BP神经网络模...

khflash
03/23
0
0
一文彻底搞懂BP算法:原理推导+数据演示+项目实战(上篇)

欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习、深度学习的知识! 反向传播算法(Backpropagation Algorithm,简称BP算法)是深度学习的重要思想基...

磐石001
04/02
0
0
Javascript实现BP神经网络

BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络。 BP神经网络误差反向传播神经网络: 置各权和阈值的初始化 给定P个训练样本Xp(p=1,2,...,p) 和对...

janwool
05/17
0
0
BP(Back propagation)神经网络

1、BP(Back propagation)神经网络描述 (1)BP(反向传播(Back Propagation))神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络之一。 (2)该网络...

飞天小橘子
05/02
0
0
详解反向传播算法(下)

神经网络结构图: 示例网络图 其中C是损失函数,例如C可以取: 梯度下降(SGD)进行学习时,核心问题是求解损失函数C关于所有网络参数的偏导数。 根据详解反向传播算法(上) 我们已经知道用反...

晓雷
2017/03/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(9.5)用MR实现sql中的jion逻辑

上一篇博客讲解了使用jar -jar的方式来运行提交MR程序,以及通过修改YarnRunner的源码来实现MR的windows开发环境提交到集群的方式。本篇博主将分享sql中常见的join操作。 一、需求 订单数据表...

em_aaron
12分钟前
0
0
十万个为什么之什么是resultful规范

起源 越来越多的人开始意识到,网站即软件,而且是一种新型的软件。这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency)、高并发等特点...

尾生
17分钟前
0
0
《告诉你真实的美国教育》的读后感3900字

《告诉你真实的美国教育》的读后感3900字: 文章的开篇分析了我们耳熟能详的关于美国教育的小故事,就是那个因为幼儿园的老师教了“0”这个字母,然后妈妈告老师剥夺了孩子的想象力,再然后幼...

原创小博客
25分钟前
0
0
Terraform配置文件(Terraform configuration)

Terraform配置文件 翻译自Terraform Configuration Terraform用文本文件来描述设备、设置变量。这些文件被称为Terraform配置文件,以.tf结尾。这一部分将讲述Terraform配置文件的加载与格式。...

buddie
41分钟前
2
0
exportfs命令, vsftp搭建ftp服务

exportfs命令 当修改/etc/exports文件后,更改的内容是不会立即生效的。如果重启nfs服务,会导致客户端重启期间的请求是挂起等待的,可以把客户端的挂载umount进行卸载后,再重启nfs服务,但...

野雪球
51分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部