文档章节

关于BP,要说的话

Nagisa丶夜雨
 Nagisa丶夜雨
发布于 07/12 19:05
字数 862
阅读 4
收藏 0

1.我们知道机器学习的神经网络是由人的神经网络仿生而来的,机器学习的神经网络可以这样表述:

神经元大致可以分为树突、突触、细胞体和轴突。树突为神经元的输入通道,其功能是将其它神经元的动作电位传递至细胞体。其它神经元的动作电位借由位于树突分支上的多个突触传递至树突上。神经细胞可以视为有两种状态的机器,激活时为“是”,不激活时为“否”。神经细胞的状态取决于从其他神经细胞接收到的信号量,以及突触的性质(抑制或加强)。当信号量超过某个阈值时,细胞体就会被激活,产生电脉冲。电脉冲沿着轴突并通过突触传递到其它神经元。我们的神经元模型就是为了模拟上述过程,典型的神经元模型是这样的:

这个模型中,每个神经元都接受来自其它神经元的输入信号,每个信号都通过一个带有权重的连接传递,神经元把这些信号加起来得到一个总输入值,然后将总输入值与神经元的阈值进行对比(模拟阈值电位),然后通过一个“激活函数”处理得到最终的输出(模拟细胞的激活),这个输出又会作为之后神经元的输入一层一层传递下去。
 

2.激活函数的选取

这个问题已经讨论过一次了,可以看我之前的博文,现在我们从初学者入手,看看我们常用的sigmoid和relu的区别:

先说sigmoid函数,它的公式是这样的:,它的图像是这样的:

再说relu函数,它的公式是这样的:,它的图像是这样的:

我们之所以引入激活函数,目的是在模型中引入非线性。如果没有激活函数,那么无论你的神经网络有多少层,最终都是一个线性映射,单纯的线性映射无法解决线性不可分问题。引入非线性可以让模型解决线性不可分问题。不同的问题需要不同的激活函数,甚至在神经网络中的每一个隐含层,它的激活函数的选取都不同。
一般来说,在神经网络的中间层更加建议使用relu函数,两个原因:
relu函数计算简单,可以加快模型速度;
由于反向传播过程中需要计算偏导数,通过求导可以得到sigmoid函数导数的最大值为0.25,如果使用sigmoid函数的话,每一层的反向传播都会使梯度最少变为原来的四分之一,当层数比较多的时候可能会造成梯度消失,从而模型无法收敛。

3.未完待续...

© 著作权归作者所有

Nagisa丶夜雨
粉丝 0
博文 25
码字总数 32073
作品 0
济宁
私信 提问
js命名空间的玩法详解

1.首先为什么要用js命名空间 在我们的项目中,如果多个人为同一个页面写js的话,命名冲突就有可能发生,如果所有的函数都是全局的话,如下: a.js中 function com(){ .....} b.js中 function...

双月通天
2015/09/07
3.7K
0
怎样推介自己的项目给有兴趣的投资人?有什么渠道?

1 keiven,在路上的创业者 1 票,来自 周冉 第一肯定是要找都天使了。 而找天使的渠道有很多种: 1、网上搜。你一般不会搜到 2、朋友关系介绍。 3、助力,目前有不少这样的第三方,比如Angel...

天高空
2012/07/25
421
5
Android休眠问题探讨(1)

移动设备上的开发,最重要的一点就是耗电量问题,再优秀的软件,假如耗电量过大的话,必然会成为一个失败的产品。Android设备上解决耗电的一个策略就是休眠,手机在锁屏之后一段时间手机就会...

阿舍
2013/01/21
0
0
【工具使用系列】关于 MATLAB BP 神经网络,你需要知道的事

如何使用 BP 神经网络 MATLAB 实现 BP 网络的创建 BP 网络的仿真 BP 网络的训练 设计实例 函数逼近 回归分析 特征识别 什么是 BP 神经网络 BP 神经网络概述 BP 网络神经元模型 BP 神经网络结...

AllenMoore
2018/01/29
0
0
> 第五章 内存管理

十舍七匹狼于~ http://www.oschina.net/ 5.1 一种好的位模式,数值上来说应该较大,一旦执行到该内存处,应该会很容易肉眼发现。可以使用比如 0XCC, 0XDC 之类的。 修改 Mem_alloc 函数,将它...

十舍七匹狼
2014/05/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

php 遇到 No input file specified的解决方法

(一)IIS Noinput file specified 方法一:改PHP.ini中的doc_root行,打开ini文件注释掉此行,然后重启IIS 方法二: 请修改php.ini 找到 ; cgi.force_redirect = 1 去掉前面分号,把后面的1...

chenhongjiang
今天
5
0
MySQL 基础

一、常用命令 在命令行中,配置好环境变量后,通过cmd可以直接进入mysql命令行模式,同时列举几种常用命令 # 进入mysql数据库,密码可以先不写,打完-p后再输入,防止被别人看到mysql -u账...

华山猛男
今天
6
0
简单的博客系统(四)Django请求HTML页面视图信息--基于函数的视图

1. 编写用于查询数据的功能函数 应用目录 下的 views.py 文件通常用于保存响应各种请求的函数或类 from django.shortcuts import renderfrom .models import BlogArticles# Create your ...

ZeroBit
今天
5
0
用脚本将本地照片库批量导入到Day One中

因为目前iCloud 空间已经不足,其中95%都是照片,之前入手了DayOne,且空间没有限制,订阅费一年也不少,再加上DayOne作为一款日记App 也比较有名,功能方面最大的就是地理视图与照片视图,尤...

在山的那边
昨天
21
0
jupyter部署安装

python373 -m ipykernel install --name python373 ipython kernelspec list sc create myjupyterservice binpath="D:\apply\Python373\Scripts\jupyter-notebook --config=V:/my_work/jupyt......

mbzhong
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部