文档章节

一名工程师对于深度学习的理解-神经网络基础ANN

_夜枫
 _夜枫
发布于 2017/07/05 14:26
字数 952
阅读 16
收藏 0

原文链接

 

 

读书期间对于深度学习也有涉及,不过只是皮毛,在这个数据和算法的时代,也需要更加贴近算法。于是从一名工程师角度出发,希望通过几篇文章,将深度学习基础记录下来,同时也是对于自己学习的总结和积累。总体思路是ANN-CNN-DNN,中间想起来有什么忘记的,也会加番。

神经网络概述

image.png
这是一张典型的人工神经网络的图,图中的节点称为神经元,图共分为三层,第一层为输入层,第二层为隐藏层,第三层为输出层。输入层接受外部世界的输入,具像化为图像的像素值,实体的特征值等,输出层概率预测结果,具像化为该图像是人像,该实体为潜在商家。

神经元

image.png
一个神经元将多个输入及其权值统一为下层节点的一个输入。例如:
屏幕快照 2017-06-30 下午5.24.12.png
而神经元一般都使用sigmoid函数,至于为什么使用sigmoid函数,也是个很有探讨意义的问题,具体可以看这篇文章了解sigmoid的特性,http://www.tuicool.com/articles/uMraAb。
屏幕快照 2017-06-30 下午5.37.56.png
屏幕快照 2017-06-30 下午5.39.36.png
其中,w表示权重向量,x表示输入向量,b为该节点的阈值。
那么下面问题就是如何选择合适的权重和阈值,构建出来合适的网络。

构建合适的网络

网络结构往往决定了算法复杂度和模型可调度,输出层主要由向量决定,输出层主要由预测类型决定,主要

问题就在中间层数和节点数的选择上,节点数和层数越多意味着模型可调节性越强,预测结果的粒度越细,但同时也意味着计算复杂度越高。经验中间层一般选1-2层,节点数作为可调参数。

选择合适权重和阈值

首先,定义损失函数,损失函数的意义在于对于训练集评价预测结果和真实结果之间的差异
屏幕快照 2017-06-30 下午5.56.17.png
该损失函数其实是预测结果与真实结果之间的方差
我们希望通过调整权重w和阈值b的值来使预测结果和真实结果之间的差更小。相当于在一个解空间中寻找最优解。解法有很多,如梯度下降法,拟牛顿法等。

梯度下降法

屏幕快照 2017-06-30 下午6.01.49.png
通过上述公式可以看出,对于损失函数的变化可以描述为损失在每个维度v上的变化值之和,用向量表示为
屏幕快照 2017-06-30 下午6.05.24.png
为了是损失更小而不是更大,损失的变化应该小于0,于是取
屏幕快照 2017-06-30 下午6.04.58.png
则,损失的下降可以表示为
屏幕快照 2017-06-30 下午6.06.26.png

反向传播

反向传播其实是对于当一次预测结束后,评估每个参数对于预测结果误差的贡献,并对其进行调整,调整方法可以通过损失函数对于权值的求导得到:
屏幕快照 2017-06-30 下午6.21.14.png
通过多次迭代,获得损失函数的极小值。步长决定了函数的收敛速度。
小结下:
人工神经网络就好像一个在陌生的城市迷路的孩子,每走一步都对该步进行评估,计算其到达目的地的可能性,并逐渐走到目的地。人工神经网络比较重要的有三部分:
-1. 结构:层级网络
-2. 求解方法:梯度下降
-3. 求解思想:反向传播

下集:一名工程师对于深度学习的理解-卷积神经网络CNN

 

 

原文链接

 

本文转载自:http://click.aliyun.com/m/25038/  

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
GitHub 超全机器学习工程师成长路线图,开源两日收获3700+Star!

作者 | 琥珀 出品 | AI科技大本营(ID:rgznai100) 近日,一个在 GitHub 上开源即收获了 3700+ Star 的项目,引起了业界的注意。据介绍,该项目以 TensorFlow 和 Scikit-learn 的机器学习框架...

CSDN资讯
03/26
0
0
别再提程序员应届年薪20万了,人工智能已经年薪60万了!

对人工智能而言,2017是不平凡的一年: AlphaGo再胜人类 腾讯宣布进军AI 百度无人驾驶汽车上五环 AI教育要从娃娃抓起 寒武纪成全球AI芯片首个独角兽 阿里巴巴成立达摩院 类人机器人Sophia首获...

ufv59to8
2018/04/18
0
0
年薪40万AI工程师必备的能力项,你达标了吗?

对人工智能而言,2017是不平凡的一年: AlphaGo再胜人类 腾讯宣布进军AI 百度无人驾驶汽车上五环 AI教育要从娃娃抓起 寒武纪成全球AI芯片首个独角兽 阿里巴巴成立达摩院 类人机器人Sophia首获...

zv3e189os5c0tsknrbcl
2018/04/11
0
0
人工智能热门图书(深度学习、TensorFlow)免费送!

欢迎访问网易云社区,了解更多网易技术产品运营经验。 这个双十一,人工智能市场火爆,从智能音箱到智能分拣机器人,人工智能已逐渐渗透到我们的生活的方方面面。网易云社区联合博文视点为大...

网易云
2018/11/19
0
0
不懂代码也想学会深度学习?这本书告诉你真的很简单

我们暂且不管深度学习是什么,深度学习有多强大。作为信息行业的杰出的工程师,首先需要知道深度学习真正带来的是什么?未来,深度学习对社会以及各个行业会带来什么影响?拥有大量深度学习人...

异步社区
2018/08/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JMM内存模型(一)&volatile关键字的可见性

在说这个之前,我想先说一下计算机的内存模型: CPU在执行的时候,肯定要有数据,而数据在内存中放着呢,这里的内存就是计算机的物理内存,刚开始还好,但是随着技术的发展,CPU处理的速度越...

走向人生巅峰的大路
27分钟前
71
0
你对AJAX认知有多少(2)?

接着昨日内容,我们几天继续探讨ajax的相关知识点 提到ajax下面几个问题又是必须要了解的啦~~~ 8、在浏览器端如何得到服务器端响应的XML数据。 通过XMLHttpRequest对象的responseXMl属性 9、 ...

理性思考
37分钟前
4
0
正则表达式基础(一)

1.转义 转义的作用: 当某个字符在表达式中具有特殊含义,例如字符串引号中出现了引号,为了可以使用这些字符本身,而不是使用其在表达式中的特殊含义,则需要通过转义符“\”来构建该字符转...

清自以敬
39分钟前
4
0
idea中@Data标签getset不起作用

背景:换电脑以后在idea中有@data注解都不生效 解决办法:idea装个插件 https://blog.csdn.net/seapeak007/article/details/72911529...

栾小糖
45分钟前
5
0
Apache Kudu 不能删除不存在的数据

使用Apache Kudu客户端,对KafkaConnect Sink 进行扩展。 使用的Apache Kudu 的Java 客户端。突然有天发现作业无法提交,一直报错。 后来才发现这是Kudu自身的一种校验机制。为了忽略这种校验...

吐槽的达达仔
55分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部