文档章节

神经网络和深度学习 - 深度学习概论

抢小孩糖吃
 抢小孩糖吃
发布于 2017/08/29 17:51
字数 2119
阅读 53
收藏 0

概述

笔者在网易云课堂微专业竟然看到深度学习工程师的课程,随即开始学习deeplearning

深度学习概论

1.1 欢迎来到深度学习工程师微专业

授课老师"吴恩达"

1.2 什么是神经网络

"Deep Learning深度学习"指训练神经网络,有时候神经网络的规模很庞大。
笔者注:注意神经网络分为深度神经网络和广度神经网络

房价预测

假设有一个六间房屋的数据集,以知房屋的面积以及对应的价格。想要找到一个函数,根据房屋面积,预测房价。
在传统方式中,可以使用线性回归,来对这些数据集进行计算。但由于人类肯定能够知道,价格永远不会为负数。因此,直线不合适,应当在初始进行弯曲,结束于0。这样,我们对接近直线的部分进行拟合。
我们可以使用神经网络,我们把房屋的面积,作为神经网络的输入,房屋面积称为x,通过神经网络的一个独立的神经元,获得结果房屋价格y。神经元实现了传统方法中的内容。

在神经网络论文中,我们经常可以看到起始阶段,一般为0,然后就是一条直线,这个函数被称作ReLU函数。全称为"修正线性单元"rectified linear unit。
大型神经网络,是把这些单个神经元堆叠起来形成的。可以把这些神经元想象成单独的乐高积木。通过搭建和相互连接形成更大的神经网络。

复杂的例子

不仅仅用房屋的面积来预测价格,现在你还有一些房屋的其他特征,知道了一些别的信息,比如卧室的数量。通过房屋面积和卧室数量,确定房屋居住人数。这个性质和面积大小相关与卧室数量相关。
邮编或许能够作为一个特征,判断步行程度,有些人喜欢步行程度高的。
根据邮编和富裕程度从而判断附近学校的质量。
最后,根据各种参数,判断出价格。

这个例子中,输入的值是4个,预测的的价格y。把这些独立的神经元叠加起来,就形成了稍微大一点的神经网络。

神经网络的神奇在于,你要做的只是输入x,就能得到输出y。不管训练集有多大。所有的中间过程,它都会自己完成。你所做的输入特征,输出y。内部特征,让神经网络自己决定各个神经元的特征。

如果给出足够的x,y的训练集,就能够获得结果。

1.3用神经网络进行监督学习

几乎所有由神经网络创造的经济价值都基于其中一种机器学习,我们称为“监督学习”supervised learning。在监督学习中,输入x,希望通过函数映射到输出y。比如我们之前看到的房价预测的例子,输入是房屋特性x,结果输出房屋价格y。

在线广告是深度学习当中获益最深的,给网站输入广告信息、用户信息、等,网站会考虑是否给你看这个广告。还有一些用户信息,例如你是否会点击,则将会向你展示你最可能进行点击的广告。这就是神经网络在多家公司赚取无法想象的高额利润的应用方式。

神经网络得益于深度学习还可以用用输入图像获取图片,可以用来给图片打标签。

深度学习在语音方面也非常令人兴奋,能够语音转换成为文字。

语言翻译得益于深度学习,能够进行翻译

图片+雷达 基于神经网络告诉其他汽车位置。

注意:你要机智的选择x和y。才能够解决特定的问题。然后把监督学习这个组件嵌入到更大型的系统中,比如无人驾驶中进行再训练。 深度学习技术使用分类: 例如房地产、在线广告使用的是经典的神经网络。图像领域经常应用卷积神经网络CNN。对于序列数据,音频中含有时间成分,一维时间序列,对于序列数据,经常使用循环神经网络RNN。语言翻译也是序列数据是更复杂的RNNs。对于更复杂自动驾驶你有图片,可能需要CNN架构去处理,而雷达信息会更不一样,你需要混合的神经网络结构。

监督学习可以使用结构化数据和非结构化数据。结构化数据是数据库。

1.4 为什么深度学习会兴起?

随着数据量的增长,垃圾邮件过滤的准确率提高,而起步时的准确率并不高。 性能一开始,增加数据时会上升,但是一段时间之后,性能进入平台期。假设水平轴拉的很长很长。这是因为这些模型无法处理海量数据内容。首先,由于现代社会的发展,手机海量数据轻而易举。随着各种手机、客户端等内容,我们收集到了大量的数据,远超过传统学习算法,所能够承受的规模。现在的机器学习算法,随着数据量的增长,数据准确性越来越高。如果想达到这样高的准确率,需要两点,第一个是需要训练一个规模足够大的神经网络,以发挥数据规模量巨大的优点;另外一点,需要足够多的数据内容。
**注意:**这里说的数据量,是指带标签的数据量。必须有足够的(x,y),我们后面会使用m来标示训练集的规模。当你训练集不足时,效果仅仅取决于你手工设计的组件。可能会发生,由于参数的调整,起先SVM表现会更好,所以在数据量小的时候,各种算法并不能定义很明确。最终的性能,更多取决于手工设计组件的技能,以及算法处理相关的细节。只有当数据量非常巨大时,我们才能够看到机器学习稳定地领先其他算法。

  • 数据量
  • 计算性能
  • 机器学习算法 - 为了让神经网络运行得更快
    • sigmoid函数转变为ReLU函数,梯度达到曲率

需要神经网络高速计算,很多时候是凭直觉,你有了新想法,然后写代码实现想法,然后跑一下实验。然后根据结果,去修改神经网络中的一些细节。当神经网络需要很长时间训练,循环速度对你的效率影响巨大。

1.5关于这门课

没有具体内容

附录

线性回归

线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w'x+e,e为误差服从均值为0的正态分布。
回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

曲线拟合-拟合函数

实际工作中,变量间未必都有线性关系,如服药后血药浓度与时间的关系;疾病疗效与疗程长短的关系;毒物剂量与致死率的关系等常呈曲线关系。曲线拟合(curve fitting)是指选择适当的曲线类型来拟合观测数据,并用拟合的曲线方程分析两变量间的关系。

© 著作权归作者所有

共有 人打赏支持
抢小孩糖吃

抢小孩糖吃

粉丝 67
博文 235
码字总数 228541
作品 0
东城
程序员
深度学习12大常见问题解答(附答案)

阿尔法狗让深度学习登上了数据科学世界的巅峰。深度学习成为了当今最热门的话题之一,但对于大多数人来说,这是一个陌生而又神秘的学科。很多人认为,深度学习就是包括了大量的数学和统计知识...

【方向】
06/01
0
0
深度学习笔记7:Tensorflow入门

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定! 对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴...

天善智能
07/23
0
0
干货丨详解深度学习的一些关键术语

深度学习已经成为编程界的一股潮流,因为其在许多领域取得了令人难以置信的成功,使其在研究和工业领域广受欢迎。那么到底什么是深度学习呢? 深度学习是应用深层神经网络技术:即利用具有多个...

r1unw1w
03/24
0
0
《深度学习之美》读书笔记章一~二

从这一篇开始进行拆书系列,首先来拆一下这一本《深度学习之美》。看到这本书,是在张老师的朋友圈,那时还在五月份,张老师说新书要出来了,当时就立即预定了一本。下面来拆这一本书。书的前...

wenju_song
07/21
0
0
了解深度学习,你就是下一个AlphaGo的设计者!

现在的人工智能已经呈指数级增长。比如,自动驾驶汽车的时速达数百万英里,IBM Watson在诊断病人的情况上比医生更好,AlphaGo击败了世界冠军。这其中,人工智能扮演着关键的角色。 随着人工智...

Python雁横
05/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

C++ gflags

gflags是google一个开源的处理命令行参数的库,相比getopt,更加容易使用。 定义参数 gflags主要支持的参数类型包括 DEFINEbool: boolean DEFINEint32: 32-bit integer DEFINEint64: 64-bit ...

SibylY
29分钟前
0
0
intellij IDEA Properties中文unicode转码问题

在IDEA中创建了properties文件,发现默认中文不会自动进行unicode转码。如下 在project settings - File Encoding,在标红的选项上打上勾,确定即可 效果图如下: unicode转码后效果...

muzi1994
30分钟前
0
0
Java IO类库之PipedWriter

一、PipedWriter介绍 PipedWriter是字符管道输出流,继承自Writer,功能与PipedOutputStream类似,通过与PipedReader组合使用实现类似管道的功能,在多线程环境下,一个线程使用PipedWriter...

老韭菜
34分钟前
0
0
精简分页组件(手写)

需要引入CSS(没错就是这4行) .pagelist { text-align: center; color: #666; width: 100%; clear: both; margin: 20px 0; padding-top: 20px }.pagelist a { color: #666; margin: 0 2px;......

AK灬
34分钟前
3
0
29 岁成为阿里巴巴 P8,工作前 5 年完成晋升 3 连跳,他如何做到?

泡泡是我的好朋友。今年 31 岁,毕业后就进了阿里巴巴,工作五年内从 P4 晋升至 P6、P7、P8。 和他很少聊到工作,但总觉得他有很棒的职场心得,应该分享出来,于是有了这次采访。希望对职场新...

Java填坑之路
36分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部