文档章节

神经网络和深度学习 - 深度学习概论

抢小孩糖吃
 抢小孩糖吃
发布于 2017/08/29 17:51
字数 2119
阅读 51
收藏 0
点赞 0
评论 0

概述

笔者在网易云课堂微专业竟然看到深度学习工程师的课程,随即开始学习deeplearning

深度学习概论

1.1 欢迎来到深度学习工程师微专业

授课老师"吴恩达"

1.2 什么是神经网络

"Deep Learning深度学习"指训练神经网络,有时候神经网络的规模很庞大。
笔者注:注意神经网络分为深度神经网络和广度神经网络

房价预测

假设有一个六间房屋的数据集,以知房屋的面积以及对应的价格。想要找到一个函数,根据房屋面积,预测房价。
在传统方式中,可以使用线性回归,来对这些数据集进行计算。但由于人类肯定能够知道,价格永远不会为负数。因此,直线不合适,应当在初始进行弯曲,结束于0。这样,我们对接近直线的部分进行拟合。
我们可以使用神经网络,我们把房屋的面积,作为神经网络的输入,房屋面积称为x,通过神经网络的一个独立的神经元,获得结果房屋价格y。神经元实现了传统方法中的内容。

在神经网络论文中,我们经常可以看到起始阶段,一般为0,然后就是一条直线,这个函数被称作ReLU函数。全称为"修正线性单元"rectified linear unit。
大型神经网络,是把这些单个神经元堆叠起来形成的。可以把这些神经元想象成单独的乐高积木。通过搭建和相互连接形成更大的神经网络。

复杂的例子

不仅仅用房屋的面积来预测价格,现在你还有一些房屋的其他特征,知道了一些别的信息,比如卧室的数量。通过房屋面积和卧室数量,确定房屋居住人数。这个性质和面积大小相关与卧室数量相关。
邮编或许能够作为一个特征,判断步行程度,有些人喜欢步行程度高的。
根据邮编和富裕程度从而判断附近学校的质量。
最后,根据各种参数,判断出价格。

这个例子中,输入的值是4个,预测的的价格y。把这些独立的神经元叠加起来,就形成了稍微大一点的神经网络。

神经网络的神奇在于,你要做的只是输入x,就能得到输出y。不管训练集有多大。所有的中间过程,它都会自己完成。你所做的输入特征,输出y。内部特征,让神经网络自己决定各个神经元的特征。

如果给出足够的x,y的训练集,就能够获得结果。

1.3用神经网络进行监督学习

几乎所有由神经网络创造的经济价值都基于其中一种机器学习,我们称为“监督学习”supervised learning。在监督学习中,输入x,希望通过函数映射到输出y。比如我们之前看到的房价预测的例子,输入是房屋特性x,结果输出房屋价格y。

在线广告是深度学习当中获益最深的,给网站输入广告信息、用户信息、等,网站会考虑是否给你看这个广告。还有一些用户信息,例如你是否会点击,则将会向你展示你最可能进行点击的广告。这就是神经网络在多家公司赚取无法想象的高额利润的应用方式。

神经网络得益于深度学习还可以用用输入图像获取图片,可以用来给图片打标签。

深度学习在语音方面也非常令人兴奋,能够语音转换成为文字。

语言翻译得益于深度学习,能够进行翻译

图片+雷达 基于神经网络告诉其他汽车位置。

注意:你要机智的选择x和y。才能够解决特定的问题。然后把监督学习这个组件嵌入到更大型的系统中,比如无人驾驶中进行再训练。 深度学习技术使用分类: 例如房地产、在线广告使用的是经典的神经网络。图像领域经常应用卷积神经网络CNN。对于序列数据,音频中含有时间成分,一维时间序列,对于序列数据,经常使用循环神经网络RNN。语言翻译也是序列数据是更复杂的RNNs。对于更复杂自动驾驶你有图片,可能需要CNN架构去处理,而雷达信息会更不一样,你需要混合的神经网络结构。

监督学习可以使用结构化数据和非结构化数据。结构化数据是数据库。

1.4 为什么深度学习会兴起?

随着数据量的增长,垃圾邮件过滤的准确率提高,而起步时的准确率并不高。 性能一开始,增加数据时会上升,但是一段时间之后,性能进入平台期。假设水平轴拉的很长很长。这是因为这些模型无法处理海量数据内容。首先,由于现代社会的发展,手机海量数据轻而易举。随着各种手机、客户端等内容,我们收集到了大量的数据,远超过传统学习算法,所能够承受的规模。现在的机器学习算法,随着数据量的增长,数据准确性越来越高。如果想达到这样高的准确率,需要两点,第一个是需要训练一个规模足够大的神经网络,以发挥数据规模量巨大的优点;另外一点,需要足够多的数据内容。
**注意:**这里说的数据量,是指带标签的数据量。必须有足够的(x,y),我们后面会使用m来标示训练集的规模。当你训练集不足时,效果仅仅取决于你手工设计的组件。可能会发生,由于参数的调整,起先SVM表现会更好,所以在数据量小的时候,各种算法并不能定义很明确。最终的性能,更多取决于手工设计组件的技能,以及算法处理相关的细节。只有当数据量非常巨大时,我们才能够看到机器学习稳定地领先其他算法。

  • 数据量
  • 计算性能
  • 机器学习算法 - 为了让神经网络运行得更快
    • sigmoid函数转变为ReLU函数,梯度达到曲率

需要神经网络高速计算,很多时候是凭直觉,你有了新想法,然后写代码实现想法,然后跑一下实验。然后根据结果,去修改神经网络中的一些细节。当神经网络需要很长时间训练,循环速度对你的效率影响巨大。

1.5关于这门课

没有具体内容

附录

线性回归

线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w'x+e,e为误差服从均值为0的正态分布。
回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

曲线拟合-拟合函数

实际工作中,变量间未必都有线性关系,如服药后血药浓度与时间的关系;疾病疗效与疗程长短的关系;毒物剂量与致死率的关系等常呈曲线关系。曲线拟合(curve fitting)是指选择适当的曲线类型来拟合观测数据,并用拟合的曲线方程分析两变量间的关系。

© 著作权归作者所有

共有 人打赏支持
抢小孩糖吃

抢小孩糖吃

粉丝 67
博文 200
码字总数 223980
作品 0
东城
程序员
深度学习12大常见问题解答(附答案)

阿尔法狗让深度学习登上了数据科学世界的巅峰。深度学习成为了当今最热门的话题之一,但对于大多数人来说,这是一个陌生而又神秘的学科。很多人认为,深度学习就是包括了大量的数学和统计知识...

【方向】 ⋅ 06/01 ⋅ 0

干货丨详解深度学习的一些关键术语

深度学习已经成为编程界的一股潮流,因为其在许多领域取得了令人难以置信的成功,使其在研究和工业领域广受欢迎。那么到底什么是深度学习呢? 深度学习是应用深层神经网络技术:即利用具有多个...

r1unw1w ⋅ 03/24 ⋅ 0

了解深度学习,你就是下一个AlphaGo的设计者!

现在的人工智能已经呈指数级增长。比如,自动驾驶汽车的时速达数百万英里,IBM Watson在诊断病人的情况上比医生更好,AlphaGo击败了世界冠军。这其中,人工智能扮演着关键的角色。 随着人工智...

Python雁横 ⋅ 05/12 ⋅ 0

李飞飞、吴恩达、Bengio等人的15大顶级深度学习课程

from : http://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/79136408 hinton 深度学习课程:https://www.coursera.org/learn/neural-networks/home 目前,深度学习和深度强化学习已经在......

p312011150 ⋅ 05/11 ⋅ 0

送书&优惠丨对深度学习感兴趣的你,不了解这些就太OUT了!

点击上方“程序人生”,选择“置顶公众号” 第一时间关注程序猿(媛)身边的故事 TensorFlow是什么? TensorFlow的前身是谷歌大脑(google brain)团队研发的DistBelief。自创建以来,它便被...

csdnsevenn ⋅ 05/03 ⋅ 0

[论文学习]Deep Learning Based Recommendation: A Survey

Liu J, Wu C. Deep Learning Based Recommendation: A Survey[C]//International Conference on Information Science and Applications. Springer, Singapore, 2017: 451-458. ABSTRACT 由于......

somTian ⋅ 2017/06/22 ⋅ 0

写给人类的机器学习 四、神经网络和深度学习

四、神经网络和深度学习 原文:Machine Learning for Humans, Part 4: Neural Networks & Deep Learning 作者:Vishal Maini 译者:飞龙 协议:CC BY-NC-SA 4.0 深度神经网络的工作地点、原因...

apachecn_飞龙 ⋅ 2017/10/18 ⋅ 0

零基础入门深度学习工作原理?看本文就对了!

  昨天为大家推荐了几本入门深度学习的必看书籍,错过的朋友请戳这里。   在入门学习深度学习之前,有必要先了解一下深度学习的工作原理。著名程序猿小哥 Radu Raicea 特意为入门学习者写...

深度学习 ⋅ 06/01 ⋅ 0

送你一份机器/深度学习自学指南(附视频&速成方案)

回答这个问题,最先要考虑的问题是:你有多少时间? 准备用三个月入门,和想要一个月速成,肯定是截然不同的路径。当然我建议大家稳扎稳打,至少可以拿出五个月的时间来学好机器学习的基础知...

技术小能手 ⋅ 06/11 ⋅ 0

【阅读笔记】新智元:深度学习为什么深?--周志华

原文:https://mp.weixin.qq.com/s/C5Xq2P5v3lGmFOivJPTzw 在4月15日举行的2018京东人工智能创新峰会上,①京东集团副总裁、AI平台与研究部负责人周伯文揭开了京东技术布局下的 AI 战略全景图...

xxy0118 ⋅ 04/17 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

R计算IV

参考文章 #读取文件 rawdata = read.csv("/path/to/csv/file",header=T) colnames(rawdata)[18] <- "y" //重命名因变量y #数据分区 训练集测试集 trainIdx <- sample(nrow(rawdata), round(......

火力全開 ⋅ 11分钟前 ⋅ 0

SQL老司机,在SQL中计算 array & map & json数据

摘要: 场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primitive类型的数据。 场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primi...

阿里云云栖社区 ⋅ 12分钟前 ⋅ 0

SQL老司机,在SQL中计算 array & map & json数据

摘要: 场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primitive类型的数据。 场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primi...

猫耳m ⋅ 22分钟前 ⋅ 0

关于ireport自定义变量类型为list的时候

自己摸石头过河,我真的应该去趟市中心图书馆,借本真正靠谱的教材 网上的东西,只有0.01%是有用的,还有0.99%是垃圾,剩下的99%是垃圾的复制品。。 哎!~ 问题是这样的,报表带sql,从db中获...

炑炑milina ⋅ 23分钟前 ⋅ 0

Spring mvc ContextLoaderListener 原理解析

对于熟悉Spring MVC功能,首先应从web.xml 开始,在web.xml 文件中我们需要配置一个监听器 ContextLoaderListener,如下。 <!-- 加载spring上下文信息,最主要的功能是解析applicationContex...

轨迹_ ⋅ 24分钟前 ⋅ 0

阿里云发布企业数字化及上云外包平台服务:阿里云众包平台

摘要: 阿里云正式发布旗下众包平台业务(网址:https://zhongbao.aliyun.com/),支持包括:网站定制开发,APP、电商系统等软件开发,商标、商品LOGO、VI、产品包装设计、营销推广、大数据人...

阿里云官方博客 ⋅ 25分钟前 ⋅ 0

Redis安装异常解决办法

官网地址:http://redis.io/ 官网下载地址:http://redis.io/download 1. 下载Redis源码(tar.gz),并上传到Linux 2. 解压缩包:tar zxvf redis-2.8.17.tar.gz 3. 进入解压缩后的文件夹:c...

slagga ⋅ 30分钟前 ⋅ 0

006. 深入JVM学习—年轻代

1. 年轻代图片 年轻代(Young)属于JVM堆内存空间的一个组成部分 所有使用关键字new新实例化的对象一定会在伊甸园区进行保存,而对于存活区保存的一定是已经在伊甸园区存在一段时间并且经过了...

影狼 ⋅ 31分钟前 ⋅ 0

如何成为一个合格的程序员

偶尔的,我会被人问道:如何成为一名优秀的程序员,更或者,如何成为一名程序员。每次人们问起,我都力图给出不同的答案。因此,我的答案是各种各样的。下面就是我认为的成为一名优秀的程序员...

柳猫 ⋅ 31分钟前 ⋅ 0

cups error_log日志暴增

日志内容 File \"/usr/lib/cups/notifier/dbus\" has insecure permissions 解决(未验证适用范围) sudo service cups stopsudo rm /etc/cups/subscriptions.conf*sudo rm -r /var/cac......

一介码夫_Hum ⋅ 35分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部