文档章节

神经网络和深度学习 - 深度学习概论

抢小孩糖吃
 抢小孩糖吃
发布于 2017/08/29 17:51
字数 2119
阅读 78
收藏 0

概述

笔者在网易云课堂微专业竟然看到深度学习工程师的课程,随即开始学习deeplearning

深度学习概论

1.1 欢迎来到深度学习工程师微专业

授课老师"吴恩达"

1.2 什么是神经网络

"Deep Learning深度学习"指训练神经网络,有时候神经网络的规模很庞大。
笔者注:注意神经网络分为深度神经网络和广度神经网络

房价预测

假设有一个六间房屋的数据集,以知房屋的面积以及对应的价格。想要找到一个函数,根据房屋面积,预测房价。
在传统方式中,可以使用线性回归,来对这些数据集进行计算。但由于人类肯定能够知道,价格永远不会为负数。因此,直线不合适,应当在初始进行弯曲,结束于0。这样,我们对接近直线的部分进行拟合。
我们可以使用神经网络,我们把房屋的面积,作为神经网络的输入,房屋面积称为x,通过神经网络的一个独立的神经元,获得结果房屋价格y。神经元实现了传统方法中的内容。

在神经网络论文中,我们经常可以看到起始阶段,一般为0,然后就是一条直线,这个函数被称作ReLU函数。全称为"修正线性单元"rectified linear unit。
大型神经网络,是把这些单个神经元堆叠起来形成的。可以把这些神经元想象成单独的乐高积木。通过搭建和相互连接形成更大的神经网络。

复杂的例子

不仅仅用房屋的面积来预测价格,现在你还有一些房屋的其他特征,知道了一些别的信息,比如卧室的数量。通过房屋面积和卧室数量,确定房屋居住人数。这个性质和面积大小相关与卧室数量相关。
邮编或许能够作为一个特征,判断步行程度,有些人喜欢步行程度高的。
根据邮编和富裕程度从而判断附近学校的质量。
最后,根据各种参数,判断出价格。

这个例子中,输入的值是4个,预测的的价格y。把这些独立的神经元叠加起来,就形成了稍微大一点的神经网络。

神经网络的神奇在于,你要做的只是输入x,就能得到输出y。不管训练集有多大。所有的中间过程,它都会自己完成。你所做的输入特征,输出y。内部特征,让神经网络自己决定各个神经元的特征。

如果给出足够的x,y的训练集,就能够获得结果。

1.3用神经网络进行监督学习

几乎所有由神经网络创造的经济价值都基于其中一种机器学习,我们称为“监督学习”supervised learning。在监督学习中,输入x,希望通过函数映射到输出y。比如我们之前看到的房价预测的例子,输入是房屋特性x,结果输出房屋价格y。

在线广告是深度学习当中获益最深的,给网站输入广告信息、用户信息、等,网站会考虑是否给你看这个广告。还有一些用户信息,例如你是否会点击,则将会向你展示你最可能进行点击的广告。这就是神经网络在多家公司赚取无法想象的高额利润的应用方式。

神经网络得益于深度学习还可以用用输入图像获取图片,可以用来给图片打标签。

深度学习在语音方面也非常令人兴奋,能够语音转换成为文字。

语言翻译得益于深度学习,能够进行翻译

图片+雷达 基于神经网络告诉其他汽车位置。

注意:你要机智的选择x和y。才能够解决特定的问题。然后把监督学习这个组件嵌入到更大型的系统中,比如无人驾驶中进行再训练。 深度学习技术使用分类: 例如房地产、在线广告使用的是经典的神经网络。图像领域经常应用卷积神经网络CNN。对于序列数据,音频中含有时间成分,一维时间序列,对于序列数据,经常使用循环神经网络RNN。语言翻译也是序列数据是更复杂的RNNs。对于更复杂自动驾驶你有图片,可能需要CNN架构去处理,而雷达信息会更不一样,你需要混合的神经网络结构。

监督学习可以使用结构化数据和非结构化数据。结构化数据是数据库。

1.4 为什么深度学习会兴起?

随着数据量的增长,垃圾邮件过滤的准确率提高,而起步时的准确率并不高。 性能一开始,增加数据时会上升,但是一段时间之后,性能进入平台期。假设水平轴拉的很长很长。这是因为这些模型无法处理海量数据内容。首先,由于现代社会的发展,手机海量数据轻而易举。随着各种手机、客户端等内容,我们收集到了大量的数据,远超过传统学习算法,所能够承受的规模。现在的机器学习算法,随着数据量的增长,数据准确性越来越高。如果想达到这样高的准确率,需要两点,第一个是需要训练一个规模足够大的神经网络,以发挥数据规模量巨大的优点;另外一点,需要足够多的数据内容。
**注意:**这里说的数据量,是指带标签的数据量。必须有足够的(x,y),我们后面会使用m来标示训练集的规模。当你训练集不足时,效果仅仅取决于你手工设计的组件。可能会发生,由于参数的调整,起先SVM表现会更好,所以在数据量小的时候,各种算法并不能定义很明确。最终的性能,更多取决于手工设计组件的技能,以及算法处理相关的细节。只有当数据量非常巨大时,我们才能够看到机器学习稳定地领先其他算法。

  • 数据量
  • 计算性能
  • 机器学习算法 - 为了让神经网络运行得更快
    • sigmoid函数转变为ReLU函数,梯度达到曲率

需要神经网络高速计算,很多时候是凭直觉,你有了新想法,然后写代码实现想法,然后跑一下实验。然后根据结果,去修改神经网络中的一些细节。当神经网络需要很长时间训练,循环速度对你的效率影响巨大。

1.5关于这门课

没有具体内容

附录

线性回归

线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w'x+e,e为误差服从均值为0的正态分布。
回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

曲线拟合-拟合函数

实际工作中,变量间未必都有线性关系,如服药后血药浓度与时间的关系;疾病疗效与疗程长短的关系;毒物剂量与致死率的关系等常呈曲线关系。曲线拟合(curve fitting)是指选择适当的曲线类型来拟合观测数据,并用拟合的曲线方程分析两变量间的关系。

© 著作权归作者所有

共有 人打赏支持
抢小孩糖吃

抢小孩糖吃

粉丝 70
博文 238
码字总数 229592
作品 0
东城
程序员
私信 提问
实用 :一文带你零基础入行深度学习

来源: 人工智能头条 本文共3369字,建议阅读5分钟。 本文希望从一个小白的角度出发,真正从零基础的角度来为大家提供一些专业的建议和指导。 深度学习到底有多热,这里我就不再强调了,也因...

数据分析v
2018/08/31
0
0
机器学习必备宝典-《统计学习方法》的python代码实现、电子书及课件

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定! 对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴...

天善智能
2018/11/27
0
0
2018.12十大机器学习热门网文

本文为 AI 研习社编译的技术博客,原标题 : Machine Learning Top 10 Articles for the Past Month (v.Dec 2018) 作者 | Mybridge 翻译 | 张皞Eli 校对 | 酱番梨 整理 | 菠萝妹 原文链接: ...

雷锋字幕组
2018/12/21
0
0
揭秘人工智能(系列):深度学习是否过分夸大?

2012年左右,多伦多大学的研究人员首次使用深度学习来赢下了ImageNet,它是一项非常受欢迎的计算机图像识别竞赛。对于那些参与AI行业的人来说,这是一个大问题,因为计算机视觉是使计算机能够...

【方向】
01/10
0
0
干货丨详解深度学习的一些关键术语

深度学习已经成为编程界的一股潮流,因为其在许多领域取得了令人难以置信的成功,使其在研究和工业领域广受欢迎。那么到底什么是深度学习呢? 深度学习是应用深层神经网络技术:即利用具有多个...

r1unw1w
2018/03/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周三乱弹 —— 孤独到都和病毒发生了感情了

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @-冰冰棒- :#今日歌曲推荐# 逃跑计划《一万次悲伤 (Live)》 《一万次悲伤 (Live)》- 逃跑计划 手机党少年们想听歌,请使劲儿戳(这里) 现在...

小小编辑
53分钟前
21
5
test

//// main.c// Test//// Created by 吕颖 on 2019/1/16.// Copyright © 2019年 carmen. All rights reserved.//#include <stdio.h>#include <stdlib.h>#include <t......

carmen-ly
今天
3
0
Android webview热门组件agentweb:4.0.2无法自适应的问题

Android webview热门组件agentweb:4.0.2无法自适应的问题 //设置自适应屏幕,两者合用mAgentWeb.getAgentWebSettings().getWebSettings().setUseWideViewPort(true); //将图片调整到适合w...

Gemini-Lin
今天
5
0
如何维护一个自己的 golang doc 服务

本文内容是如何维护一个golang 在线的doc 服务。 1 什么是godoc ? godoc 是 golang 官方提供的文档生成工具, 2 为什么要有godoc ? 我们经常遇到一个问题,就是代码和文档不一致,线上代码版...

鼎铭
今天
5
0
js中的对象创建的模式以及继承模式

对象创建模式: 工厂模式 构造函数模式 原型模式 继承模式 原型式继承 寄生式继承 构造函数 原型式和构造函数的组合式(缺点:运行两次超类类函数,积累函数的属性被挂载在原型对象上和实例对...

莫西摩西
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部