文档章节

【Deep Learning读书笔记】深度学习中的概率论

我是任玉琢
 我是任玉琢
发布于 03/27 10:12
字数 1030
阅读 47
收藏 1
  • 本文首发自公众号:RAIS,期待你的关注。

前言

本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。由于平台支持不好,因此很可惜有些内容需要用图片展示,如果有问题,或需要获取源文件,请在公众号下方点击联系我,可以直接给我微信发消息。

概率论

机器学习中,往往需要大量处理不确定量,或者是随机量,这与我们传统所需要解决掉问题是大不一样的,因此我们在机器学习中往往很难给出一个百分百的预测或者判断,基于此种原因,较大的可能性往往就是所要达到的目标,概率论有用武之地了。

概念

image

image

常用分布

image

以上这些是大学概率论中就已经介绍过的了,下面这些是大学较少接触的,但是在机器学习的领域是很有用的。这里需要特别说一下 正态分布,也叫 高斯分布。当我们先验知识不足而不知道该选择什么样的分布时,正态分布是比较好的默认分布:第一,由 中心极限定理 知道,许多随机变量在大量重复试验时都会近似服从正态分布;第二,在具有相同方差的所有可能分布中,正态分布在实数上具有最大的不确定性,因此我们认为正态分布是对模型加入先验知识最少的分布。

范畴分布(Multinoulli 分布)

范畴分布是指在具有 k 个不同状态的单个离散型随机变量上的分布。什么意思呢?我们对比来说这个问题:

image

Laplace 分布

拉普拉斯分布。与指数分布可以对比着来看,看图:

image

Dirac delta 函数

狄拉克δ函数 或简称 δ函数,定义是在除 0 外其他点都为0,积分为 1 的函数。原点处无限高无限细,总面积为 1。

image

经验分布

是统计学中一种方法,简要概括为:用样本估计总体,总体是未知的,我们拿到了一些样本,用这些样本去估计总体。

image

高斯混合模型

混合分布的定义为将一些简单的已有的概率分布来定义新的概率分布。其中非常强大且常见的混合模型是高斯混合模型。它的混合的组件是高斯分布(正态分布)。这个话题展开来说问题太多了,不适合在本处展开,但是要记住这个问题非常重要。

常用函数及其性质

下面介绍一些常用的函数,他们有很好的性质,在机器学习和深度学习中有广泛的应用。

logistic sigmoid 函数

逻辑回归函数。logistic 函数或者 sigmoid 函数对应的图像是 sigmoid 曲线,是一条 S 形曲线。值域:(0, 1),从这里是不是就可以理解为什么我们之前的电影评论是好是坏二分类问题的最后一层激活函数用 sigmoid 了。image

softplus 函数

值域是 0 到正无穷。它的作用是用来产生正态分布的参数,在处理 sigmoid 函数的表达式时,也会出现。image

贝叶斯规则

image

总结

如上这些内容是 《Deep Learning》 中涉及到的概率论相关的知识,内容有些分散,但是要记住,日后发现弄不懂的问题可以回来查看。这一篇就到这里。

  • 本文首发自公众号:RAIS,期待你的关注。

© 著作权归作者所有

我是任玉琢
粉丝 10
博文 51
码字总数 65916
作品 0
东城
后端工程师
私信 提问
加载中

评论(0)

深度学习没你想象的那么难,Fast.ai 带你学习带你飞!

今天要推荐一门深度学习的好课程,来自Fast.ai的Deep learning course! Welcome to fast.ai's 7 week course,Practical Deep Learning For Coders, Part 1, taught by Jeremy Howard (Kagg......

人工智豪
2017/05/12
0
0
CS224n笔记01 自然语言处理与深度学习简介

简单声明 本笔记为 CS224n 课程在学习过程中留下的笔记。整体风格以简洁为主,尽量去掉不必要的背景知识说明,只留下个人觉得最重要的内容以供日后参考回忆。其中部分内容为了巩固英语,可能...

DeamoV
2018/10/23
0
0
CS224N Lecture1 笔记 - 知乎

Lecuture1 主要内容: What is NLP? What are the different levels and applications of NLP? What is deep learning? Why should we learn it? Why is NLP hard? How is everything repres......

Poem Philosophy
2019/10/21
0
0
Deep Q Network 算法

Deep Q Network 算法前置基础知识: Q Leaning算法概述: Q Leaning算法 :在监督学习中,标签值y是一个固定的值,例如,输入一张图片,预测这张图片是一只猫,或者一只狗,y的标签是确定的。...

段智华
03/31
0
0
春招已近,这份GitHub万星的ML算法面试大全请收下

机器之心整理,项目作者:HUA Yang,机器之心编辑部。 春季到来,春招不久也会开始。在本项目中,作者为大家准备了 ML 算法工程师面试指南,它提供了完整的面试知识点、编程题及题解、各科技...

机器之心
2019/02/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Apache OpenMeetings开源线上会议系统——安装配置

OpenMeetings是一个开源的在线会议系统,支持音频和视频,同时支持桌面分享。 官网地址:http://openmeetings.apache.org/index.html 安装 当前版本为4.0.6,需要最低jre8的安装环境。 下载a...

JustForFly
20分钟前
21
0
Android知识体系总结2020之Android部分Handler篇

1.什么是Handler?   Handler是可以通过发送和处理Message和Runnable对象来关联相应线程的MessageQueue。通常我们认为它是一种异步机制。   a.可以让对应的Message和Runnable在未来的某个...

ClAndEllen
22分钟前
29
0
命令模式

命令模式(Command Pattern)在我们生活中非常常见,比如开关灯、电视遥控器换台等。 我们使用摇控器换台的时候,我们按下一个换台的按钮,然后电视机就会换台,按下调整音量调节按钮,电视机...

鸣沙山
25分钟前
20
0
基于 rsync 和 ln 实现“写时复制”的快照备份功能

一、基本原理 这里“写时复制”加了一个引号,因为这是专门针对使用rsync备份时的写时复制效果,而不是事实上的写时复制(copy-on-write),其达到的目的如下: 使用 rsync 备份数据后,立即...

Inpool
今天
28
0
郑州哪哪里可以开工程款发票-郑州_新闻网

【电薇同步;1.3.8 - 2.7.4.1 - 5.2.9.7.】张生、诚、信、合、作,保、真、售、后、保、障、长、期、有、效。adb的全称为Android Debug Bridge,是Android手机通用...

yyqqvip
今天
30
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部