文档章节

机器学习与深度学习:微积分知识汇总

o
 osc_isezqdgg
发布于 2019/09/18 16:28
字数 1372
阅读 3
收藏 0

精选30+云产品,助力企业轻松上云!>>>

微积分是现代数学的基础,线性代数,矩阵论,概率论,信息论,最优化方法等数学课程都需要用到微积分的知识。单就机器学习和深度学习来说,更多用到的是微分。积分基本上只在概率论中被使用,概率密度函数、分布函数等概念和计算都要借助于积分来定义或计算。

 


几乎所有的机器学习算法在训练或者预测时都是求解最优化问题,因此需要依赖于微积分来求解函数的极值,而模型中某些函数的选取,也有数学性质上的考量。对于机器学习而言,微积分的主要作用是:

 

1.求解函数的极值

 

2.分析函数的性质

 

下面列出机器学习和深度学习中所需的微积分知识点,显然,不是课本里所讲的所有内容都是需要的,我们只列出所必须的!

 

极限:极限是高等数学和初等数学的分水岭,也是微积分这座大厦的基石,是导数、微分、积分等概念的基础。虽然在机器学习里不直接用到极限的知识,但要理解导数和积分,它是必须的。

 

上确界与下确界:这一对概念对工科的微积分来说是陌生的,但在机器学习中会经常用到,不要看到论文或书里的sup和inf不知道什么意思。

 

导数:其重要性众所周知,求函数的极值需要它,分析函数的性质需要它。典型的如梯度下降法的推导,logistic函数导数的计算。熟练地计算函数的导数是基本功。

 


Lipschitz连续性:这一概念在工科教材中同样没有提及,但对分析算法的性质却很有用,在GAN,深度学习算法的稳定性、泛化性能分析中都有用武之地。

 

导数与函数的单调性:某些算法的推导,如神经网络的激活函数,AdaBoost算法,都需要研究函数的单调性。

 

导数与函数的极值:这个在机器学习中处于中心地位,大部分优化问题都是连续优化问题,因此可以通过求导数为0的点而求函数的极值,以实现最小化损失函数,最大化似然函数等目标。

 


导数与函数的凹凸性:在凸优化,Jensen不等式的证明中都有它的应用。

 

泰勒公式:又一个核心知识点。在优化算法中广泛使用,从梯度下降法,牛顿法,拟牛顿法,到AdaBoost算法,梯度提升算法,XGBoost的推导都离不开它。

 

不定积分:积分在机器学习中使用的相对较少,主要用于概率的计算中,它是定积分的基础。

 

定积分:包括广义积分,被用于概率论的计算中。机器学习中很大一类算法是概率型算法,如贝叶斯分类器,概率图模型,变分推断等。这些地方都涉及到对概率密度函数进行积分。

 


变上限积分:分布函数是典型的变上线积分函数,同样主要用于概率计算中。

 

牛顿-莱布尼兹公式:在机器学习中很少直接使用,但它是微积分中最重要的公式之一,为定积分的计算提供了依据。

 

常微分方程:在某些论文中会使用,但一般算法用不到。

 

偏导数:重要性不用多说,机器学习里绝大部分函数都是多元函数,要求其极值,偏导数是绕不开的。

 


梯度:决定了多元函数的单调性和极值,梯度下降法的推导离不开它。几乎所有连续优化算法都需要计算函数的梯度值,且以寻找梯度为0的点作为目标。

 

高阶偏导数:确定函数的极值离不开它,光有梯度值还无法确定函数的极值。

 

链式法则:同样使用广泛,各种神经网络的反向传播算法都依赖于链式法则。

 

Hessian矩阵:决定了函数的极值和凹凸性,对使用工科教材的同学可能是陌生的。

 


多元函数的极值判别法则:虽然不直接使用,但对理解最优化方法至关重要。

 

多元函数的凹凸性判别法则:证明一个问题是凸优化问题是离不开它的。

 

Jacobian矩阵:工科教材一般没有介绍这一概念,但和Hessian矩阵一样,并不难理解,使用它可以简化多元复合函数的求导公式,在反向传播算法中广泛使用。

 


向量与矩阵求导:常见的一次函数,二次函数的梯度,Hessian矩阵的计算公式要烂熟于心,推导并不复杂。

 

泰勒公式:理解梯度下降法,牛顿法的优化算法的基石。

 

多重积分:主要用于概率论中,计算随机向量的积分,如正态分布。

 

偏微分方程:在某些理论推导中可能会使用,如变分法中的欧拉-拉格朗日方程。

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
机器学习与深度学习:微积分知识汇总

微积分是现代数学的基础,线性代数,矩阵论,概率论,信息论,最优化方法等数学课程都需要用到微积分的知识。单就机器学习和深度学习来说,更多用到的是微分。积分基本上只在概率论中被使用,...

七月在线
2019/09/18
13
0
为什么需要微积分

微积分 我们知道数学是人类描述自然规律的语言将现实世界进行抽象,有了数学这个工具就能让我们对物体数量、物体结构、物体的空间、物体的运动等进行抽象量化描述。现今的数学已经发展出很多...

超人汪小建
2019/05/20
0
0
为什么需要微积分

微积分 我们知道数学是人类描述自然规律的语言将现实世界进行抽象,有了数学这个工具就能让我们对物体数量、物体结构、物体的空间、物体的运动等进行抽象量化描述。现今的数学已经发展出很多...

超人汪小建(seaboat)
2019/05/20
0
0
最全数据分析资料汇总(含python、爬虫、数据库、大数据、tableau、统计学等)

一、Python基础 Python简明教程(Python3) Python3.7.4官方中文文档 Python标准库中文版 廖雪峰 Python 3 中文教程 Python 3.3 官方教程中文版 Python3 Cookbook 中文版 笨办法学 Python (...

osc_acwq3gr9
2019/08/06
5
0
「04」机器学习、深度学习需要哪些数学知识?

入门避坑指南 自学三年,基本无人带路,转专业的我自然是难上加难,踩过无数坑,走过很多弯路。这里我整理了一下自己踩过的坑,供大家参考。 1. 不要从头开始学数学 如果不是一点数学都不会,...

osc_ow62fcn9
04/16
2
0

没有更多内容

加载失败,请刷新页面

加载更多

使用命名管道承载gRPC

最近GRPC很火,感觉整RPC不用GRPC都快跟不上时髦了。 gRPC设计 gRPC是一种与语言无关的高性能远程过程调用 (RPC) 框架。刚好需要使用一个的RPC应用系统,自然而然就盯上了它,但是它真能够解...

osc_nq69o22c
9分钟前
8
0
06-敏捷开发框架-apis 脚本库 引用位置无关性设计

动态引入技术的设计,对我们来说非常重要。 同时也说明动态语言的使用对我们来说也是非常重要。 没有动态语言的支撑,有些想法可能不容易实现,或者有替代方案,可能会花更大的代价。 前端开...

osc_5zg9z6t1
11分钟前
9
0
(三)学习了解OrchardCore笔记——灵魂中间件ModularTenantContainerMiddleware的第一行①的模块部分

  了解到了OrchardCore主要由两个中间件(ModularTenantContainerMiddleware和ModularTenantRouterMiddleware)构成,下面开始了解ModularTenantContainerMiddleware中间件第一行代码。   ...

osc_kdarxvx0
13分钟前
9
0
50Mn18Cr4V锻锻环件

电机无磁护环怎么锻性能才能《高高》?50Mn18Cr4V高锰无磁钢在变形温度为900~1 100℃、应变速率为0.1 ~10s-1条件下的热变形行为. 结果,VC第二相的应变诱导析出对50Mn18Cr4V的热变形行为产生...

无磁钢
13分钟前
16
0
【遇见offer】一汽-大众实习生专场来啦!成长+学习+福利,一个也不能少~

在上次一汽-大众的社招直播之后,实习生的专场招聘也终于来啦! 针对2020年暑期,我们提供了非常多的实习岗位给大家选择。 如果你想得到大厂实习的宝贵经验,如果你想得到更快速的成长,如果...

osc_b88oux8w
14分钟前
25
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部