文档章节

协方差矩阵的几何解释

tantexian
 tantexian
发布于 2017/07/20 16:05
字数 2215
阅读 17
收藏 0
点赞 0
评论 0

转载自:http://blog.csdn.net/u010182633/article/details/45937051

介绍

在本文中,我们通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反,我们采取一个反向的方法,根据数据的形状来解释协方差矩阵的概念。

在《为什么样本方差除以N-1?》的文章中,我们会讨论方差的概念,并提供了众所周知的估算样本方差公式的推导和证明。这篇文章中使用的图1表明标准差(方差的平方根)提供了数据在特征空间上传播多少的量度。 
这里写图片描述

我们发现,样本方差的无偏估计可由下式获得: 
这里写图片描述

然而,方差只能用于解释平行于特征空间轴方向的数据传播。考虑图2所示的二维特征空间: 
这里写图片描述

对于这个数据,我们可以计算出在x方向上的方差这里写图片描述和y方向上的方差这里写图片描述。然而,数据的水平传播和垂直传播不能解释明显的对角线关系。图2清楚地显示,平均而言,如果一个数据点的x值增加,则y值也将增加,这产生了正相关。这种相关性可以通过扩展方差概念到所谓的数据“协方差”捕捉到: 
这里写图片描述

对于2D数据,我们得到这里写图片描述,这些值可以用矩阵来表示,该矩阵叫做协方差矩阵: 
这里写图片描述

如果x与y是正相关的,那么y和x也是正相关的。换句话说,这里写图片描述。因此,协方差矩阵始终是一个对称矩阵,其对角线上是方差,非对角线上是协方差。二维正态分布数据由它的均值和2x2协方差矩阵就可以完全解释。同样,一个3x3协方差矩阵用于捕捉三维数据的传播,一个NxN协方差矩阵捕获N维数据的传播。

图3展示了数据的整体形状如何定义协方差矩阵: 
这里写图片描述

协方差矩阵的特征值分解

在下一节,我们将讨论协方差矩阵如何被解释为白色数据转换成我们观察到数据的线性操作。然而,在深入技术细节之前,对特征向量和特征值如何唯一地确定协方差矩阵(数据形状)有一个直观的认识是非常重要的。

正如我们在图3看到的,协方差矩阵定义了我们数据的传播(方差)和方向(协方差)。因此,如果我们想用一个向量和它的大小来表示协方差矩阵,我们应该简单地尝试找到指向数据最大传播方向上的向量,其大小等于这个方向上的传播(方差)。

如果我们定义这个向量为这里写图片描述,那么我们数据D到这个向量上的映射为这里写图片描述,映射数据的方差是这里写图片描述。由于我们正在寻找指向最大方差方向的向量这里写图片描述,所以我们应该选择它的成分,使得映射数据的协方差矩阵这里写图片描述尽可能的大。最大化这里写图片描述的形式为这里写图片描述的任何函数,其中这里写图片描述是归一化单位向量,可以用一个所谓的瑞利商表示。通过设置这里写图片描述等于矩阵的最大特征特征向量这里写图片描述可以获得这样瑞利商的最大值。

换句话说,协方差矩阵的最大特征向量总是指向数据最大方差的方向,并且该向量的幅度等于相应的特征值。第二大特征向量总是正交于最大特征向量,并指向第二大数据的传播方向。

现在,让我们来看看一些例子。在文章《特征值和特征向量》中http://blog.csdn.net/u010182633/article/details/45921929,我们看到一个线性变换矩阵T完全由它的特征向量和特征值定义。应用到协方差矩阵,这意味着: 
这里写图片描述 
这里写图片描述

如果我们数据的协方差矩阵是对角矩阵,使得协方差是零,那么这意味着方差必须等于特征值λ。如图4所示,特征向量用绿色和品红色表示,特征值显然等于协方差矩阵的方差分量。 
这里写图片描述

然而,如果协方差矩阵不是对角的,使得协方差不为零,那么情况稍微更复杂一些。特征值仍代表数据最大传播方向的方差大小,协方差矩阵的方差分量仍然表示x轴和y轴方向上的方差大小。但是,因为数据不是轴对齐的,所以这些值不再与图5所示的相同。 
这里写图片描述

通过比较图5与图4,可以清楚地看到特征值表示沿特征向量方向数据的方差,而协方差矩阵的方差分量表示沿轴的传播。如果没有协方差,则这两个值是相等的。

协方差矩阵作为线性变换

现在,让我们忘了协方差矩阵。图3的实例可以简单地认为是图6的一个线性变换实例: 
这里写图片描述

图6所示的数据是D,则图3所示的每个实例可以通过线性变换D得到:这里写图片描述

其中T是变换矩阵,包括一个旋转矩阵R和缩放矩阵S: 
这里写图片描述

这些矩阵定义如下: 
这里写图片描述 
其中这里写图片描述是旋转角度。

这里写图片描述 
这里写图片描述分别是x方向和y方向的比例因子。

在下面的段落中,我们将讨论协方差矩阵这里写图片描述与线性变换矩阵T= RS之间的关系。

让我们先从未缩放(缩放相当于1)和未旋转的数据开始。在统计中,这往往为“白数据’,因为它的样本是从标准正态分布引出的,因此对应于白(不相关)噪声: 
这里写图片描述

这个“白色”数据的协方差矩阵等于单位矩阵,使得方差和标准差等于1,协方差等于零: 
这里写图片描述

现在让我们用因子4在x方向缩放数据: 
这里写图片描述

数据D’现在如下: 
这里写图片描述

D’的协方差这里写图片描述现在是: 
这里写图片描述

D’的协方差这里写图片描述与线性变换矩阵T有关系,D=TD,其中: 
这里写图片描述

然而,虽然数据在x和y方向上缩放时等式(12)成立,但是应用旋转是否依然成立呢?为了调查一般情况下线性变换矩阵T和协方差矩阵这里写图片描述之间的关系,我们试图分解协方差矩阵为旋转和缩放矩阵的乘积。

正如我们前面所看到的,我们可以用特征向量和特征值表示协方差矩阵: 
这里写图片描述 
这里写图片描述

等式(13)保存矩阵Σ的每个特征向量和特征值。在2D情况下,我们得到两个特征值和两个特征值。由公式(13)定义的两个等式可以有效地用矩阵符号来表示: 
这里写图片描述 
其中V是矩阵,它的列是Σ的特征向量,L是对角矩阵,其非零元素对应特征值。

这意味着我们可以将协方差矩阵表示为特征向量和特征值的函数: 
这里写图片描述

方程(15)就是所谓协方差矩阵特征值分解,并可以使用奇异值分解算法来获得。而特征向量表示数据最大方差的方向,特征值表示那些方向方差的幅度。换言之,V表示旋转矩阵,而这里写图片描述表示一个缩放矩阵。协方差矩阵可以进一步分解为: 
这里写图片描述 
这里写图片描述

在等式(6)中,我们定义了一个线性变换T= RS。由于S是对角缩放矩阵,所以S=ST。此外,由于R为正交矩阵,R-1=RT。因此,这里写图片描述协方差矩阵可以写为: 
这里写图片描述

换言之,如果我们应用由T=RS定义的线性变换到图7所示的原始白数据,我们得到了旋转和缩放的数据D’及协方差矩阵这里写图片描述。这示于图10: 
这里写图片描述
图10的彩色箭头表示特征向量。最大特征向量,即与最大特征值对应的特征向量,总是指向数据最大方差的方向,并由此确定其方位。次特征向量总是正交于最大特征向量,因为旋转矩阵的正交性。

总结 
在本文中,我们表明观察到数据的协方差矩阵与白色不相关数据的线性变换有直接的关系。此线性变换完全由数据的特征向量和特征值确定。而特征向量表示旋转矩阵,特征值对应于每个维度上缩放因子的平方。

© 著作权归作者所有

共有 人打赏支持
tantexian
粉丝 191
博文 467
码字总数 717645
作品 0
成都
架构师
高斯混合模型(GMM model)以及梯度下降法(gradient descent)更新参数

关于GMM模型的资料和 EM 参数估算的资料,网上已经有很多了,今天想谈的是GMM的协方差矩阵的分析、GMM的参数更新方法 1、GMM协方差矩阵的物理含义 涉及到每个元素,是这样求算: 用中文来描述...

book_bbyuan ⋅ 2017/12/19 ⋅ 0

吴恩达机器学习课程涉及内容

1.机器学习的定义,兴起原因,应用领域,主要内容;线性回归模型假设函数。 2.线性回归的代价函数,梯度下降算法,特征缩放,均值归一,多项式回归,正规方程算法;逻辑回归的假设函数,决策边...

陈昱熹 ⋅ 2017/08/30 ⋅ 0

Regularized Gaussian Covariance Estimation(学习Free Mind知识整理)

 阅读http://freemind.pluskid.org/machine-learning/regularized-gaussian-covariance-estimation/文章中的一些知识整理: ========================================================......

langb2014 ⋅ 2015/08/27 ⋅ 0

一目了然之 PCA SVD 协方差 相关系数及区分

一、数据降维技术 二、PCA 首先要知道的是PCA降维的原理和目的是什么? 原理:最大化投影后数据的方差,表示为在某一维度的投影方差最大,如下图中当前位置不是投影方差最大的位置,因为好多...

herr_kun ⋅ 05/17 ⋅ 0

PCA的数学原理介绍

PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于...

qq_34040902的博客 ⋅ 2017/12/22 ⋅ 0

机器学习入门——线性模型(2)线性判别分析

线性判别分析(简称LDA),最早由Fisher提出,也叫Fisher判别分析。 LDA 的思想非常朴素: 给定训练样例集, 设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点...

乎者 ⋅ 05/09 ⋅ 0

主成分分析和因子分析十大不同

主成分分析和因子分析无论从算法上还是应用上都有着比较相似之处,本文结合以往资料以及自己的理解总结了以下十大不同之处,适合初学者学习之用。 1.原理不同 主 成分分析基本原理:利用降维...

闵开慧 ⋅ 2013/08/22 ⋅ 0

从随机变量到随机向量再到随机矩阵:那个你不一定知道的矩阵高斯分布

之前我们从高斯分布讲到了多维高斯分布,原来打算接下去可以说说高斯分布的衍生,不过既然评论中有些小伙伴们想先了解这个高斯分布的再进化版:矩阵值高斯分布(这里我们都简化叫做矩阵高斯分...

蓦风星吟 ⋅ 2017/04/12 ⋅ 0

那些你知道的和你不知道的性质(II):说说你知道但不熟悉的多维高斯分布

上一篇我们简单的说了一些重点对于之后的machine learning可能会有重要作用的一些性质,下面我们需要来看看高斯分布的升级版:多维高斯分布。 人类认识世界向来都是从简单到复杂,一步一个脚...

蓦风星吟 ⋅ 2017/04/07 ⋅ 0

Dimensionality Reduction——PCA原理篇

引言 PCA是在机器学习已经信号(图像)处理等领域非常重要的算法。 从空间角度来说,PCA目标在于找到一个投影矩阵,将数据从高维空间投影到低维子空间中,同时保留尽可能多的信息,或者说让信...

柳枫 ⋅ 2017/08/05 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Day 17 vim简介与一般模式介绍

vim简介 vi和Vim的最大区别就是编辑一个文件时vi不会显示颜色,而Vim会显示颜色。显示颜色更便于用户编辑,凄然功能没有太大的区别 使用 yum install -y vim-enhanced 安装 vim的三种常用模式...

杉下 ⋅ 59分钟前 ⋅ 0

【每天一个JQuery特效】根据可见状态确定是否显示或隐藏元素(3)

效果图示: 主要代码: <!DOCTYPE html><html><head><meta charset="UTF-8"><title>根据可见状态确定 是否显示或隐藏元素</title><script src="js/jquery-3.3.1.min.js" ty......

Rhymo-Wu ⋅ 今天 ⋅ 0

OSChina 周四乱弹 —— 初中我身体就已经垮了,不知道为什么

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @加油东溪少年 :下完这场雨 后弦 《下完这场雨》- 后弦 手机党少年们想听歌,请使劲儿戳(这里) @马丁的代码 :买了日本 日本果然赢了 翻了...

小小编辑 ⋅ 今天 ⋅ 12

浅谈springboot Web模式下的线程安全问题

我们在@RestController下,一般都是@AutoWired一些Service,由于这些Service都是单例,所以并不存在线程安全问题。 由于Controller本身是单例模式 (非线程安全的), 这意味着每个request过来,...

算法之名 ⋅ 今天 ⋅ 0

知乎Java数据结构

作者:匿名用户 链接:https://www.zhihu.com/question/35947829/answer/66113038 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 感觉知乎上嘲讽题主简...

颖伙虫 ⋅ 今天 ⋅ 0

Confluence 6 恢复一个站点有关使用站点导出为备份的说明

推荐使用生产备份策略。我们推荐你针对你的生产环境中使用的 Confluence 参考 Production Backup Strategy 页面中的内容进行备份和恢复(这个需要你备份你的数据库和 home 目录)。XML 导出备...

honeymose ⋅ 今天 ⋅ 0

JavaScript零基础入门——(九)JavaScript的函数

JavaScript零基础入门——(九)JavaScript的函数 欢迎回到我们的JavaScript零基础入门,上一节课我们了解了有关JS中数组的相关知识点,不知道大家有没有自己去敲一敲,消化一下?这一节课,...

JandenMa ⋅ 今天 ⋅ 0

火狐浏览器各版本下载及插件httprequest

各版本下载地址:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/ httprequest插件截至57版本可用

xiaoge2016 ⋅ 今天 ⋅ 0

Docker系列教程28-实战:使用Docker Compose运行ELK

原文:http://www.itmuch.com/docker/28-docker-compose-in-action-elk/,转载请说明出处。 ElasticSearch【存储】 Logtash【日志聚合器】 Kibana【界面】 答案: version: '2'services: ...

周立_ITMuch ⋅ 今天 ⋅ 0

使用快嘉sdkg极速搭建接口模拟系统

在具体项目研发过程中,一旦前后端双方约定好接口,前端和app同事就会希望后台同事可以尽快提供可供对接的接口方便调试,而对后台同事来说定好接口还仅是个开始、设计流程,实现业务逻辑,编...

fastjrun ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部