文档章节

奇异值分解SVD

千面人
 千面人
发布于 2017/04/26 11:30
字数 211
阅读 107
收藏 0
svd

对于方阵而言的,矩阵特征的提取采用特征值分解。而现实世界中,我们看到的大部分矩阵都不是方阵。怎样才能描述这样普通的矩阵呢的重要特征呢?奇异值分解可以用来干这个事情。

from the theory of linear algebra, there exists a decomposition of X such that U and V are orthogonal matrices and \Sigma  is a diagonal matrix. This is called a singular value decomposition (SVD):

{\begin{matrix}X=U\Sigma V^{T}\end{matrix}}

The matrix products giving us the term and document correlations then become

{\displaystyle {\begin{matrix}XX^{T}&=&(U\Sigma V^{T})(U\Sigma V^{T})^{T}=(U\Sigma V^{T})(V^{T^{T}}\Sigma ^{T}U^{T})=U\Sigma V^{T}V\Sigma ^{T}U^{T}=U\Sigma \Sigma ^{T}U^{T}=U\Sigma ^{2}U^{T}\\X^{T}X&=&(U\Sigma V^{T})^{T}(U\Sigma V^{T})=(V^{T^{T}}\Sigma ^{T}U^{T})(U\Sigma V^{T})=V\Sigma ^{T}U^{T}U\Sigma V^{T}=V\Sigma ^{T}\Sigma V^{T}=V\Sigma ^{2}V^{T}\end{matrix}}}

Since \Sigma \Sigma ^{T} and \Sigma ^{T}\Sigma  are diagonal we see that U must contain the eigenvectors of XX^{T}, while V must be the eigenvectors of X^{T}X. Both products have the same non-zero eigenvalues, given by the non-zero entries of \Sigma \Sigma ^{T}, or equally, by the non-zero entries of \Sigma ^{T}\Sigma .

摘自:维基百科

附:计算svd的算法时间复杂度为O(N^3)

参考:

【1】机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用 

本文转载自:https://en.wikipedia.org/wiki/Latent_semantic_analysis#Latent_semantic_indexing

千面人
粉丝 18
博文 48
码字总数 24904
作品 0
杭州
高级程序员
私信 提问
HAWQ + MADlib 玩转数据挖掘之(五)——奇异值分解实现推荐算法

一、奇异值分解简介 奇异值分解简称SVD(singular value decomposition),可以理解为:将一个比较复杂的矩阵用更小更简单的三个子矩阵的相乘来表示,这三个小矩阵描述了大矩阵重要的特性。S...

wzy0623
2017/07/20
0
0
强大的矩阵奇异值分解(SVD)及其应用

一、奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出...

liangtee
2013/03/30
637
0
opencv2.4中SVD分解的几种调用方法

原帖地址: http://blog.sina.com.cn/s/blog_6109b5d00101ag7a.html 在摄影测量和计算机视觉中,考虑最优解问题时,经常要用到SVD分解。奇异值分解 (singular value decomposition,SVD) 是一...

迈克老狼1
2013/12/02
0
0
矩阵特征值分解与奇异值分解含义解析及应用

特征值与特征向量的几何意义 矩阵的乘法是什么,别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”,还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行数才能相乘”,然而,这里...

日拱一卒
2016/07/01
138
0
奇异值分解(SVD)原理与在降维中的应用

奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学...

dby_freedom
2018/10/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

领域驱动中的“贫血症和失忆症”

贫血症严重危害着人类健康,并且伴随有危险的副作用。当贫血领域对象被首次提出来时,它并不是一个博得赞美的词汇,它描述的是一个缺少内在行为领域对象。奇怪的是,人们对于贫血领域对象的态...

还仙
3分钟前
1
0
条码打印软件中标签预览正常打印无反应怎么解决

在使用条码打印软件制作标签时,有客户反馈,标签打印预览正常的,但是打印无反应,咨询是怎么回事?今天针对这个情况,可以参考以下方法进行解决。 一、预览正常情况下,打印没反应 (1)在条码...

中琅软件
13分钟前
1
0
判断字符串的时候

判断字符串的时候一定把常量房前边, //报警程度 String leve = vo.getDeviceAlertDeal().getWarnLevel(); if(("0").equals(leve)) { row.add("无报警"); }else if(("1").equals(leve)) { ro......

简小姐
13分钟前
2
0
Linux maven3.6.2 install

PS:安装 maven 之前请先安装 jdk 1.安装 wget 命令(安装过就不用了) yum -y install wget 2.寻找需要的 maven 版本 https://maven.apache.org/download.cgi 3.进入 /var/local 文件夹 cd...

东方神祇
16分钟前
1
0
Tomcat源码分析二:先看看Tomcat的整体架构

Tomcat源码分析二:先看看Tomcat的整体架构 Tomcat架构图 我们先来看一张比较经典的Tomcat架构图: 从这张图中,我们可以看出Tomcat中含有Server、Service、Connector、Container等组件,接下...

flygrk
18分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部