首页 > 技术文章 > svd

qwj-sysu 2016-05-26 17:25 原文

SVD(Singular Value Decomposition),中文是奇异值分解,最近很感兴趣,下面谈谈我对svd的理解,没有线性代数基础的可以直接看应用部分或者记住关键结论就好了。

理论部分:

线性变化

奇异值分解不是一个凭空幻想出来的概念,而是解决一个数学问题的成果,这个数学问题可以概括成:对于∀矩阵A,是否∃一组正交基,在经过A变换之后还是正交的?

在研究一般矩阵之前,我们已经发现了一些特殊矩阵的结果,然后我们想着能否把这些特殊情况推广到一般情况。

特殊矩阵的结果如下:

:(对角矩阵是除了对角线上元素不全为零,其他位置全为零的方阵,)对角矩阵可以对标准基做变换之后得到的还是一组正交基(变换之后的不再是标准的了,他们在各个基上面可能做了伸缩,伸缩的系数用一个对角矩阵表示,对角矩阵的特殊性在于它能对一组最特殊的正交基(标准单位矩阵I:长度为1,且每个基向量只有一个元素为1)做变换。

对称矩阵是对角矩阵在对角线两侧对称位置加上相同元素得到的矩阵,这时候,对称矩阵无法对标准单位矩阵I做变换,使得得到的还是一组正交基,但是我们可以找到一组标准正交基Q,满足对称矩阵的需要

那么对于一般矩阵A,是否存在一组正交基,在进过A变换之后还是正交的?答案是肯定的,

下面给出证明:(A的转置用A'表示)补充一点,是特征值矩阵

给定A=m*n,A'A是对称矩阵,存在A'AQ=Q,也就是说存在一组标准正交基使得A'A满足要求;

取这组正交基的任意两个向量Vi,Vj,有Vi•Vj=0,

那么A'AVj=

推荐阅读