奇异值分解

Revision needed

考虑两个线性空间$R^n$和$R^m$, 其中$V=[v_1,v_2,…,v_n]$是$R^n$的一组标准正交基，我们希望对这个基底做一个线性变换得到$R^m$空间的一组基底，这个基底也是正交的。

这个新基底是$R^m$空间下某个标准正交基乘上某个系数矩阵，用矩阵的语言来说，我们实际有这个等式：

$$ AV = U\Sigma $$

其中A表示线性变换，V是$R^n$的一组标准正交基，U是$R^m$的一组标准正交基，$\Sigma$是系数对角阵。

换句话说，对每一个m*n的矩阵，它其实都是其行空间$R^n$和列空间$R^m$某两个正交基底的变换矩阵，奇异值分解其实就要找到这两个基底。

直接求解下式，并不好求，因为它同时包含很多个未知量。

$$ A = U\Sigma V^T $$

我们知道$A^TA$具有很好的性质，考虑

$$ A^TA = V\Sigma^T U^TU\Sigma V^T = V\Sigma^T\Sigma V^T $$

我们知道$A^TA$是对称矩阵，而对称矩阵的特征向量是正交的，而我们正好要求V是一个正交矩阵！因此，我们知道$A^TA$的特征向量构成的矩阵就是（满足要求，但唯一性需要证明）我们要求的V。$\Sigma^T\Sigma$则是$A^TA$的特征值。

类似的，考虑$AA^T$，我们有

$$ AA^T = U\Sigma^T V^TV\Sigma U^T = U\Sigma^T\Sigma U^T $$

即U是$AA^T$的特征向量构成的矩阵，$\Sigma^T\Sigma$则是$AA^T$的特征值。

我们这时候其实得到了一个附属结论，那就是$AA^T$和$A^TA$的特征值是相同的。