各种矩阵

Created: Decemenber, 1, 2020

对称矩阵 #

  • 定义：满足$A^T=A$的矩阵。
  • 显然，对称矩阵是方阵，否则转一下形状都变了。

对称矩阵的特征值/向量有着很好的性质：

  1. 实对称矩阵的特征值都是实数。
  2. 对称矩阵的特征向量是正交的。没验证，不过应该是不同特征值对应的特征向量一定是正交的，同一个特征值对应的特征向量可能需要Schmidt正交化。
证明

1. 实对称矩阵的特征值都是实数

已知$Ax = \lambda x$，左右两边同时取共轭，有

$$ \bar{A}\bar{x}=\bar{\lambda}\bar{x} $$

因为A是实对称矩阵，$\bar{A}=A$，因此有 $$ A\bar{x}=\bar{\lambda}\bar{x} $$

左右两边同时取转置，有

$$ \bar{x}^TA=\bar{x}^T\bar{\lambda} $$

左右两边同时右乘x，得 $$ \bar{x}^TAx=\bar{x}^T\bar{\lambda}x $$

对$Ax = \lambda x$，左右两边同时左乘$\bar{x}^T$，得 $$ \bar{x}^TAx=\bar{x}^T\lambda x $$

比较两个式子，可以得到

$$ \bar{\lambda} = \lambda $$

一个数的共轭等于其本身，这个数是实数。

2. 对称矩阵的特征向量是正交的

正定矩阵 #

正定矩阵是对称矩阵的一种特殊情况，因此它也是对称的。

定义 #

正定矩阵有各种各样的定义，它们互相之间是等价的。下面是几种常见定义/判定方法：

  1. 所有特征值大于0。
  2. 所有顺序主子式都大于0。
  3. 所有Pivots都大于0。
  4. $x^TAx>0$ ： $x=[x_1,x_2, …, x_n]$, 对于所有的非零x恒大于0

类似的可以定义半正定(大于等于0)，负定（小于0），半负定（小于等于0）。

上述四个定义相关性的不严格证明

考虑第四个定义，我们知道正定矩阵就是二次型的系数矩阵，当二次型要恒大于0，则它必定可以化成一系列平方的和，且每一项的系数都大于0（可以等于0吗？不行，平方项是可以等于0的，如果有一项系数是0，就多了一个自由变量，就可以构造出等于0的x），而化为平方和形式的过程，等价于对A做elimination，平方项的系数就是elimination之后的pivots，里面的系数是elimination过程的L矩阵。

例：

特殊情况 #

  • $A^TA$必定是半正定矩阵，如果A(m*n矩阵)的秩为n，则必定是正定矩阵。
证明

直观的，这个相当于矩阵形式的平方。我们知道标量，$a^2>0$，对应的，我们可以想象$A^TA$是应该是正定的。

回忆正定矩阵的四种定义：特征值不知道，pivots不知道，顺序主子式不知道，因此考虑最后一种形式。

严格证明：

考虑矩阵$A\in R^{m\times n}$

$$ x^TA^TAx = (Ax)^TAx = ||Ax||^2 \geq 0 $$

上式，只有在Ax=0的时候才取0，如果我们希望$A^TA$是正定的，这意味着Ax=0不能有解，而无解的条件是A的列向量线性无关，即A的秩为n。

正交矩阵 #

正交矩阵（英语：orthogonal1 matrix）是一个方块矩阵Q，其元素为实数，而且行向量与列向量皆为正交的单位向量。

  • 相同行/列向量内积为1
  • 不同行/列向量内积为0

显然，每个行/列向量都不能由其他行/列向量线性表出，因此正交矩阵必定是满秩矩阵。

行向量正交能否推出列向量正交? 可以，推导如下：

行向量正交，因此有$AA^T = I$, 对于方阵，有$AB = I \simeq BA=I$ ( 证明)， 则有$A^TA=I$，则有列向量正交。

重要性质 #

  • 正交矩阵的转置矩阵等于其逆矩阵: $A^T = A^{-1}$
  • 行列式值必定为+1或-1 $$ 1=\operatorname{det}(I)=\operatorname{det}\left(Q^{T} Q\right)=\operatorname{det}\left(Q^{T}\right) \operatorname{det}(Q)=(\operatorname{det}(Q))^{2} \Rightarrow \operatorname{det}(Q)=\pm 1 $$

  1. 虽然更完整的说法是orthonormal matrix(标准正交矩阵)，但我们说正交矩阵的时候一般都是指标准正交。 ↩︎

Calendar February 2, 2021