特征分解 | Eigen decomposition

1 定义

线性代数中，特征分解（Eigen decomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

令 A 是一个 N \times N 的方阵，且有 N 个线性独立的特征向量 q_{i}\,\,(i=1,\dots ,N)。这样， A 可以被分解为：
\mathbf {A} =\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{-1}\tag{1}
其中 Q 是 N \times N 方阵，且其第 i 列为 A 的特征向量 q_{i}。 \Lambda 是对角矩阵，其对角线上的元素为对应的特征值，也即 \Lambda _{ii}=\lambda _{i}。

一般来说，特征向量 q_{i}\,\,(i=1,\dots ,N) 被单位化（但这不是必须的）。未被单位化的特征向量组 v_{i}\,\,(i=1,\dots ,N), 也可以作为 Q 的列向量。这一事实可以这样理解：Q 中向量的长度都被 Q^{−1} 抵消了。

2 推导

特征分解的推导使用特征值与特征向量 (Eigenvalue and Eigenvector)可以很容易获得。
给定矩阵 A 的 n 个线性无关的特征向量组成方阵 Q:\left[q_{1}, q_{2}, \ldots, q_{n}\right]
则有：

其中 \Lambda 为特征值组成的对角矩阵，因为假设组成特征向量矩阵 S 的 n 个特征向量线性无关，所以 S 可逆，从上式中就可以推导出对角化以及特征值分解的公式：

因此：

3 应用

3.1 矩阵求逆

若矩阵 A 可被特征分解并特征值中不含零，则矩阵 A 为非奇异矩阵，且其逆矩阵可以由下式给出：

\mathbf {A} ^{-1}=\mathbf {Q} \mathbf {\Lambda } ^{-1}\mathbf {Q} ^{-1}\tag{5}
因为 Λ 为对角矩阵，其逆矩阵容易计算出：

4 特殊矩阵特征分解

4.1 对称矩阵

任意的 N \times N 实对称矩阵的特征值都是实数且都有 N 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 A 可被分解成

其中 Q 为 正交矩阵，\Lambda 为实对角矩阵。

4.2 正规矩阵

类似地，一个复正规矩阵具有一组正交特征向量基，故正规矩阵可以被分解成

\mathbf {A} =\mathbf {U} \mathbf {\Lambda } \mathbf {U} ^{H}\tag{8}
其中 U 为一个酉矩阵。进一步地，若 A 是埃尔米特矩阵，那么对角矩阵 \Lambda 的对角元全是实数。若 A 还是酉矩阵，则 \Lambda 的所有对角元在复平面的单位圆上取得。

参考文献

[1] https://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3
[2] https://zhuanlan.zhihu.com/p/69540876