特征分解 | Eigen decomposition

1 定义

线性代数中，特征分解（Eigen decomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

令 \(A\) 是一个 \(N \times N\) 的方阵，且有 \(N\) 个线性独立的特征向量 \(q_{i}\,\,(i=1,\dots ,N)\)。这样， \(A\) 可以被分解为：
\(\mathbf {A} =\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{-1}\tag{1}\)
其中 \(Q\) 是 \(N \times N\) 方阵，且其第 \(i\) 列为 \(A\) 的特征向量 \(q_{i}\)。 \(\Lambda \) 是对角矩阵，其对角线上的元素为对应的特征值，也即 \(\Lambda _{ii}=\lambda _{i}\)。

一般来说，特征向量 \(q_{i}\,\,(i=1,\dots ,N)\) 被单位化（但这不是必须的）。未被单位化的特征向量组 \(v_{i}\,\,(i=1,\dots ,N)\), 也可以作为 \(Q\) 的列向量。这一事实可以这样理解：\(Q\) 中向量的长度都被 \(Q^{−1}\) 抵消了。

2 推导

特征分解的推导使用特征值与特征向量 (Eigenvalue and Eigenvector)可以很容易获得。
给定矩阵 \(A\) 的 \(n\) 个线性无关的特征向量组成方阵 \(Q:\left[q_{1}, q_{2}, \ldots, q_{n}\right]\)
则有：

\(\begin{aligned}
A Q &=A\left[q_{1}, q_{2}, \dots, q_{n}\right] \\
&=\left[\lambda_{1} q_{1}, \lambda_{2} q_{2}, \dots, \lambda_{n} q_{n}\right] \\
&=\left[q_{1}, q_{2}, \dots, q_{n}\right] \Lambda \\
&=Q \Lambda
\end{aligned}\tag{2}\)

其中 \(\Lambda\) 为特征值组成的对角矩阵，因为假设组成特征向量矩阵 \(S\) 的 \(n\) 个特征向量线性无关，所以 \(S\) 可逆，从上式中就可以推导出对角化以及特征值分解的公式：

\(Q^{-1} A Q=\Lambda\tag{3}\)

因此：

\(A=Q^{-1} \Lambda Q\tag{4}\)

3 应用

3.1 矩阵求逆

若矩阵 A 可被特征分解并特征值中不含零，则矩阵 A 为非奇异矩阵，且其逆矩阵可以由下式给出：

\(\mathbf {A} ^{-1}=\mathbf {Q} \mathbf {\Lambda } ^{-1}\mathbf {Q} ^{-1}\tag{5}\)
因为 Λ 为对角矩阵，其逆矩阵容易计算出：

\(\left[\Lambda ^{-1}\right]_{ii}={\frac {1}{\lambda _{i}}}\tag{6}\)

4 特殊矩阵特征分解

4.1 对称矩阵

任意的 \(N \times N\) 实对称矩阵的特征值都是实数且都有 \(N\) 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 \(A\) 可被分解成

\(\mathbf {A} =\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{-1}=\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{T}\tag{7}\)

其中 \(Q\) 为 正交矩阵，\(\Lambda\) 为实对角矩阵。

4.2 正规矩阵

类似地，一个复正规矩阵具有一组正交特征向量基，故正规矩阵可以被分解成

\(\mathbf {A} =\mathbf {U} \mathbf {\Lambda } \mathbf {U} ^{H}\tag{8}\)
其中 \(U\) 为一个酉矩阵。进一步地，若 \(A\) 是埃尔米特矩阵，那么对角矩阵 \(\Lambda\) 的对角元全是实数。若 \(A\) 还是酉矩阵，则 \(\Lambda\) 的所有对角元在复平面的单位圆上取得。

参考文献

[1] https://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3
[2] https://zhuanlan.zhihu.com/p/69540876