第10章：特征值与特征向量

---

在本章中，我们介绍方阵的特征值与特征向量的概念。它们具有广泛应用，例如更好地理解与可视化线性映射、分析机械结构的稳定性、求解微分方程组、进行图像识别、解释与可视化二次方程，以及用于图像分割。我们先从两个例子开始。

---

我们先给出特征值与特征向量的定义。

在第 9 章中我们看到，线性映射可以表示为矩阵乘法。对于线性映射同样可以定义特征向量与特征值：对线性映射 $F$，若非零向量$\vc{v}$ 满足 $F(\vc{v})$ 与 $\vc{v}$ 平行，即 $F(\vc{v}) = \lambda \vc{v}$，则称 $\vc{v}$ 为特征向量；相应的 $\lambda$ 称为特征值。

在交互插图 10.3中， 你可能注意到，改变向量 $\vc{v}$ 的长度并不会改变它是否是特征向量这一事实。这源于该映射的线性性，见下述定理。

---

因此，特征向量总可以按比例缩放。然而，请记住特征向量必须是非零向量。

---

本节将介绍如何计算特征向量与特征值。（注意：该方法基于求多项式的根。在实际中，存在更高效的数值方法用于求特征值与特征向量。随后我们还会利用特征值与根之间的联系，用特征值来计算根，而非反过来。）

---

---

特征向量与特征值与对角化这一概念密切相关。 其核心思想是：若选择特征向量作为基向量，则线性映射会变得格外简单。我们需要针对线性映射与矩阵分别给出对角化的定义；两者本质上是等价的。

关于第一个定义，需要回忆：即使不选取基，也可以定义线性映射$F(\vc{v})$。例如，将输入向量拉长两倍的线性映射，与是否选取基无关。然而，一旦为该线性映射选定了基，便可将其写成 $F(\vc{v}) = \mx{A}\vc{v}$ 的形式，其中 $\mx{A}$ 是变换矩阵，且取决于所选的基。基于此，我们可以给出线性映射的可对角化定义。

矩阵 $\mx{A}$ 被分解为三个矩阵 $\mx{V}$、$\mx{D}$ 与 $\mx{V}^{-1}$ 的乘积。此类分解在诸多应用中极为有用；我们将在本章后续给出若干示例。

为理解对角化与特征向量、特征值之间的关系，我们将矩阵方程重写为：

\begin{equation} \mx{A} \mx{V}= \mx{V} \mx{D} . \end{equation}

(10.19)

设 $\mx{V}$ 的列向量为 $(\vc{v}_1, \ldots, \vc{v}_n)$，而 $\mx{D}$ 的对角元为 $(\lambda_1, \ldots, \lambda_n)$。 据此可将上式写为：

\begin{equation} \mx{A} \begin{pmatrix} \vc{v}_1 & \ldots & \vc{v}_n \end{pmatrix} = \begin{pmatrix} \vc{v}_1 & \ldots & \vc{v}_n \end{pmatrix} \mx{D} \end{equation}

(10.20)

或等价地

\begin{equation} \begin{pmatrix} \mx{A} \vc{v}_1 & \ldots & \mx{A} \vc{v}_n \end{pmatrix} = \begin{pmatrix} \lambda_1 \vc{v}_1 & \ldots & \lambda_n \vc{v}_n \end{pmatrix}. \end{equation}

(10.21)

换言之，矩阵方程的第 $k$ 列可写为：

\begin{equation} \mx{A} \vc{v}_k = \lambda_k \vc{v}_k, \end{equation}

(10.22)

因此，$\mx{V}$ 的各列是 $\mx{A}$ 的特征向量，其对应的特征值位于 $\mx{D}$ 的相应对角元上。 可将上述内容总结为如下定理。

对 $2 \times 2$ 矩阵，特征多项式为二次，因此有两个根（计入复数根并考虑重数）。在例 10.5中，这两个根（$2$ 与 $3$）不同，因而存在由特征向量构成的基。对于一般的 $n \times n$ 矩阵，也成立，见下述定理。

---

因此当所有根互不相同时，矩阵可对角化。若存在更高重数的根，矩阵既可能可对角化（见例 10.7），也可能不可对角化（见例 10.8）。

在例 10.6中，只有单根，因此所有特征值均不同。由定理 10.4可知，此类矩阵总是可对角化。对于特征多项式具有重根（或更高重数）的矩阵，既可能如例 10.7那样可对角化，也可能如例 10.8那样不可对角化。是否可对角化取决于对每个特征值$\lambda$，能从 $(\lambda I - \mx{A})$ 的零空间中选出多少个线性无关的特征向量。 在此引入代数重数与几何重数的概念会很有用。

---

---

在例 10.7与例 10.8中，均只有一个特征值，且两例的代数重数均为 2。在例 10.7中，几何重数仅为 1，因此不可对角化；而在例 10.8中，几何重数为 2，因此可对角化。 需要注意的是：对随机矩阵（例如每个元素独立服从正态分布），不可对角化的概率极小。事实上，若使用真正的连续正态分布而非（离散的）计算机近似，该概率为零。因此，在某种意义上，不可对角化矩阵是例外。不过，在实际应用中存在具有内在结构而导致不可对角化的矩阵。

---

我们主要处理实矩阵与实向量，但包含复数的矩阵与向量同样很有用。即便对实矩阵，有时也需要考虑复特征值与复特征向量。 对实矩阵与复矩阵 $\mx{A}$，复特征值与复特征向量的定义是相似的。

对称矩阵的一个有用性质总结如下定理。

---

注意在上述证明中我们使用了 $\bar{\mx{A}}^\T = \mx{A}$。因此，对满足约束 $\bar{\mx{A}}^\T = \mx{A}$ 的复矩阵，同样可以证明其所有特征值均为实数。

---

---

---

在例 10.4中，我们研究了在固定输入向量长度时输出向量 $F(\vc{v})$ 能有多长。这里我们将使用定理 10.8 与 定理 10.7 来进一步理解。 给定实矩阵 $\mx{A}$ 及其对应的线性映射 $F(\vc{v}) = \mx{A} \vc{v}$（$\vc{v}$ 为实向量），哪个输入 $\vc{v}$ 能使伸长量 $s = \frac{|| \mx{A} \vc{v}||}{||\vc{v}||}$ 最大或最小？ 研究伸长量的平方更为容易，即：

\begin{equation} s^2 =\left(\frac{|| \mx{A} \vc{v}||}{||\vc{v}||}\right)^2= \frac{\vc{v}^\T \mx{A}^\T \mx{A} \vc{v}}{\vc{v}^\T \vc{v}}, \end{equation}

(10.65)

其中假设向量 $\vc{v}$ 非零。注意此处相关的是矩阵 $\mx{A}^\T \mx{A}$。 该矩阵按构造即为对称。根据 定理 10.8，我们可以使用规范正交矩阵 $\mx{U}$ 对其进行对角化，

\begin{equation} \mx{A}^\T \mx{A} = \mx{U} \mx{D} \mx{U}^\T . \end{equation}

(10.66)

其特征值为实数。注意 $\mx{A}^\T \mx{A}$ 是半正定矩阵，可由 $ \vc{v}^T \mx{A}^\T \mx{A} \vc{v} = \left( || \mx{A} \vc{v}|| \right)^2 \geq 0$ 看出。由定理 10.9可知这些特征值均为非负。 为简便起见，假设按 $d_1 \geq d_2 \geq \ldots \geq d_n \geq 0$ 对特征值排序。 于是有

\begin{equation} s^2 = \frac{\vc{v}^\T \mx{A}^\T \mx{A} \vc{v}}{\vc{v}^\T \vc{v}} = \frac{\vc{v}^\T \mx{U} \mx{D} \mx{U}^\T \vc{v}}{\vc{v}^\T \mx{U} \mx{U}^\T \vc{v}} . \end{equation}

(10.67)

作坐标变换 $\vc{w} = \mx{U}^\T \vc{v}$，得到

\begin{equation} s^2 = \frac{\vc{w}^\T \mx{D} \vc{w}}{\vc{w}^\T \vc{w}}. \end{equation}

(10.68)

为了理解如何最大化该量，注意分子只是

\begin{equation} w_1^2 d_1 + w_2^2 d_2 + \ldots + w_n^2 d_n, \end{equation}

(10.69)

其中 $d_1, d_2, \dots, d_n$ 是 $\mx{D}$ 的对角元。此外，分母为

\begin{equation} w_1^2 + w_2^2 + \ldots + w_n^2. \end{equation}

(10.70)

因此，直观来看，若希望在尽量减小分母的同时最大化分子， 合理的做法是让第一项占据最大权重，因为 $d_1$ 为最大元素； 例如可令 $w_1 = 1$ 且当 $j\neq1$ 时令 $w_j = 0$。

若希望对上述直觉给出严格证明，可按如下方式进行。首先将 公式 (10.68) 重写为

\begin{equation} s^2 = \frac{\sum_{i=1}^n d_i w_i^2 }{\sum_{i=1}^n w_i^2}. \end{equation}

(10.71)

为分析最大值，先通过计算偏导数求所有驻点：

\begin{equation} \frac{\partial (s^2)}{\partial w_i} = \frac{ (2 d_i w_i) (\sum_{i=1}^n w_i^2) - (\sum_{i=1}^n d_i w_i^2 )(2 w_i)}{(\sum_{i=1}^n w_i^2)^2} . \end{equation}

(10.72)

由于在驻点处对所有 $i$ 均有 $\frac{\partial (s^2)}{\partial w_i} = 0$，于是得到

\begin{equation} \begin{pmatrix} d_1 w_1 & w_1 \\ d_2 w_2 & w_2 \\ \vdots & \vdots \\ d_n w_n & w_n \end{pmatrix} \begin{pmatrix} \sum_{i=1}^n w_i^2 \\ \sum_{i=1}^n d_i w_i^2 \end{pmatrix} = \vc{0}. \end{equation}

(10.73)

于是得到一个“矩阵乘以向量等于零”的表达式。由于顶端元素是其长度的平方 $||\vc{w}||^2$，当变换后的向量 $\vc{w}$ 非零时，原向量也非零。因此若 $\vc{w}\neq \vc{0}$，必是该矩阵使表达式为零，即其零空间的维数至少为 1（亏格为 1）。这意味着矩阵的秩至多为 1，因为定理 8.8指出秩与亏格之和等于列数。而定理 8.9指出秩等于最大非零余子式的阶数。因此本例中最大的余子式是 $1\times 1$，这进一步意味着每个 $2 \times 2$ 的余子式为零，即：

\begin{equation} \det \begin{pmatrix} d_i w_i & w_i \\ d_j w_j & w_j \end{pmatrix} =(d_i-d_j) w_i w_j = 0 \end{equation}

(10.74)

对所有 $i$ 与 $j$ 均成立。一个可行的解是令 $\vc{w}$ 仅有一个非零元素。 当 $\vc{w}_{max} = \begin{pmatrix} 1 & 0 & \ldots & 0 \end{pmatrix}$ 时取得全局最大伸长量 $d_1$；当 $\vc{w}_{min} = \begin{pmatrix} 0 & 0 & \ldots & 1 \end{pmatrix}$ 时取得全局最小伸长量 $d_n$。 由于 $\vc{w} = \mx{U}^\T \vc{v}$，可得 $\vc{v} = \mx{U} \vc{w}$。这意味着最大伸长量对应 $\vc{v}_1$，即对应最大特征值的 $\mx{A}^\T \mx{A}$ 的特征向量；最小伸长量对应 $\vc{v}_n$，即对应最小特征值的 $\mx{A}^\T \mx{A}$ 的特征向量。

---

本节给出一些关于特征值与特征向量的有用结论与性质。

---

---

因此 $ \mx{A}$ 与 $\mx{A}^\T$ 具有相同的特征值。但其特征向量可能不同。

---

---

---

本节通过一组示例展示特征值与特征向量的实际用途。

特征向量可用于更好地理解线性映射。

一架飞机从华沙飞往克拉科夫。经过一些美丽地标时，机长通过广播请所有有兴趣观景的乘客朝飞机右侧观看。许多乘客照做，结果飞机随即坠毁。为什么？ 因为右侧平面上的极点太多。

---

本章最后给出一个例子，以说明该主题还有更多内容可供深入学习。