奇异向量

定义

Singular Vectors 奇异向量是奇异值分解中连接输入正交方向和输出正交方向的两组单位向量。设

A \in R^{m \times n}, A = U Σ V^{T},

并写

U = [\begin{matrix} u_{1} & \dots & u_{m} \end{matrix}], V = [\begin{matrix} v_{1} & \dots & v_{n} \end{matrix}] .

则 $v_{i} \in R^{n}$ 称为右奇异向量， $u_{i} \in R^{m}$ 称为左奇异向量。对所有非零奇异值，

A v_{i} = σ_{i} u_{i}, i = 1, \dots, r .

这里 $r = rank (A)$ ，并且

σ_{1} \geq σ_{2} \geq \dots \geq σ_{r} > 0.

右奇异向量属于输入空间，描述 $A$ 在哪些输入方向上进行独立伸缩；左奇异向量属于输出空间，描述这些输入方向被送到哪些输出方向。两组向量各自正交归一，但它们通常生活在不同维数的空间中。

为什么需要两组向量

普通特征向量只处理

A x = λ x,

所以输入向量和输出向量必须属于同一个空间。这带来三个限制：矩阵必须是方阵；特征向量可能不正交；某些矩阵没有足够多的特征向量组成基。

奇异向量把问题改成

输入方向 v_{i} \overset{A}{\to} 输出方向 u_{i},

并用非负长度 $σ_{i}$ 记录伸缩量。因此即使 $A$ 是矩形矩阵，或者特征向量结构很差，仍然可以找到完整的输入正交基 $v_{1}, \dots, v_{n}$ 和输出正交基 $u_{1}, \dots, u_{m}$ 。

从 $A^{T} A$ 构造右奇异向量

右奇异向量来自对称半正定矩阵 $A^{T} A$ 。若

A^{T} A v_{i} = σ_{i}^{2} v_{i}, ∥ v_{i} ∥ = 1,

并且 $σ_{i} > 0$ ，则定义

u_{i} = \frac{A v_{i}}{σ_{i}} .

于是

A v_{i} = σ_{i} u_{i} .

这说明 $v_{i}$ 是 $A^{T} A$ 的单位特征向量， $σ_{i}^{2}$ 是对应特征值，而 $u_{i}$ 由 $A$ 作用在 $v_{i}$ 后再归一化得到。

关键事实是 $u_{i}$ 会自动正交。若 $i \neq j$ ，则

u_{i}^{T} u_{j} = {(\frac{A v_{i}}{σ_{i}})}^{T} (\frac{A v_{j}}{σ_{j}}) = \frac{v_{i}^{T} A^{T} A v_{j}}{σ_{i} σ_{j}} = \frac{σ_{j}^{2}}{σ_{i} σ_{j}} v_{i}^{T} v_{j} = 0.

因此对称矩阵 $A^{T} A$ 的正交特征向量不仅给出输入端正交基，也通过 $A$ 生成输出端正交基。

与 $A A^{T}$ 的关系

左奇异向量也是 $A A^{T}$ 的特征向量。由 $A v_{i} = σ_{i} u_{i}$ 可得

A A^{T} u_{i} = A A^{T} (\frac{A v_{i}}{σ_{i}}) = \frac{A (A^{T} A) v_{i}}{σ_{i}} = \frac{A (σ_{i}^{2} v_{i})}{σ_{i}} = σ_{i}^{2} u_{i} .

所以非零奇异值的平方同时是 $A^{T} A$ 与 $A A^{T}$ 的非零特征值。区别在于： $v_{i}$ 位于输入空间 $R^{n}$ ， $u_{i}$ 位于输出空间 $R^{m}$ 。

四个基本子空间中的位置

设 $A$ 的秩为 $r$ 。奇异向量为四个基本子空间同时选择正交基：

v_{1}, \dots, v_{r} 张成行空间 C (A^{T}), v_{r + 1}, \dots, v_{n} 张成零空间 N (A),

u_{1}, \dots, u_{r} 张成列空间 C (A), u_{r + 1}, \dots, u_{m} 张成左零空间 N (A^{T}) .

其中 $v_{r + 1}, \dots, v_{n}$ 对应零奇异值，满足

A v_{i} = 0.

$u_{r + 1}, \dots, u_{m}$ 不由非零奇异值公式决定，而是作为 $N (A^{T})$ 的任意正交基补齐 $U$ 。补齐之后有完整等式

A V = U Σ, A = U Σ V^{T} .

简化形式与完整形式

只保留非零奇异值方向时，

V_{r} = [\begin{matrix} v_{1} & \dots & v_{r} \end{matrix}], U_{r} = [\begin{matrix} u_{1} & \dots & u_{r} \end{matrix}],

满足

A V_{r} = U_{r} Σ_{r} .

这刻画了 $A$ 在行空间到列空间之间的一一对应。补上零空间与左零空间的正交基后，得到

A V = U Σ .

矩阵等式 $A = U Σ V^{T}$ 与逐向量等式 $A v_{i} = σ_{i} u_{i}$ 是同一个事实的两种写法。

例子

对

A = [\begin{matrix} 3 & 0 \\ 4 & 5 \end{matrix}],

有

A^{T} A = [\begin{matrix} 25 & 20 \\ 20 & 25 \end{matrix}], A A^{T} = [\begin{matrix} 9 & 12 \\ 12 & 41 \end{matrix}] .

奇异值平方为

σ_{1}^{2} = 45, σ_{2}^{2} = 5.

右奇异向量是 $A^{T} A$ 的单位特征向量：

v_{1} = \frac{1}{\sqrt{2}} [\begin{matrix} 1 \\ 1 \end{matrix}], v_{2} = \frac{1}{\sqrt{2}} [\begin{matrix} - 1 \\ 1 \end{matrix}] .

再由 $u_{i} = A v_{i} / σ_{i}$ 得

u_{1} = \frac{1}{\sqrt{10}} [\begin{matrix} 1 \\ 3 \end{matrix}], u_{2} = \frac{1}{\sqrt{10}} [\begin{matrix} - 3 \\ 1 \end{matrix}] .

于是

U = \frac{1}{\sqrt{10}} [\begin{matrix} 1 & - 3 \\ 3 & 1 \end{matrix}], Σ = [\begin{matrix} \sqrt{45} & 0 \\ 0 & \sqrt{5} \end{matrix}], V = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & - 1 \\ 1 & 1 \end{matrix}] .

这个例子中 $A$ 是满秩方阵，所以没有零空间方向需要补齐； $u_{1}, u_{2}$ 张成整个输出空间， $v_{1}, v_{2}$ 张成整个输入空间。

对应的两个秩一方向可以直接看成数值矩阵：

σ_{1} u_{1} v_{1}^{T} = [\begin{matrix} 1.5 & 1.5 \\ 4.5 & 4.5 \end{matrix}], σ_{2} u_{2} v_{2}^{T} = [\begin{matrix} 1.5 & - 1.5 \\ - 0.5 & 0.5 \end{matrix}] .

第一项给出沿 $v_{1}$ 输入方向到 $u_{1}$ 输出方向的主导耦合，第二项给出沿 $v_{2}$ 到 $u_{2}$ 的较弱耦合；二者相加恢复 $[\begin{matrix} 3 & 0 \\ 4 & 5 \end{matrix}]$ 。

在 data matrix 中，这种输入-输出方向解释更直观。若课程成绩矩阵以课程为行、学生为列，则右奇异向量 $v_{i}$ 是 combination student，左奇异向量 $u_{i}$ 是 combination course， $σ_{i}$ 是这两个组合之间的成绩强度。若期刊矩阵以 key words 为行、articles 为列，则 $u_{1}$ 可解释为 hyperword， $v_{1}$ 可解释为 hyperarticle，最大的秩一项给出最强词频模式。

上移矩阵中的排序

考虑

A = [\begin{matrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 2 & 0 \\ 0 & 0 & 0 & 3 \\ 0 & 0 & 0 & 0 \end{matrix}] .

它的特征值全为 $0$ ，但奇异值为

3, 2, 1.

右奇异向量和左奇异向量在这个例子中都是标准基向量的重排，并且必须按照 $3, 2, 1$ 的顺序配对。第一对 $v_{1}, u_{1}$ 对应矩阵中最大的上移条目 $3$ ，第二对对应 $2$ ，第三对对应 $1$ 。如果去掉最后一行成为 $3 \times 4$ 矩阵，右奇异向量仍在 $R^{4}$ 中，左奇异向量改在 $R^{3}$ 中，非零奇异值仍是 $3, 2, 1$ 。

不唯一性

奇异向量不是逐个绝对唯一的。若 $σ_{i}$ 是单重奇异值，则可以同时把

u_{i}, v_{i}

替换为

- u_{i}, - v_{i},

等式 $A v_{i} = σ_{i} u_{i}$ 和秩一项 $σ_{i} u_{i} v_{i}^{T}$ 都不变。

若某个奇异值有重数大于 $1$ ，则对应奇异子空间中的任意正交基都可以作为奇异向量组。此时稳定的是子空间本身，而不是某一个具体基向量。这一点在数值计算和数据分析中很重要：当相邻奇异值非常接近时，单个奇异向量可能随扰动旋转，但由它们张成的低维子空间通常更有意义。

重复奇异值背后的线性代数来自对称矩阵的重复特征值。对 $S = A^{T} A$ ，先选单位特征向量 $q_{1}$ 并补成正交矩阵 $Q_{1}$ ，则

Q_{1}^{T} S Q_{1} = [\begin{matrix} λ_{1} & w^{T} \\ 0 & S_{n - 1} \end{matrix}] .

由于这个分块矩阵仍对称，必有 $w = 0$ ，且 $S_{n - 1}$ 对称。于是可以在 $q_{1}^{⊥}$ 上继续归纳；遇到重复特征值时，只是在同一特征子空间内选择任意正交基。这样得到的正交特征向量就是可用于 SVD 的右奇异向量，左奇异向量再由 $u_{i} = A v_{i} / σ_{i}$ 给出。

相邻概念

奇异值：记录 $A v_{i} = σ_{i} u_{i}$ 中的非负伸缩量。
奇异值分解：把所有奇异向量合并为 $A = U Σ V^{T}$ 。
四个基本子空间：说明哪些奇异向量张成行空间、列空间、零空间和左零空间。
正交矩阵：保证 $U$ 与 $V$ 的列向量是正交归一基。
特征值和特征向量：右奇异向量来自 $A^{T} A$ 的特征向量，左奇异向量来自 $A A^{T}$ 的特征向量。

定义