正交投影

Orthogonal Projection

定义

Orthogonal Projection) 正交投影是把向量送到某个子空间上的最近点，同时要求剩余误差垂直于该子空间。若 $S \subseteq R^{m}$ 是子空间， $b \in R^{m}$ ，则 $b$ 在 $S$ 上的正交投影是唯一向量 $p \in S$ ，满足

b = p + e, e = b - p \in S^{⊥} .

等价地，

p = \arg min_{y \in S} ∥ b - y ∥ .

正交投影的本质不是“把图形垂直压下去”的直观动作，而是一个内积条件：

⟨ b - p, y ⟩ = 0, y \in S .

在实有限维空间中，这个条件写成 $e^{T} y = 0$ 。它同时保证 $p$ 是最近点，因为对任意 $y \in S$ ，

b - y = e + (p - y),

且两项正交，所以

∥ b - y ∥^{2} = ∥ e ∥^{2} + ∥ p - y ∥^{2} \geq ∥ e ∥^{2} .

实际计算时可以按三步走：先由正交误差条件求最佳系数 $\hat{x}$ ，再得到投影向量 $p$ ，最后把 $p$ 写成 $P b$ 读出投影矩阵。直线投影和列空间投影的公式都是这三步的不同维数版本。

直线上的正交投影

若目标子空间是一条过原点的直线

S = span (a), a \neq 0,

则投影点必有形式

p = \hat{x} a .

正交误差条件为

a^{T} (b - \hat{x} a) = 0.

因此

\hat{x} = \frac{a^{T} b}{a^{T} a},

并且

p = a \frac{a^{T} b}{a^{T} a} .

这就是向量投影的基本公式。误差为

e = b - p = b - a \frac{a^{T} b}{a^{T} a},

并满足

a^{T} e = 0.

直线投影矩阵为

P = \frac{a a^{T}}{a^{T} a},

所以

p = P b, e = (I - P) b .

该矩阵满足

P^{2} = P = P^{T} .

投影到列空间

若目标子空间由矩阵 $A$ 的列张成，即

S = C (A),

则正交投影点写成

p = A \hat{x} .

误差为

e = b - A \hat{x} .

正交投影要求误差垂直于整个列空间，等价于垂直于 $A$ 的每一列：

A^{T} (b - A \hat{x}) = 0.

这给出正规方程

A^{T} A \hat{x} = A^{T} b .

若 $A$ 的列线性独立，则

\hat{x} = (A^{T} A)^{- 1} A^{T} b,

投影点为

p = A \hat{x} = A (A^{T} A)^{- 1} A^{T} b .

对应的正交投影矩阵是

P = A (A^{T} A)^{- 1} A^{T} .

这里的可逆性边界是

A^{T} A 可逆 ⟺ A 列线性独立 .

理由是

N (A^{T} A) = N (A),

因为 $A^{T} A x = 0$ 蕴含

∥ A x ∥^{2} = x^{T} A^{T} A x = 0.

若列向量相关，应先换成列空间的一组基，或用 QR、SVD、伪逆来表示同一个正交投影。

这里的逆矩阵只属于 $A^{T} A$ ，不能在一般情形下拆成 $A^{- 1} (A^{T})^{- 1}$ 。当 $A$ 是矩形矩阵时 $A^{- 1}$ 不存在；当 $A$ 方阵可逆时， $C (A)$ 已经是全空间，投影矩阵才等于 $I$ 。

伪逆给出的投影

当 $A$ 的列相关时， $A^{T} A$ 不可逆，但到列空间的正交投影仍然存在。若 $A^{+}$ 是伪逆，则

P_{C (A)} = A A^{+} .

这条公式不要求 $A$ 列满秩。若 $A = U Σ V^{T}$ ，秩为 $r$ ，则

A A^{+} = \sum_{i = 1}^{r} u_{i} u_{i}^{T},

正好是到 $u_{1}, \dots, u_{r}$ 张成的列空间的投影。同理，

A^{+} A = \sum_{i = 1}^{r} v_{i} v_{i}^{T}

是到行空间 $C (A^{T})$ 的投影。

秩一矩阵

A = σ u v^{T}

中若 $u, v$ 是单位向量，则

A^{+} = \frac{v u^{T}}{σ}, A A^{+} = u u^{T}, A^{+} A = v v^{T} .

这说明伪逆把投影公式从满列秩情形推广到了任意秩情形。

投影矩阵的结构

正交投影矩阵有两个核心代数特征：

P^{2} = P, P^{T} = P .

幂等性 $P^{2} = P$ 表示投影后的向量已经在目标子空间中；对称性 $P^{T} = P$ 表示误差方向与目标子空间正交。反过来，实矩阵只要同时满足这两个条件，就是某个子空间上的正交投影矩阵。

若 $P$ 投影到 $S$ ，则

C (P) = S, N (P) = S^{⊥} .

互补矩阵

I - P

也是正交投影矩阵，并且投影到 $S^{⊥}$ ：

(I - P)^{2} = I - P, (I - P)^{T} = I - P .

于是

b = P b + (I - P) b

是标准的正交分解，且

∥ b ∥^{2} = ∥ P b ∥^{2} + ∥ (I - P) b ∥^{2} .

若只有 $P^{2} = P$ 而没有 $P^{T} = P$ ，矩阵仍表示投影，但一般是斜投影；它的误差方向不一定垂直于目标子空间，因此不保证给出最近点。

标准例子

把

b = [\begin{matrix} 2 \\ 3 \\ 4 \end{matrix}]

投影到 $z$ 轴，得到

p_{1} = [\begin{matrix} 0 \\ 0 \\ 4 \end{matrix}], P_{1} = [\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}] .

把同一个 $b$ 投影到 $x y$ 平面，得到

p_{2} = [\begin{matrix} 2 \\ 3 \\ 0 \end{matrix}], P_{2} = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{matrix}] .

这两个子空间互为正交补，所以

p_{1} + p_{2} = b, P_{1} + P_{2} = I .

再看一个列空间投影。令

A = [\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{matrix}], b = [\begin{matrix} 6 \\ 0 \\ 0 \end{matrix}] .

由

A^{T} A \hat{x} = A^{T} b

得

\hat{x} = [\begin{matrix} 5 \\ - 3 \end{matrix}] .

因此

p = A \hat{x} = [\begin{matrix} 5 \\ 2 \\ - 1 \end{matrix}], e = b - p = [\begin{matrix} 1 \\ - 2 \\ 1 \end{matrix}] .

检查可知

A^{T} e = [\begin{matrix} 1 & 1 & 1 \\ 0 & 1 & 2 \end{matrix}] [\begin{matrix} 1 \\ - 2 \\ 1 \end{matrix}] = [\begin{matrix} 0 \\ 0 \end{matrix}],

所以 $e$ 垂直于列空间， $p$ 就是最近点。对应投影矩阵为

P = \frac{1}{6} [\begin{matrix} 5 & 2 & - 1 \\ 2 & 2 & 2 \\ - 1 & 2 & 5 \end{matrix}],

它满足 $P^{2} = P = P^{T}$ ，且 $P b = p$ 。

核心要点

直线投影由 $p = \hat{x} a$ 和 $a^{T} (b - \hat{x} a) = 0$ 决定，因此 $\hat{x} = a^{T} b / a^{T} a$ ， $p = a (a^{T} b / a^{T} a)$ 。
直线投影矩阵是秩一矩阵 $P = a a^{T} / a^{T} a$ ，它把 $b$ 直接送到 $p = P b$ 。
投影到任意子空间时，误差 $e = b - p$ 必须垂直于整个子空间。
若目标子空间是 $C (A)$ 且 $A$ 列满秩，则正规方程 $A^{T} A \hat{x} = A^{T} b$ 给出 $\hat{x}$ ，再由 $p = A \hat{x}$ 得到投影。
正交投影矩阵 $P = A (A^{T} A)^{- 1} A^{T}$ 满足 $P^{T} = P$ 与 $P^{2} = P$ ；互补矩阵 $I - P$ 投影到 $C (A)^{⊥} = N (A^{T})$ 。

相邻概念

投影定理给出正交投影存在、唯一和最近点性质；正交误差记录误差的垂直判别；投影矩阵把投影写成 $p = P b$ ；最小二乘法把投影应用到不可精确求解的方程组 $A x = b$ 。当目标空间是 $C (A)$ 时，正交投影的全部计算都围绕

A^{T} (b - A \hat{x}) = 0

展开，这条式子就是从几何正交性进入代数计算的桥梁。