多维正态分布

二维正态分布

$(X, Y) \sim N (μ_{1}, μ_{2}, σ_{1}^{2}, σ_{2}^{2}, ρ)$

\begin{array}{r} f (x, y) = \frac{1}{2 π σ_{1} σ_{2} \sqrt{1 - ρ^{2}}} \exp {- \frac{1}{2 (1 - ρ^{2})} [(\frac{x - μ_{1}}{σ_{1}})^{2} - 2 ρ (\frac{x - μ_{1}}{σ_{1}}) (\frac{y - μ_{2}}{σ_{2}}) + (\frac{y - μ_{2}}{σ_{2}})^{2}]} \end{array}

二维正态分布的边缘正态分布为一维正态分布

使用协方差矩阵研究：
$X \sim N (μ_{1}, σ_{1}^{2}), Y \sim N (μ_{2}, σ_{2}^{2})$

\begin{aligned} C & = (\begin{array}{c} σ_{1}^{2} & ρ σ_{1} σ_{2} \\ ρ σ_{1} σ_{2} & σ_{2}^{2} \end{array}) \\ | C | & = σ_{1}^{2} σ_{2}^{2} (1 - ρ^{2}) \\ C^{- 1} & = \frac{1}{| C |} (\begin{array}{c} σ_{2}^{2} & - ρ σ_{1} σ_{2} \\ - ρ σ_{1} σ_{2} & σ_{1}^{2} \end{array}) \end{aligned}

\begin{aligned} x & = (\begin{array}{c} x_{1} \\ x_{2} \end{array}) μ = (\begin{array}{c} μ_{1} \\ μ_{2} \end{array}) \end{aligned}

\begin{aligned} f (x_{1}, x_{2}) & = \frac{1}{2 π \sqrt{| C |}} \exp [- \frac{1}{2} (x - μ)^{T} C^{- 1} (x - μ)] \end{aligned}

n 维正态分布

AI 结构化补充（2026-05-02）

正态分布多元高斯分布

二维正态分布

$(X, Y) \sim N (μ_{1}, μ_{2}, σ_{1}^{2}, σ_{2}^{2}, ρ)$

\begin{array}{r} f (x, y) = \frac{1}{2 π σ_{1} σ_{2} \sqrt{1 - ρ^{2}}} \exp {- \frac{1}{2 (1 - ρ^{2})} [(\frac{x - μ_{1}}{σ_{1}})^{2} - 2 ρ (\frac{x - μ_{1}}{σ_{1}}) (\frac{y - μ_{2}}{σ_{2}}) + (\frac{y - μ_{2}}{σ_{2}})^{2}]} \end{array}

二维正态分布的边缘正态分布为一维正态分布

使用协方差矩阵研究：
$X \sim N (μ_{1}, σ_{1}^{2}), Y \sim N (μ_{2}, σ_{2}^{2})$

\begin{aligned} C & = (\begin{array}{c} σ_{1}^{2} & ρ σ_{1} σ_{2} \\ ρ σ_{1} σ_{2} & σ_{2}^{2} \end{array}) \\ | C | & = σ_{1}^{2} σ_{2}^{2} (1 - ρ^{2}) \\ C^{- 1} & = \frac{1}{| C |} (\begin{array}{c} σ_{2}^{2} & - ρ σ_{1} σ_{2} \\ - ρ σ_{1} σ_{2} & σ_{1}^{2} \end{array}) \end{aligned}

\begin{aligned} x & = (\begin{array}{c} x_{1} \\ x_{2} \end{array}) μ = (\begin{array}{c} μ_{1} \\ μ_{2} \end{array}) \end{aligned}

\begin{aligned} f (x_{1}, x_{2}) & = \frac{1}{2 π \sqrt{| C |}} \exp [- \frac{1}{2} (x - μ)^{T} C^{- 1} (x - μ)] \end{aligned}

n 维正态分布

设 $x \in R^{M}$ ，均值向量为 $m$ ，协方差矩阵为 $V$ 。当 $V$ 对称正定时， $M$ 维正态分布有普通密度

p (x) = \frac{1}{(\sqrt{2 π})^{M} \sqrt{det V}} \exp [- \frac{1}{2} (x - m)^{T} V^{- 1} (x - m)] .

这里 $m = E [x]$ ， $V = E [(x - m) (x - m)^{T}]$ 。系数中的 $(\sqrt{2 π})^{M} \sqrt{det V}$ 是归一化因子，保证全空间积分为 $1$ 。若 $V = I$ ，各坐标是标准正态并且相互独立；若 $V$ 是对角矩阵但对角元不全相同，各坐标仍独立，但方差不同。

独立性与非对角协方差

二维情形中，若 $X, Y$ 独立，则联合密度分解为两个一维密度的乘积，协方差矩阵为

V = (\begin{matrix} σ_{1}^{2} & 0 \\ 0 & σ_{2}^{2} \end{matrix}) .

若二者不独立，相关性进入非对角协方差：

V = (\begin{matrix} σ_{1}^{2} & σ_{12} \\ σ_{12} & σ_{2}^{2} \end{matrix}), σ_{12} = E [(X - μ_{1}) (Y - μ_{2})] .

非对角项不只是符号修饰，它会在 $(x - m)^{T} V^{- 1} (x - m)$ 中产生交叉项，改变等密度曲线的方向。直观上，一个变量的偏离会携带关于另一个变量偏离的信息。

向量形式与解相关

由于协方差矩阵 $V$ 对称正定，可正交对角化为

V = Q Λ Q^{T}, Λ = diag (λ_{1}, \dots, λ_{M}), λ_{i} > 0.

令

X = x - m, Y = Q^{T} X .

则

(x - m)^{T} V^{- 1} (x - m) = X^{T} Q Λ^{- 1} Q^{T} X = Y^{T} Λ^{- 1} Y = \sum_{i = 1}^{M} \frac{y_{i}^{2}}{λ_{i}} .

这一步把相关坐标旋转成不相关坐标。因为 $Q$ 是正交矩阵，变量替换不改变体积元素；积分因此分裂为一维高斯积分的乘积：

\int_{R^{M}} e^{- Y^{T} Λ^{- 1} Y / 2} d Y = \prod_{i = 1}^{M} \int_{- \infty}^{\infty} e^{- y_{i}^{2} / (2 λ_{i})} d y_{i} = (\sqrt{2 π})^{M} \sqrt{det V} .

这正好解释了密度公式中的归一化分母。

边界条件

普通密度要求 $V$ 正定：所有特征值都严格大于 $0$ ，从而 $det V > 0$ 且 $V^{- 1}$ 存在。若 $V$ 奇异，分布只集中在某个低维仿射子空间上，是退化正态分布；此时不能把上面的公式当作相对于 $M$ 维 Lebesgue 测度的普通 pdf 来写。实际使用中还要区分“不相关”和“独立”：对联合正态变量二者等价，但对一般分布并不等价。