概率

Probability) 概率 $P$

$f_{n} (A) = \frac{n_{A}}{n}$

$n_{A}$ 在 n 次试验中出现的次数
事件 A 在 n 次试验的频率

统计定义只是描述性的，以实验为基础，但并不取决于试验

当随机试验的次数充分大时，事件A 发生的频率 $f_{A} (A)$ 稳定在某个数 $p$ 附近摆动
则 $p$ 为事件的概率， $P (A) = p$

Kolmogorov： $Ω$ 为一个样本空间， $F$ 为 $Ω$ 的某些子集组成的一个事件域，对任一事件 $A \in F$ ，定义在事件域上的一个实值函数 $P (A)$ 满足以下三条公理：

非负性： $A \in F, P (A) \geq 0$
正则性： $P (Ω) = 1$
可列可加性：若事件两两互不相容 $P (⋃_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} P (A_{i})$

Classical Probability 古典概型
通常适用于离散的样本空间
直接基于样本点的数量和等可能性来计算概率

通常适用于连续的样本空间
基于几何测度（如长度、面积、体积等）来定义事件的概率。
应用：蒙特卡洛方法

人们根据经验对按事件发生可能性所给出的个人信念

\begin{array}{r} P (⋃_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} P (A_{i}) \end{array}

\begin{array}{r} P (A - B) = P (A) - P (B) P (A) > P (B) \end{array}

\begin{array}{r} P (A - B) = P (A) - P (A B) \end{array}

加法公式：

\begin{aligned} P (A \cup B) = P (A + B) \\ = & P (A) + P (B - A B) \\ = & P (A) + P (B) - P (A B) \end{aligned}

半可加性： $P (A \cup B) \leq P (A) + P (B)$

任意 $n$ 个事件的加法公式：

\begin{aligned} P (⋃_{i = 1}^{n} A_{i}) & = \sum_{i = 1}^{n} P (A_{i}) - \sum_{1 \leq i < j \leq n}^{} P (A_{i} A_{j}) + \sum_{1 \leq i < j < k \leq n}^{} P (A_{i} A_{j} A_{k}) \\ + \dots + (- 1)^{n - 1} P (A_{1} A_{2} \dots A_{n}) \end{aligned}

每个单独事件的概率之和-任意两个事件概率之积的和+任意三个事件概率之积的和- $\dots$

\begin{aligned} P (A + B + C) & = P (A) + P (B) + P (C) \\ - P (A B) - P (B C) - P (A C) + P (A B C) \end{aligned}

有限个结果的概率可写成非负权重 $p_{1}, \dots, p_{n}$ ，并满足

p_{i} \geq 0, \sum_{i = 1}^{n} p_{i} = 1.

期望值不是简单平均，而是概率加权平均：

E [x] = p_{1} x_{1} + \dots + p_{n} x_{n} = p \cdot x .

当结果连续时，离散概率 $p_{i}$ 换成概率密度 $p (x)$ ，区间概率由面积给出：

P (a \leq x \leq b) = \int_{a}^{b} p (x) d x = F (b) - F (a) .

因此概率既可以理解为“总和为 $1$ 的权重”，也可以理解为“密度曲线下的面积”。前者适合有限样本空间和矩阵表示，后者适合连续随机变量和积分计算。