点估计

样本矩代替总体矩

简单理解就是：使用样本计算出来的均值作为总体分布的数学期望

根据Khinchin大数定律：样本矩依概率收敛于总体矩，使用样本矩代替总体矩，进而得到总体分布模型中的参数估计量（替换原则）

简单情况：
$E (X) = \overset{―}{X}$
$E (X^{2}) = D (X) + [E (X)]^{2} = \overset{―}{X^{2}}$

使用样本的各阶原点矩或者各阶中心矩替换总体的矩：

\begin{aligned} \overset{―}{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} = \hat{E} (X) \\ \overset{―}{X^{2}} - (\overset{―}{X})^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} = \hat{D} (X) \end{aligned}

代入样本 $X_{1}, X_{2}, \dots, X_{n}$ 的一组观测值 $x_{1}, x_{2}, \dots, x_{n}$ 计算出总体期望和方差的矩估计值，列写方程组得到总体未知参数的估计值

Maximum Likelihood 极大似然/最大似然估计法
根据总体的一个样本推断出总体分布的参数，使得试验结果的发生具有最大的概率

\begin{aligned} L (θ) & = P {X_{1} = x_{1}, X_{2} = x_{2}, \dots, X_{n} = x_{n}; θ} \\ = \prod_{i = 1}^{n} P {X_{i} = x_{i}} \\ = \prod_{i = 1}^{n} f (x_{i}; θ) \end{aligned}

\begin{array}{r} \ln L (θ) = \sum_{i = 1}^{n} \ln f (x_{i}; θ) \end{array}

\frac{d}{d θ} \ln L (θ) = 0

得到最大似然估计值
似然方程的解即为极大似然估计值 $\hat{θ} = \hat{θ} (x_{1}, x_{2}, \dots, x_{n})$
用样本的试验值 $x_{i}$ 表示
最后换为 $\hat{θ} = \hat{θ} (X_{1}, X_{2}, \dots, X_{n})$ 用样本 $X_{i}$ 表示

\begin{aligned} L (θ) & = L (x_{1}, x_{2}, \dots, x_{n}; θ) = \prod_{i = 1}^{n} f (x_{i}; θ) \\ L (\hat{θ}) & = max_{θ \in Θ} L (x_{1}, x_{2}, \dots, x_{n}; x_{n}) \\ \frac{d}{d θ} & \ln L (θ) = 0 \Rightarrow \hat{θ} \end{aligned}

样本观测的结果对应的概率为包含 $θ$ 未知参数的值
最大似然估计就是求使得样本观测值的结果概率最大时，
求出的参数的估计值 $\hat{θ}$

f (x; α) = {\begin{cases} (α + 1) x^{α} & 0 < x < 1 \\ 0 & 其 他 \end{cases}

求参数 $α$ 的极大似然估计

\begin{aligned} L (α) & = (α + 1)^{n} \prod_{i = 1}^{n} x_{i}^{α} \\ \ln L (α) & = n \ln (α + 1) + α \sum_{i = 1}^{n} \ln x_{i} \end{aligned}

\begin{array}{r} \frac{d \ln L (α)}{d α} = \frac{n}{α + 1} + \sum_{i = 1}^{n} \ln x_{i} = 0 \end{array}

\begin{array}{r} \hat{α} = - \frac{1}{\sum_{i = 1}^{n} \ln X_{i}} - 1 \end{array}

X 0 1 2 3
P $θ^{2}$ $2 θ (1 - θ)$ $θ^{2}$ $1 - 2 θ$
样本值 3 1 3 0 3 1 2 3
参数 $θ$ 的矩估计和极大似然估计

$\overset{―}{X} = 2$
$E (X) = 1 \times 2 θ (1 - θ) + 2 \times θ^{2} + 3 \times (1 - 2 θ) = 3 - 4 θ$
$\hat{θ} = \frac{1}{4}$

$L (θ) = \prod_{i = 1}^{8} f (x_{i}; θ)$