损失函数

类型	常见损失函数	适用场景
回归（数值预测）	MSE、MAE、Huber Loss、Smooth L1 Loss	连续数值输出
分类（离散预测）	Cross-Entropy Loss、Focal Loss、Hinge Loss	分类任务（Softmax / Sigmoid）
排序 / 生成	Triplet Loss、Contrastive Loss、CTC Loss	检索、匹配、序列预测

Mean Squared Error
基础思想:预测值和真实值的差平方后求平均，惩罚大误差。

MSE = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}

应用场景：预测房价、温度、时间序列数值等。

Mean Absolute Error
基础思想：预测值和真实值的差的绝对值后求平均，惩罚整体偏差。

MAE = \frac{1}{n} \sum_{i = 1}^{n} | y_{i} - {\hat{y}}_{i} |

特点:

应用场景:对异常值不敏感时，做稳健回归。

基础思想:
小误差用 MSE, 大误差用 MAE, 兼顾两者优点。
数学公式:

L_{δ} (y, \hat{y}) = {\begin{cases} \frac{1}{2} (y - \hat{y})^{2}, & if | y - \hat{y} | \leq δ \\ δ (| y - \hat{y} | - \frac{1}{2} δ), & otherwise \end{cases}

$δ$ 超参数, 控制切换点。
特点:

基础思想：为了解决类别极度不平衡问题，让模型关注难分类样本。

FocalLoss (p_{t}) = - α (1 - p_{t})^{γ} \log (p_{t})

特点：

应用场景：检测极小目标（如目标检测中的 RetinaNet）