DDPM

Denoising Diffusion Probabilistic Model 去噪扩散概率模型

DDPM（Denoising Diffusion Probabilistic Models）是扩散模型领域的开山之作，由Jonathan Ho等人于2020年提出。它提供了一个简单而强大的框架，通过模拟一个逐步加噪（前向扩散） 和逐步去噪（反向去噪） 的过程来生成高质量的图像。DDPM的成功极大地推动了扩散模型在生成任务中的应用。

核心思想：噪声与去噪的循环

DDPM的核心思想可以概括为两个过程：

1. 前向扩散过程 (Forward Diffusion Process): 这是一个固定的、马尔可夫链式的过程。它在每个时间步 $t$ 向数据 $x_{t-1}$ 中添加少量高斯噪声，直到经过 $T$ 个时间步后，原始数据 $x_0$ 完全变为纯高斯噪声 $x_T$。
2. 反向去噪过程 (Reverse Denoising Process): 这是一个需要学习的过程。它训练一个神经网络来预测并移除在每个时间步添加的噪声，从而能够从纯高斯噪声 $x_T$ 逐步恢复出原始数据 $x_0$。

graph TD
    subgraph DDPM 核心流程
        A[原始数据 x0] --> B{"前向扩散 (逐步加噪)"};
        B --> C[纯高斯噪声 xT];
        C --> D{"反向去噪 (逐步去噪, 神经网络学习)"};
        D --> E[生成数据 x0_hat];
    end

    style A fill:#fff,stroke:#333,stroke-width:2px
    style C fill:#fff,stroke:#333,stroke-width:2px
    style E fill:#9f9,stroke:#333,stroke-width:2px

前向扩散过程

前向扩散过程是一个固定的马尔可夫链，在每个时间步 $t$，根据预设的方差调度 ${\beta }_t$ 向数据中添加噪声：

其中 ${\beta }_t$ 是一个小的正数，通常随 $t$ 增大。经过 $T$ 步后，$x_T$ 将近似于标准正态分布。

一个重要的性质是，我们可以直接从 $x_0$ 采样得到 $x_t$：

其中 ${\overline{\alpha }}_t=\prod _{s=1}^t(1-{\beta }_s)$。这意味着 $x_t$ 可以表示为 $x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$，其中 $ϵ\sim \mathcal{N}(0,I)$。这个重参数化技巧对于训练反向去噪网络至关重要。

反向去噪过程

反向去噪过程也是一个马尔可夫链，但其转移概率是需要学习的：

DDPM的关键洞察是，如果 ${\beta }_t$ 足够小，那么反向过程的均值 ${\mu }_{\theta }$ 可以通过预测在 $x_t$ 中添加的噪声 ${ϵ}_{\theta }$ 来估计。因此，DDPM训练一个神经网络 ${ϵ}_{\theta }(x_t,t)$ 来预测噪声。

训练目标

DDPM的训练目标是最小化预测噪声 ${ϵ}_{\theta }(x_t,t)$ 与真实噪声 $ϵ$ 之间的均方误差：

这个损失函数非常简单，使得DDPM的训练非常稳定。

采样过程

训练完成后，生成新样本的过程如下：

1. 从纯高斯噪声 $x_T\sim \mathcal{N}(0,I)$ 开始。
2. 对于 $t=T,T-1,\dots ,1$：
   • 使用训练好的神经网络 ${ϵ}_{\theta }(x_t,t)$ 预测噪声。
   • 根据预测的噪声和一些预设的方差，计算 $x_{t-1}$。
   $$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}{ϵ}_{\theta }(x_t,t))+{\sigma }_{t}z$$其中 $z\sim \mathcal{N}(0,I)$，${\alpha }_t=1-{\beta }_t$。
3. 最终得到去噪后的样本 $x_0$。

U-Net 架构

在DDPM中，用于预测噪声的神经网络通常采用U-Net架构。U-Net是一种卷积神经网络，其编码器-解码器结构和跳跃连接使其非常适合处理图像，并能在不同尺度上捕捉特征。

优缺点分析

扩散模型