Consistency Models

Diffusion 模型质量好，但 sampling 要 10-2000 次网络前向。 Consistency Model 训练一个函数 $f_\theta(x_t, t)$，让它把任意时刻 $t$ 的噪声样本 直接映射回干净样本 $x_\epsilon$——所以 sampling 只要 1 次前向就够。 既能由现成 diffusion 蒸馏出来 (CD)，也能从零训练 (CT)； CIFAR-10 上 1-step FID = 3.55，是当时一步生成的 SOTA。

既然 Eq.3 给定起点 $\mathbf{x}_T$ 后，整条轨迹都是确定的—— 那干嘛非要一步一步走完？训一个 $f_\theta$ 直接学"$\mathbf{x}_t \mapsto \mathbf{x}_\epsilon$" 这个映射不就完了？ 这就是 §3 的全部内容。

给定一条 PF ODE 轨迹 $\{\mathbf{x}_t\}_{t \in [\epsilon, T]}$，一致性函数定义为：

self-consistency 性质：对同一条轨迹上的任意两个时刻 $t, t' \in [\epsilon, T]$，

就这么直接。1 NFE（Number of Function Evaluations）—— 比 EDM 79 步快了 79 倍。

Input: 模型 f_θ, 中间时间点 τ_1 > τ_2 > ... > τ_{N-1}, 噪声 x̂_T

x ← f_θ(x̂_T, T)                    # ① 先一步出粗结果
for n = 1 to N-1:
    z ~ N(0, I)                      # ② 重新加噪声
    x̂_{τ_n} ← x + √(τ_n² - ε²) z    #    噪声水平降到 τ_n
    x ← f_θ(x̂_{τ_n}, τ_n)           # ③ 再一步去噪
return x

一步出粗结果 → 加少量噪声 → 再一步去噪 → 加更少噪声 → ... 这是 "去噪/加噪交替" 的迭代。 $N=2$ 通常就比 $N=1$ FID 好不少（CIFAR-10：3.55 → 2.93）；$N=4$ 之后边际收益很小。

为什么要 EMA？如果 target 直接用 $\theta$，loss 同时更新两端 → 训练塌缩到 trivial 解。 stop-grad + EMA 是从 BYOL / MoCo 借来的稳定技巧——论文里也明说类似 deep RL 的 target network。

Input: 数据 D, 学习率 η, ODE solver Φ(·;φ), 距离 d, 权重 λ, EMA decay μ
1: θ⁻ ← θ                                    # target = online 初始化
2: repeat
3:   x ~ D, n ~ U{1, N-1}                    # 采数据 + 时间索引
4:   x_{t_{n+1}} ~ N(x; t²_{n+1} I)          # 在 t_{n+1} 加噪声
5:   x̂_{t_n}^φ ← x_{t_{n+1}} + (t_n - t_{n+1}) Φ(x_{t_{n+1}}, t_{n+1}; φ)
                                              # 用 teacher 反推一步到 t_n
6:   L ← λ(t_n) d(f_θ(x_{t_{n+1}}, t_{n+1}), f_{θ⁻}(x̂_{t_n}^φ, t_n))
7:   θ ← θ - η ∇_θ L                          # 更新 online
8:   θ⁻ ← stopgrad(μθ⁻ + (1-μ)θ)              # EMA 更新 target
9: until convergence

给定 $\mathbf{x} \sim p_{data}, \mathbf{x}_t \sim \mathcal{N}(\mathbf{x}, t^2 \mathbf{I})$：

Input: 数据 D, 学习率 η, step schedule N(·), EMA schedule μ(·), d, λ
1: θ⁻ ← θ; k ← 0                              # 初始化
2: repeat
3:   x ~ D, n ~ U{1, N(k)-1}                  # N 随训练步数 k 增长
4:   z ~ N(0, I)                              # 单一噪声向量
5:   L ← λ(t_n) d(f_θ(x + t_{n+1}z, t_{n+1}), f_{θ⁻}(x + t_n z, t_n))
6:   θ ← θ - η ∇_θ L
7:   θ⁻ ← stopgrad(μ(k)θ⁻ + (1-μ(k))θ)         # μ 也随 k 变
8:   k ← k + 1
9: until convergence

读法：CD 1-step 比 EDM 79-step 慢慢追——FID 3.55 vs EDM CIFAR-10 2.04， 但 NFE 从 79 降到 1，速度提升 79 倍。

PF ODE 的轨迹是确定性的——所以同一条轨迹上任意点都映到起点这件事本来就成立， CM 只是把它做成显式的训练目标。这是为什么训练稳定（vs GAN 的 minimax）、不需要 adversarial loss 的根本原因。

CD 的定位是把已有 diffusion 蒸馏成 1-2 step——产业最容易直接采用。 CT 的定位是不依赖 diffusion 也能从零训——把 CM 抬升为和 diffusion / GAN / VAE 并列的新生成式模型族。 两者同构，但商业落地价值完全不同。

因为 $f_\theta$ 学的是"任意噪声水平 → 干净样本" 的映射，所以 multistep + iterative replacement 能直接做 inpainting / colorization / super-resolution。 这是 GAN 永远拿不到的能力，也是 CM 和 diffusion 的共同优势。