DPM-Solver 解析

November 8, 2023

DPM-Solver 可能是目前采用最为广泛的快速采样算法之一了吧。该论文发表于 NeurIPS 2022。作者 Cheng Lu 和 Analytic DPM 的作者 Fan Bao 是同门，都是清华 Jun Zhu 的学生。

值得注意的是，Yang Song 和 Jiaming Song 本科的时候也跟着 Jun Zhu 做科研。这传承，可真是绝了。

按照惯例，先上作者的 Presentation Slide。

How it work? #

PPT 里其实讲的很清楚了，就是把积分里能拿出来的东西全拿出来解析的算。

一些有意思的点

• DDIM 是一阶的 DPM-Solver（没错，二者是一模一样的）

DPM-Solver++ #

DPM-Solver++ 负责将 DPM-Solver 扩展到 Guided Sampling 的情况，但其实没啥改动

• 改成了 $x_0$ 的 formulation，这样可以对 $x_0$ 做 clipping，因为作者分析 guided sampling 的 large cfg scale 会导致预测的 $x_0$ out-of-bound。
• 提出了一个 multi-step 的小改进，利用前面计算的 $x$ 计算 numerical gradient。

详细对比可以看 Open Review