基于分数扩散模型的条件图像生成
Conditional Image Generation with Score-Based Diffusion Models
Georgios Batzolis, Jan Stanczuk, Carola‐Bibiane Schönlieb, Christian Etmann
arXiv (Cornell University) · 2021-11-26
开放获取生成式与扩散被引 84影响因子 ≈0.2
摘要
基于分数扩散模型的条件图像生成已成为深度生成建模领域最具前景的研究方向之一。本研究对利用分数扩散模型学习条件概率分布的不同方法展开了系统性比较与理论分析。我们特别证明了相关结论，为最成功的条件分数估计器提供了理论依据。此外，我们提出了一种多速率扩散框架，由此得出的条件分数估计器性能可与以往的前沿方法相媲美。我们的理论与实验成果已整合至开源库MSDiff中，该库可为多速率扩散模型的应用及后续研究提供便利。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文围绕基于分数的扩散模型在条件图像生成中的条件概率分布学习展开，系统比较并理论分析不同条件分数估计方法。核心论断之一是为条件去噪估计器（CDE）提供理论证明，说明其训练目标的最小化器等价于条件分数匹配目标的最小化器，并具有一致性。论文提出多速扩散框架与条件多速扩散估计器（CMDE），通过让目标 x 与条件 y 以不同扩散速率扩散，在优化误差与近似误差之间进行插值，并统一此前的条件分数估计方法。实验在超分辨率、修复和边缘到图像翻译任务上比较 CDE、CDiffE 与 CMDE，并与 HCFlow 对比；结果显示 CMDE 与 CDE 总体相当且显著优于 CDiffE，部分指标上 CMDE 取得最佳 FID，CDE 在重建误差与一致性上略优。论文还发布开源库 MSDiff，用于支持多速扩散模型及更一般的多 SDE 扩散设置。
- 研究方法
- 理论分析基于 Anderson 定理与连续时间 SDE 框架，推导条件反向 SDE；定理 1 证明 CDE 损失最小化器与条件分数匹配目标最小化器相同，推论 1 证明其一致性，定理 2 给出多速扩散的似然加权矩阵，定理 3 给出近似误差上界随条件扩散速度趋于零而趋于零。方法设计上，CMDE 令 x_t 与 y_t 使用相同漂移但不同扩散率 sigma_x(t) 与 sigma_y(t)，训练目标采用正定加权矩阵 Lambda(t)，并将 MLE 加权推广到多速情形。实验在 CelebA 与 Edges2shoes 数据集上进行，任务包括随机方形掩码覆盖 25% 的修复、160x160 到 20x20 的 8 倍超分辨率、边缘到图像翻译；所有估计器训练同一基于 DDPM 的神经网络架构，使用 variance-exploding SDE 与 likelihood weighting。评价指标包括 PSNR、SSIM、LPIPS、重建一致性 PSNR(y, A x_hat)、多样性（同一观测生成五张重建的平均像素标准差）、UFID 与 JFID（基于 5000 样本），并与 HCFlow 比较。CMDE 的 sigma_y max 通过试错选取，修复取 1，超分辨率取 0.5，边缘到图像取 1。
- 学术贡献
- 理论建构层面，论文为 CDE 提供了此前缺失的理论正当性，证明其最小化目标与条件分数匹配目标一致，并给出一致性结论，对条件分数估计这一子议题有直接价值。方法创新层面，多速扩散框架与 CMDE 将条件扩散速率作为控制优化误差与近似误差的机制，使 CDE（sigma_y 趋于 0）与 CDiffE（sigma_y = sigma_x）成为其特例或两端。工具与材料层面，开源库 MSDiff 支持 x_t 与 y_t 以不同扩散率乃至不同漂移、不同扩散系数的两个前向 SDE 进行训练，并配套定理 2 的似然加权。领域拓展与实证层面，论文在修复、超分辨率、边缘到图像翻译三类逆问题上系统比较条件分数估计器，并用 UFID/JFID 等分布距离评估后验采样质量；与 HCFlow 比较显示 CDE 与 CMDE 在 FID 和多样性上更优。
- 存在局限
- 实验仅覆盖 CelebA 与 Edges2shoes 两个数据集及三类逆问题，样本代表性与任务范围有限，材料中未明确提及艺术学具体门类或创作场景中的应用。CMDE 的条件扩散速度 sigma_y max 通过试错选取，未进行系统超参数搜索；论文也指出 CMDE 性能可能通过调参提高，且在边缘到图像翻译中 CDE 在所有指标上略优于 CMDE。论文将 [23] 中通过无条件分数模型加辅助 p(y|x_t) 学习条件分数的方法排除在比较之外，原因是尚未探索合适的辅助模型选择。理论证明依赖附录中的技术假设，定理 3 的近似误差上界是在固定 t、x_t 与 y 条件下关于 sigma_y(t) 的上界，材料中未明确给出有限样本下的非渐近误差率或覆盖所有任务的统一保证。多样性评价仅基于每个观测生成五张重建并计算像素标准差，FID/JFID 基于 5000 样本，材料中未明确提及人眼感知评估或艺术审美维度评价。
- 进一步研究方向
- 可对 CMDE 的 sigma_y max 与 sigma_y(t) 进行系统超参数搜索或将其设为可学习参数，在修复、超分辨率、边缘到图像翻译及其他逆问题上验证能否稳定超过 CDE 与 CDiffE，并以 PSNR、SSIM、LPIPS、UFID、JFID、一致性、多样性完整报告。可利用 MSDiff 探索 x_t 与 y_t 采用不同前向 SDE（不同漂移与扩散系数）的训练，检验定理 2 的似然加权在更一般多 SDE 设置下的效果，并比较不同 SDE 组合对后验采样分布覆盖的影响。可将先前被排除的无条件分数加辅助 p(y|x_t) 路径纳入比较，为其选择合适辅助模型，并在相同数据集与任务上评估其条件分数估计质量。可扩展数据集与退化算子，在更多图像数据上重复实验，检验条件分数估计器在分布覆盖、一致性与多样性上的泛化，并加入噪声、压缩等不同观测形式。若面向艺术学应用，可针对美术与书法、戏剧与影视等图像或视频生成任务设计评测，将 FID/JFID 等分布指标与领域审美评价结合；材料中未明确提及此类研究。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis