扩散模型在图像生成领域的全面探究：综述

摘要

主要观点

论文的核心论断是：扩散模型作为受物理扩散过程启发的生成模型，通过前向加噪与反向去噪的马尔可夫链将简单噪声分布逐步转化为复杂数据分布，其生成图像的质量「常可与人类创作的图像相匹敌」。作者指出，扩散模型已从风格迁移、图像修复（image completion）、图像编辑、超分辨率扩展至文本到图像生成、图像去噪、暗光增强、伪装图像生成、医学多模态生成、单目深度估计、纹理合成、三维点云与场景补全等子任务，并进入广告、游戏、影视等内容产业，降低创作成本、提升生产效率。与之对应，论文强调数据隐私、数据安全与艺术伦理三类问题随部署规模扩大而愈发突出：训练阶段的潜在数据泄露与防护措施、模型被恶意利用的风险与防御策略，以及生成图像的真实性与原创性对艺术创作与版权保护的冲击。据此，论文批评既有综述「未能涵盖基于扩散的图像合成的最新进展」且「很少考虑扩散模型的潜在社会影响」，把技术前沿梳理与社会影响分析并置为本综述的问题域。论文亦承认扩散模型自身存在训练周期长、算力需求高、难以扩展到高分辨率图像等限制。

研究方法

本文采用文献综述（survey）路径而非个案研究或实验：作者声明其工作「主要集中于过去三年」图像生成领域的扩散模型方法文献，并同时考察「相关的社会伦理文献」以确保技术与伦理两个维度的分析。应用部分按子任务分类组织，并以表1按「模型（论文）—会议与年份—方法与洞见—目标任务—数据集」五列逐条登记文献，覆盖 StyleDiffusion、ZeCon、InST、Stable Artist、ArtFusion、DiffBIR、Repaint、C2F-DFT、HI-Diff、Cross Initialization、ProxNPI、SR3、SRDiff、SinSR、GLIDE、Imagen、DALL-E2、Diff-Unmix、LRed、MedM2G、PRoMark、DiffMorpher、StrDiffusion 等具体方法及 ICCV、CVPR、NeurIPS、ICML、WACV、PAMI、PRCV 等发表出处。所涉样本数据集在表中具体可查，包括 COCO-Stuff、Visual Genome、MS-COCO、WikiArt、LAION/L AION-5B/LAION-400M、ImageNet、CelebA-HQ、FFHQ、DIV2K、GoPro、HIDE、RealBlur、LOL、MIMIC-CXR、Places2、SemanticKITTI 等。理论部分采用公式化推演：围绕 DDPM 的前向转移核 q(xt|xt−1)、q(xt|x0) 的解析形式、反向核 q(xt−1|xt,x0)、变分下界 Lvlb = L0 + ΣLt + LT 以及简化目标 Ls = E‖εt − εθ(xt,t)‖² 展开，并归纳出 DDPM、基于分数的生成模型（学习 score function ∇x log p(x)，经能量模型参数化）与随机微分方程三种表述形式及其联系与差异。材料中未明确提及检索数据库、检索式、时间截止点、纳入与排除标准及文献筛选流程。

学术贡献

贡献主要落在材料发掘与领域拓展层面：论文将过去三年的扩散模型图像生成方法汇编为表1，建立「模型—会议与年份—方法洞见—目标任务—数据集」的对应关系，便于研究者按子任务与数据集定位文献。在理论梳理层面，论文将 DDPM、基于分数的生成模型与随机微分方程三种形式化表达并列阐释并讨论其关联，为图像生成子领域提供统一的公式化基础说明，对入门研究者与已有从业者均有检索价值。领域拓展体现在把图像生成技术综述与数据隐私、数据安全、艺术伦理置于同一框架，具体触及训练期数据泄露防护、模型恶意利用的防御策略，以及生成图像真实性与原创性对艺术创作和版权保护的影响，这与生成艺术、艺术伦理及版权议题的研究直接相关。材料中未明确提及本文提出新模型、新算法、新数据集或可复现实验，其贡献性质为综述性整合与议题并置。

存在局限

综述的文献选取不可复核：材料中未明确提及检索数据库、检索式、时间截止点、纳入与排除标准与筛选流程，仅以「过去三年」「大量调查」界定范围，读者无法判断表1的收录是否穷尽、是否存在选择偏差。与既有综述的差异仅以作者自述的「两点不足」定位，材料中未明确提及对既有综述覆盖范围与收录文献的逐条或量化对照。社会影响部分的论证以论断与文献引用为主，材料中未明确提及具体案例、法律条文、产业统计数据或对艺术家、用户、产业方的访谈与问卷，因此「降低创作成本、提升生产率」「挑战传统艺术创作与市场格局」「威胁公众认知与信息真实性」等判断缺少经验证据支撑。表1虽登记各方法所用数据集，但材料中未明确提及在统一数据集与统一指标下对各方法的定量横向比较（SODA 行列出的 ImageNet、FID、LPIPS、GSO 属该方法自报指标，非跨方法横评），故难以据此判断不同子任务中方法的相对优劣。此外，材料中未明确提及对其所承认的限制（训练周期长、算力需求高、高分辨率扩展困难）给出系统性的应对方案评估。

进一步研究方向

其一，建立可复现的检索与筛选协议，明确数据库、检索式、时间窗与纳入排除标准，并在表1基础上逐年增补2025年以后的文献，形成可更新的综述版本。其二，针对同一子任务构建统一基准：以表1已出现的数据集（WikiArt、MS-COCO、CelebA-HQ、DIV2K、GoPro、RealBlur 等）与统一指标，对 StyleDiffusion、InST、SR3、SRDiff、DiffBIR 等方法做定量横评，检验「生成质量可与人类创作相匹敌」这一判断在具体任务中的成立范围。其三，围绕训练期隐私防护与恶意利用防御设计攻击—防御对照实验，以水印方法（如 PRoMark 在 Adobe Stock、ImageNet、LSUN、WikiArt、BAM 上的因果归因）为对象，测试其在跨数据集、跨编辑操作（如 DiffMorpher 的图像形变与插值）后的归属识别鲁棒性，量化防护强度与生成质量之间的权衡。其四，对艺术伦理与版权议题开展经验研究，采用艺术家与设计师访谈、创作过程民族志、广告/游戏/影视企业的成本与产出数据调查以及生成图像版权纠纷的文本分析，检验论文关于创作成本与市场格局的论断。其五，就恶意滥用议题设计受众层面的感知实验，测量误导性合成图像对信息真实性判断的影响，并比较检测、水印、内容标注等防御策略的实际效力。材料中未明确提及上述路径的具体实验设计，此处依其提出的问题域加以细化。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 基于二维扩散模型的3D感知图像生成方法

  2023 · 被引 52

• 扩散模型在图像生成中的应用——综述

  2023 · 被引 11

• 描绘你的艺术梦想：基于多模态引导扩散的多样化数字艺术创作

  2022 · 被引 49

• 基于潜流扩散模型的条件性图像转视频生成

  2023 · 被引 124

• DreamBooth：面向主体驱动生成的文本到图像扩散模型微调方法

  2023 · 被引 2,280

• LayoutDiffusion：面向布局到图像生成的可控扩散模型

  2023 · 被引 185