基于文本的图像扩散模型可控生成技术综述
Controllable Generation With Text-to-Image Diffusion Models: A Survey
Pu Cao, Feng Zhou, Qing Song, Lu Yang
IEEE Transactions on Pattern Analysis and Machine Intelligence · 2025-12-19
开放获取生成式与扩散被引 33被引前 10%影响因子 ≈16.4
摘要
在视觉生成领域快速发展的当下，扩散模型凭借其出色的文本引导生成能力，彻底改变了该领域的格局。然而，仅依靠文本对这类模型进行条件约束，无法充分满足不同应用场景的多样化与复杂需求。针对这一不足，诸多研究致力于对预训练的文本到图像（T2I）模型加以控制，以实现新的条件约束。本文对基于T2I扩散模型的可控生成相关文献进行了系统梳理，涵盖了该领域的理论基础与实践进展。我们首先简要介绍了去噪扩散概率模型（DDPMs）及常用的T2I扩散模型的基本原理，随后从条件约束的角度出发，将相关研究划分为特定条件生成、多条件生成以及通用可控生成三个方向，逐一分析了各方向背后的控制机制，并依据核心技术手段对代表性方法进行了评述。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 该综述聚焦文本到图像扩散模型的可控生成，指出仅依赖文本条件无法满足不同应用与场景的多样复杂需求。其核心论点是：可在预训练T2I扩散模型上引入新的条件控制，以扩展生成的可控性；综述同时覆盖理论基础与实践进展。在理论侧，概述DDPM基础与常用T2I扩散模型；在实践侧，从条件视角将研究分为特定条件生成、多条件生成与通用可控生成三类。对每一类，综述分析其底层控制机制，并依据核心技术梳理代表性方法。其问题域是预训练T2I模型如何支持新条件、不同条件设置下控制机制如何组织，以及代表性方法按核心技术如何归类。
- 研究方法
- 采用文献综述与分类归纳路径，对象为T2I扩散模型可控生成相关文献，覆盖理论 foundations 与实践进展。组织方式为先简要介绍DDPM和广泛使用的T2I扩散模型，再按条件视角建立三分类，逐类分析控制机制并评述代表性方法。分类维度是条件设置，方法评述依据核心技术；材料中未明确提及检索数据库、检索式、纳入排除标准、文献数量、时间跨度及代表性方法选取规则。材料也未说明是否对方法进行统一实验复现或定量比较，因此从材料看其方法路径属于分类性文献综述，而非系统综述或实证评估。
- 学术贡献
- 贡献主要在领域梳理与分类框架层面：将可控生成文献按条件视角组织为特定条件、多条件、通用可控生成三类。对每类分析控制机制并按核心技术评述代表方法，形成从条件类型到控制机制再到方法技术的映射。对T2I扩散模型可控生成子领域，提供理论背景（DDPM与常用T2I模型）与实践进展的合并入口。对预训练T2I模型适配新条件这一议题，分类有助于定位不同控制策略在条件设置上的差异；材料未表明其提出新模型或新算法，贡献以文献组织为主。
- 存在局限
- 材料未交代文献检索与筛选流程（数据库、检索式、纳入排除标准、时间范围、文献数量），覆盖完整性无法复核。三分类的划分标准与边界未明确：特定条件、多条件、通用可控生成之间如何判定、跨类方法如何归属，材料中未明确提及。代表性方法的选择依据与比较维度未说明，难以判断所评述方法是否覆盖各控制机制的主要技术路线。对控制机制的分析停留在类别层面，材料未呈现统一形式化定义或对照评估，论证链条从分类到机制再到方法效果之间的连接不充分。材料未说明是否开展复现或定量比较，因而无法评估不同控制机制在效果与成本维度上的差异。
- 进一步研究方向
- 建立可复核的文献集：明确数据库、检索式、时间跨度与纳入排除标准，并按条件类型、基础T2I模型、控制机制、是否需再训练或微调、推理阶段介入方式编码。对三类条件设置构建统一比较矩阵：逐项记录控制信号来源、注入位置、训练与推理开销及组合方式，以检验分类框架的互斥性与穷尽性。针对多条件生成与通用可控生成的交界，选取可跨类归属的方法做边界案例分析，明确多条件冲突与通用控制策略的描述规则。在统一DDPM或T2I基础模型与统一评估协议下复现代表性方法，验证控制机制分类与实际控制效果之间的对应关系，并据此修订分类维度。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis