生成式人工智能中的文本到图像扩散模型：综述
Text-to-image Diffusion Models in Generative AI: A Survey
Chenshuang Zhang, Chaoning Zhang, Mengchun Zhang, In So Kweon, Junmo Kim
arXiv (Cornell University) · 2023-03-14
开放获取生成式与扩散被引 109影响因子 ≈0.2
摘要
本综述梳理了扩散模型在文本生成图像领域的研究进展，即文本到图像扩散模型。作为一篇独立的研究成果，本文首先简要介绍了扩散模型用于图像合成的原理，随后阐述了文本条件图像合成的研究背景。在此基础上，我们对文本到图像生成领域的开创性方法及其改进成果进行了系统梳理。我们还总结了该技术在图像生成之外的应用，例如针对视频等多种模态的文本引导生成以及文本引导的图像编辑。在总结现有研究成果的同时，本文也探讨了当前面临的技术挑战与具有潜力的未来发展方向。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 该综述以文本到图像扩散模型为研究对象，即由文本条件驱动、以扩散过程完成图像合成的生成式人工智能模型。其立论前提是：扩散模型在图像合成上的工作机制可以被系统说明，并由此构成文本条件图像合成的问题域基础，综述因此以自足（self-contained）的方式先讲扩散模型如何用于图像合成，再交代文本条件图像合成的背景。核心论断在于，文本到图像生成已形成一条由开创性方法及其后续改进构成的技术脉络，可以据此组织成有序的评述框架。综述进一步主张，此类模型的应用已越出静态图像生成，延伸至视频等模态的文本引导生成以及文本引导的图像编辑。在进展之外，综述同时把现有挑战与有前景的未来方向列为论述对象，但挑战的具体条目为何，材料中未明确提及。
- 研究方法
- 该文属综述式文献梳理，方法路径是对文本到图像扩散模型研究进行有组织的分类评述（organized review），而非个案分析、民族志、实验或建模。其操作顺序为三步：先介绍扩散模型用于图像合成的工作原理，再铺垫文本条件图像合成的背景知识，最后按“开创性方法—其改进”的线索对文本到图像生成研究作归类评述。在应用层面，以任务与模态为切分维度，分别归纳静态图像之外视频等模态的文本引导生成，以及文本引导的图像编辑。至于文献检索所用数据库、检索式、时间跨度、纳入与排除标准以及纳入文献的数量与分布，材料中未明确提及。
- 学术贡献
- 贡献落在领域地图与脉络梳理层面：把文本条件图像合成的方法演进（开创性方法及其后续改进）整理为有组织的评述框架。该综述采取自足写法，从扩散模型的图像合成机制讲起，对生成式人工智能中文本到图像这一子领域的知识入门与教学有直接价值。它把生成与编辑、静态图像与视频等多模态任务纳入同一叙述框架，对文本引导的跨模态生成与文本引导图像编辑这两个议题的边界划定有价值。在理论建构、方法创新与新材料发掘层面，摘要未给出相应声明——材料中未明确提及。
- 存在局限
- 摘要只声明综述了开创性方法及其改进，却未交代文献检索与筛选的可复现流程（数据库、检索式、时间窗口、纳入排除标准），读者无法判断其覆盖完备性与时效性。分类维度仅见“方法—改进”与“应用/模态”两类，未说明分类所依据的技术判据，被评述方法之间的可比性因此缺乏支撑。文中未提及用于定量比较的基准数据集或评价指标，对生成质量的判断停留在叙述层面。existing challenges 与 promising future directions 仅作为被论及的对象出现，摘要未给出挑战的判定依据或未来方向的可检验形式。文本引导图像编辑、视频生成两个板块与静态图像生成主干之间的技术关联，摘要亦未作说明。
- 进一步研究方向
- 针对综述所列的方法谱系，可建立统一评测：在相同提示词集合与相同评价指标下比较不同文本条件注入路线在生成保真度与文本对齐度上的差异，以检验所谓“改进”是否具有跨数据集稳定性。针对文本引导图像编辑，可按编辑所依赖的附加信息（是否需掩码、是否依赖迭代采样过程）与一致性保持程度重新分类，并以受控实验比较各类方法的结构与身份保持能力。针对视频等多模态的文本引导生成，可将静态图像的评测协议迁移测试，检验时序一致性指标是否适用于扩散式视频生成。针对综述列为挑战的问题，可在同一基准上设置消融实验，判断其成因归于条件编码、训练数据还是采样过程。上述路径均需在综述明确文献纳入标准后方可操作，而该标准在材料中未明确提及。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis