文本到图像生成模型中的渐进式组合性研究
Progressive Compositionality in Text-to-Image Generative Models
Han Xu, Linghao Jin, Xiaofeng Liu, Paul Pu Liang
arXiv (Cornell University) · 2024-10-22
开放获取生成式与扩散大模型与语言被引 2影响因子 ≈0.2
摘要
尽管扩散模型在文本到图像合成方面展现出卓越能力，但它们往往难以理解物体与属性之间的组合关系，尤其是在复杂场景中。现有解决方案主要通过优化交叉注意力机制或利用语义变化极小的描述对来应对这些挑战。然而，我们能否生成高质量的复杂对比图像，使扩散模型能够依据视觉表征直接加以区分呢？在本研究中，我们利用大型语言模型来构建逼真的复杂场景，并借助视觉问答系统与扩散模型自动策展出一个包含1.5万对高质量对比图像的数据集ConPair。这些图像对之间的视觉差异极小，涵盖了广泛的属性类别，尤其是复杂且自然的场景。为了有效从这类错误样本——即难负例图像中学习，我们提出了EvoGen，一种用于扩散模型对比学习的新多阶段课程。通过在各类组合场景中开展的大量实验，我们验证了所提框架在文本到图像组合性基准测试中的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文针对扩散式文本到图像（T2I）模型在对象与属性组合关系理解上的不足，指出既有方案多通过优化交叉注意力机制或使用语义变化极小的字幕对来学习。其核心主张是：借助大语言模型（LLMs）合成真实、复杂的场景，并联合视觉问答（VQA）系统与扩散模型自动构建对比数据集 ConPair，从而得到模型可直接依据视觉表征进行判别的复杂对比图像。ConPair 包含 15k 对高质量对比图像，具有最小视觉差异，覆盖广泛的属性类别，尤其面向复杂与自然场景。为利用这些错误案例即硬负样本，作者提出 EvoGen，一种用于扩散模型对比学习的多阶段课程。通过在多种组合场景上的实验，摘要声称该框架在组合式 T2I 基准上有效。
- 研究方法
- 论文的方法路径包括三个相连环节：先用 LLMs 组合真实、复杂场景，再借助 VQA 系统与扩散模型自动筛选并构建 ConPair 数据集，最后用 EvoGen 多阶段课程对扩散模型进行对比学习。ConPair 的样本构成是 15k 对高质量对比图像，配对之间保持最小视觉差异，并覆盖广泛的属性类别与复杂自然场景。实验部分在多种组合场景上展开，并以组合式 T2I 基准检验所提框架的有效性。材料未明确提及所用 LLM、VQA 系统与扩散模型的具体型号，也未给出阶段划分、损失函数、训练超参数及基准名称与评价指标。
- 学术贡献
- 在材料层面，论文构建了 ConPair 这一面向组合式 T2I 的对比图像数据集，规模为 15k 对，并强调最小视觉差异与属性类别覆盖，属于数据集与评测材料的发掘和构建。在方法层面，提出 EvoGen 多阶段课程对比学习框架，把自动筛选出的硬负样本纳入扩散模型训练，针对的是对象-属性绑定与复杂场景组合这一子议题。在问题设定层面，论文将 LLM 场景合成、VQA 自动筛选与扩散模型训练串联，回应了能否生成可直接进行视觉表征判别的复杂对比图像这一问题。摘要声称在多种组合场景与组合式 T2I 基准上验证了框架有效性，但未展开具体指标提升幅度。
- 存在局限
- 就摘要可见，ConPair 依赖 LLM 与 VQA 自动构建，但未说明对生成场景噪声、VQA 误判及偏差的控制方式，也未报告人工复核比例或标注一致性。15k 对图像的规模与属性类别覆盖虽被强调，但类别分布、难度分层以及“最小视觉差异”的量化标准均未给出。EvoGen 的多阶段课程设置、阶段划分依据、硬负样本采样策略和超参数在摘要中未明确提及。实验只说明在组合式 T2I 基准上有效，未列出基准名称、评价指标、与基线方法的定量比较或失败案例分析。因此，从材料无法判断方法的可复现性、跨扩散模型泛化性以及对不同语言或开放域提示的适用性。
- 进一步研究方向
- 后续研究可在 ConPair 中嵌入人工校验的 gold 对比对，比较 VQA 自动筛选子集与人工校验子集上的训练差异，以估计自动筛选的假阳性与假阴性比例。可对 EvoGen 进行阶段消融：固定 ConPair，改变多阶段课程顺序、硬负样本比例和阶段切换阈值，并在组合式 T2I 基准上观察对象-属性绑定指标的变化。可将同一套 LLM 场景合成与 VQA 筛选流程迁移到不同扩散模型骨干，检验该课程学习方法的跨模型可迁移性；材料未提及具体骨干，可补此对照。还可按属性类别、对象-属性绑定类型与场景复杂度分层扩展 ConPair，并报告各类别难度分布，以检验模型在更细粒度组合关系上的失效模式。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis