LayoutDiffusion：面向布局到图像生成的可控扩散模型

摘要

主要观点

论文针对布局到图像生成中全局布局图与各细节对象难以同时强控制的问题，提出名为 LayoutDiffusion 的扩散模型，目标是在复杂多对象场景中同时获得更高生成质量与更强可控性。作者指出，文本引导扩散模型在复杂多对象图像中难以设计全面提示，即使提示良好仍会出现对象缺失以及位置、形状、类别错误，根源在于文本的歧义性与对图像空间位置表达的薄弱。相较之下，布局由带边界框和类别的对象集合构成，兼具空间与高层语义信息，可使扩散模型在维持高质量的同时获得更强控制力。针对图像与布局的多模态融合困难，论文提出构造带区域信息的结构化图像 patch，并将 patch 化图像转化为一种特殊布局，从而与普通布局在统一形式中融合。论文进一步提出 Layout Fusion Module（LFM）与 Object-aware Cross Attention（OaCA），用于建模多个对象之间的关系并实现对象感知和位置敏感的控制。实验声称 LayoutDiffusion 在 COCO-stuff 与 VG 上的 FID、CAS 等指标相对此前 SOTA 取得显著提升。

研究方法

方法上，论文构建一阶段端到端布局条件扩散模型，而非仅在第二阶段引入条件；输入布局被定义为对象集合 oi={bi,ci}，通过边界框投影与类别嵌入相加得到布局嵌入 L，并以可学习填充对象和全局对象支持变长序列。LFM 使用多层自注意力的 transformer 编码器融合布局嵌入，建模对象间交互以理解整体场景。图像-布局融合模块将特征图上每个 patch 的位置和大小定义为边界框 bIu,v，使图像 patch 与布局对象处于同一坐标空间，并通过共享投影矩阵生成位置嵌入。全局条件采用将布局全局信息 O′1 直接逐点加到多分辨率图像特征上的方式；局部条件则由 OaCA 完成，其中 query、key、value 由图像特征和布局特征在通道与序列维度上拼接构造，并融入位置嵌入与类别信息。扩散训练采用标准高斯扩散的噪声预测均方误差损失，条件生成采用 classifier-free guidance，在训练中以固定概率用 lϕ 替换布局条件，采样时按尺度 s 在无条件与有条件预测间插值；采样加速适配 DPM-solver，声称 25 次迭代即可显著超过 SOTA。实验在 COCO-Stuff 与 Visual Genome 上进行：COCO-Stuff 使用 164K 图像，按 LostGAN-v2 设置取 40K/5k/5k 划分并筛选 3 至 8 个对象、覆盖超过 2% 且非 crowd 的图像，最终 25,210 训练与 3,097 验证，每个布局采样 5 张；VG 有 108,077 张图像，按 SG2Im 以 80%/10%/10% 划分，选取出现至少 2000 次的对象类别和 500 次的关系类别，保留 3 至 30 个边界框并忽略小对象，最终 62,565/5,062/5,096；评价使用 FID、IS、DS、CAS、YOLOScore，并在 COCO-stuff 128×128、300,000 次迭代下对 LFM、OaCA、CA 做消融，还以 32 张 NVIDIA 3090、batch size 24、学习率 1e-5 和固定线性方差调度训练。

学术贡献

在方法创新层面，论文将扩散模型系统用于布局到图像生成，区别于此前几乎局限于 GAN 的路线，并针对布局条件设计专门融合机制，而不是简单套用交叉注意力或直接拼接。其核心贡献是以结构化图像 patch 和“特殊布局”把图像与布局的多模态融合转化为同一空间形式下的融合，这对图像-布局多模态条件建模这一具体议题有直接方法价值。LFM 与 OaCA 的提出使多个对象间关系、对象类别和位置信息在注意力计算中得到显式建模，推动了对象感知与位置敏感的可控生成。论文还给出 classifier-free 训练与采样方案，并针对采样速度适配 DPM-solver，在生成效率与可用性层面对条件扩散模型有工程贡献。在实证层面，其在 COCO-stuff 与 VG 上对 FID、CAS 等指标的相对提升，为布局到图像生成子领域提供了可比较的扩散模型基线结果，并将扩散路线从文本引导扩展到布局引导。

存在局限

材料未明确设置专门的失败案例分析或鲁棒性实验，对 LFM 与 OaCA 在对象重叠、遮挡严重或布局 token 缺失时的行为缺少定量刻画。消融实验仅在 COCO-stuff 128×128、300,000 次迭代下进行，未在 VG 或 256×256 设置中报告 LFM、OaCA 与普通 CA 的对应消融，因此模块贡献在不同数据集和分辨率上的稳定性尚不清楚。数据集筛选条件排除了对象数少于 3 或多于 8、小对象、crowd 以及覆盖不足 2% 的图像，VG 也忽略小对象并限制 3 至 30 个边界框，这使结论对稀疏布局、密集小对象和拥挤场景的适用性受限制。评估以 FID、IS、DS、CAS、YOLOScore 为主，未涉及艺术创作或设计语境中的审美判断、风格一致性、作者意图表达等维度。与 LDM 的比较仅基于相同 2048 张图像的生成结果，且模型参数量达 569M、吞吐为 0.308 images/s，材料未给出不同模型规模与采样步数下的质量-成本权衡分析。

进一步研究方向

后续可在 COCO-stuff 256×256 与 VG 上补齐 LFM、OaCA、普通 CA 的消融，并按对象数量、遮挡比例、小对象占比和类别共现频率分层统计 FID、CAS、YOLOScore 与失败类型，以检验模块在拥挤和小对象场景中的有效性。可引入 Visual Genome 已提供的关系与属性标注作为额外条件，与仅使用 bbox 和类别的 LayoutDiffusion 对比，验证对象间关系建模能否改善重叠与遮挡下的对象缺失和位置错误。可针对布局 token 缺失、边界框扰动和类别替换设计受控实验，观察 LFM 与 OaCA 是否能补偿 token 级信息损失，并据此定位模型对布局 token 敏感的边界。可开展艺术家或设计师参与的用户研究，以增量添加布局对象的交互流程为任务，测量可控性、编辑效率、审美接受度和与文本引导扩散模型的偏好差异。还可在 25 步 DPM-solver 采样基础上系统比较不同采样步数、模型规模与推理成本，构建质量-速度-参数量帕累托曲线，明确 LayoutDiffusion 在交互式创作中的可用区间。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 基于二维扩散模型的3D感知图像生成方法

  2023 · 被引 52

• 基于潜流扩散模型的条件性图像转视频生成

  2023 · 被引 124

• DreamBooth：面向主体驱动生成的文本到图像扩散模型微调方法

  2023 · 被引 2,280

• 扩散模型在图像生成中的应用——综述

  2023 · 被引 11

• 基于扩散模型的条件性文本图像生成

  2023 · 被引 101

• 无监督的组合式概念发现：基于文本生成图像的模型研究

  2023 · 被引 13