DreamBooth：面向主体驱动生成的文本到图像扩散模型微调方法
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, Kfir Aberman
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2023-06-01
摘要
大型文本到图像模型在人工智能发展历程中取得了显著突破，能够根据给定的文本提示生成高质量且多样化的图像。然而，这些模型无法模仿参考集中主体的外观，也无法在不同语境下生成该主体的新图像。本研究提出了一种文本到图像扩散模型的“个性化”新方法：仅需输入几张主体图像，即可对预训练的文本到图像模型进行微调，使其学会将唯一标识符与该特定主体关联起来。一旦该主体被嵌入模型的输出域，便可利用这一唯一标识符生成该主体在不同场景中的全新照片级图像。借助模型中嵌入的语义先验以及全新的类特定先验保持损失函数，该技术能够在参考图像中未出现的多种场景、姿态、视角和光照条件下生成该主体图像。我们将该技术应用于多个此前难以实现的任务，包括主体语境重构、文本引导的视图合成以及艺术化渲染，同时能保留主体的关键特征。我们还为这种主体驱动生成的新任务提供了全新的数据集和评估方案。项目页面：https://dreambooth.github.io/
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文针对大规模文本到图像扩散模型在给定参考图集下无法模仿特定主体外观、难以将其合成到新语境这一问题，提出以「个性化」为核心的解决思路：仅需某主体的少量图像，即可微调预训练文本到图像模型，使其把一个唯一标识符与该特定主体绑定。一旦主体被嵌入模型的输出域，该标识符便可用来生成该主体在不同场景中的新颖写实图像。作者提出的自生成式类别特定先验保持损失（autogenous class-specific prior preservation loss）被用以调用模型内嵌的语义先验，从而使合成结果覆盖参考图中未出现的场景、姿态、视角与光照条件。作者将方法应用于主体重情境化、文本引导视角合成与艺术化渲染等此前难以处理的任务，并强调在改写语境的同时保留主体的关键特征。论文还发布了面向主体驱动生成这一新任务的数据集与评测协议。
- 研究方法
- 技术路径为「少量参考图 + 预训练模型微调」：输入某个主体的少量图像，通过微调把唯一标识符与该主体绑定，并在微调目标中引入自生成式类别特定先验保持损失，以约束模型在习得主体外观的同时不丢失类别语义先验。验证方式是沿三条任务线索展开的应用性实验，即主体重情境化、文本引导视角合成与艺术化渲染，并以主体关键特征是否保留作为效果描述的依据。作者同时构建了面向主体驱动生成任务的数据集与评测协议，用于支撑该新任务的测评。材料中未明确提及所用扩散模型的具体架构、微调所用图像的数量与来源、训练超参与计算开销，也未给出定量指标、与基线的对比以及先验保持损失的消融设置。
- 学术贡献
- 在方法层面提出「个性化」文本到图像扩散模型的框架，并以自生成式类别特定先验保持损失作为关键机制，回应了少量参考图条件下主体保真与语义先验保持之间的张力。在任务层面把主体重情境化、文本引导视角合成与艺术化渲染纳入统一的技术路径，拓展了文本到图像生成的应用边界。在基准层面发布面向主体驱动生成的数据集与评测协议，为新任务的可比评测提供材料与规则，对该方向的评测体系化有直接价值。
- 存在局限
- 材料仅呈现方法构想与任务清单，未报告任何定量结果，因而无法判断主体保真度、语境改写幅度与先验保持损失实际贡献的大小。缺少与既有文本到图像模型或其他主体定制方案的对照设置，先验保持损失的作用也无消融证据支撑。数据集与评测协议的规模、主体类别分布、参考图数量与质量条件均未说明，难以评估方法在非刚性主体、类内差异大的主体或参考图质量不佳时的适用边界。微调所需的训练时间与计算资源未被提及，限制了对其可用性的判断。
- 进一步研究方向
- 可在作者发布的数据集与评测协议上做受控消融：在同一主体、同一随机种子下对比有/无自生成式类别特定先验保持损失的生成结果，量化该损失对主体保真度与语境多样性的影响。可系统改变参考图数量（如 1 至 5 张）与图像质量，测量保真度随样本量的变化曲线，确定方法的下限条件。可将单一标识符绑定扩展为多标识符并行绑定，检验多主体同框生成中的属性泄漏与身份混淆程度。可针对非刚性主体与类内差异大的类别（如姿态多变的动物）单独构建测试子集，检验语义先验与主体外观的冲突情形。还可对微调耗时、显存占用与推理速度进行实测，并检验自动指标与人工评分在主体保真维度上的一致性。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis