文本到图像生成式模型中的知识本地化与编辑
Localizing and Editing Knowledge in Text-to-Image Generative Models
Samyadeep Basu, Nanxuan Zhao, Vlad I. Morariu, Soheil Feizi, Varun Manjunatha
arXiv (Cornell University) · 2023-10-20
摘要
Stable-Diffusion和Imagen等文本到图像扩散模型在MS-COCO及其他生成基准测试中取得了最先进的FID分数，实现了前所未有的照片级真实感质量。给定描述文本，图像生成需要关于物体结构、风格、视角等属性的细粒度知识。这类信息在文本到图像生成式模型中存储于何处？在本文中，我们探讨这一问题，探究对应不同视觉属性的知识如何存储在大规模文本到图像扩散模型中。我们将因果中介分析适配至文本到图像模型，将关于不同视觉属性的知识追溯至扩散模型的（i）UNet与（ii）文本编码器中的各类（因果）组件。具体而言，我们表明与生成式大语言模型不同，关于不同属性的知识并未本地化在孤立的组件中，而是分布在条件UNet的一组组件中。这些组件组针对不同的视觉属性往往各不相同。值得注意的是，我们发现Stable-Diffusion等公开文本到图像模型中的CLIP文本编码器在不同视觉属性下仅包含一个因果状态，该状态为对应描述文本中属性最后一个主体词元的首个自注意力层。这与其他语言模型中通常为中间MLP层的因果状态形成鲜明对比。基于对文本编码器中仅存在一个因果状态的这一观察，我们提出一种快速、无数据的模型编辑方法Diff-QuickFix，可有效编辑文本到图像模型中的概念。DiffQuickFix可通过闭式更新在1秒以内编辑（消融）概念，实现1000倍的显著速度提升，且编辑性能与现有基于微调的编辑方法相当。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文追问文本到图像扩散模型中细粒度视觉属性知识（如对象结构、风格、视角）存放在何处。核心论断是：与生成式大语言模型不同，不同属性的知识并不局限于孤立组件，而是分布式地存在于条件 UNet 的一组组件中，且这些组件集合对不同视觉属性往往不同。论文进一步指出，Stable-Diffusion 等公开文生图模型的 CLIP 文本编码器中，不同视觉属性只对应一个因果状态，即与 caption 中属性最后一个 subject token 对应的第一层 self-attention，这与其它语言模型中因果状态常位于 mid-MLP 层形成鲜明对比。基于文本编码器仅有一个因果状态的观察，论文提出快速、无数据的模型编辑方法 Diff-QuickFix，可用闭式更新在不到一秒内编辑或消融概念，实现约 1000 倍加速并与现有基于微调的编辑方法性能相当。
- 研究方法
- 论文将因果中介分析（Causal Mediation Analysis）适配到文本到图像模型，以此追踪不同视觉属性知识在扩散模型（i）UNet 与（ii）文本编码器中的因果组件。方法路径是对模型内部组件进行因果干预与追溯，识别不同属性对应的因果状态集合，并比较这些集合在 UNet 与 CLIP 文本编码器中的分布差异。材料涉及 Stable-Diffusion、Imagen 等文生图扩散模型以及 MS-COCO 等生成基准的 FID 评价背景，但摘要未明确给出具体模型版本、视觉属性类别清单、干预样本规模与编辑评测数据集构成。编辑方法部分采用无数据、闭式更新的 Diff-QuickFix，对概念进行编辑或消融，并与现有基于微调的编辑方法进行速度与性能比较。
- 学术贡献
- 理论建构层面，论文将视觉属性知识定位到文生图扩散模型的条件 UNet 组件集合与 CLIP 文本编码器的单一因果状态，给出区别于生成式大语言模型的知识存储图景。方法创新层面，论文把因果中介分析用于文生图模型内部组件追踪，并据此提出无数据、闭式更新的 Diff-QuickFix 概念编辑方法，报告了低于一秒编辑、约 1000 倍加速与可比编辑性能。领域拓展层面，这些发现对文生图扩散模型的内部知识定位、概念消融与模型编辑议题具有直接价值，尤其对 Stable-Diffusion 类公开模型的文本编码器因果状态识别与快速编辑路径提供了具体线索。
- 存在局限
- 摘要未报告因果中介分析中具体干预操作、对照组设置与因果状态判定阈值，因而无法判断“仅一个因果状态”这一结论在不同属性与不同模型上的稳健性。模型与数据范围主要落在 Stable-Diffusion 等公开文生图模型及 MS-COCO 等生成基准背景中，属性类别、样本规模与编辑评测集构成未明确，样本代表性难以评估。Diff-QuickFix 的编辑性能仅表述为与现有微调方法“相当”，缺少具体评测指标、失败案例与副作用分析，论证链条在编辑效果的可比性上不完整。论文还宣称 UNet 中属性知识分布式存在于不同组件集合，但摘要未给出这些集合之间重叠程度、跨属性干扰与层间因果贡献的定量结果。
- 进一步研究方向
- 可在同一因果中介分析框架下，对 UNet 各层与各模块做逐组件消融与恢复实验，量化不同视觉属性对应组件集合的重叠与分离程度，并检验跨属性编辑时的干扰。可针对 CLIP 文本编码器中“最后一个 subject token 对应的第一层 self-attention”这一因果状态，构造多主体、多属性与不同 subject token 位置的 caption，用同样的因果干预流程检验该状态是否随句法结构改变。可将 Diff-QuickFix 的闭式更新与基于微调的编辑方法放在统一的概念编辑与概念消融评测集上，报告编辑成功率、生成保真度、速度与副作用指标，以验证“1000 倍加速且性能相当”的边界条件。还可把因果追踪扩展到 Imagen 等其它文生图扩散架构，比较 UNet 组件集合与文本编码器因果状态是否随架构变化。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis