无监督的组合式概念发现：基于文本生成图像的模型研究

摘要

主要观点

论文将文本到图像生成模型的常规使用方式反转，提出一个"逆问题"：给定一组无标注图像，能否反推出表征各图像内容的生成性概念。作者主张以扩散模型即能量模型（EBM）的解释为理论基础，把每张图像的概率分解为 K 个独立条件分布之积，每个分布对应一个可组合的"概念"，概念以文本到图像模型中的词嵌入参数化，并由全数据集共享的概念库 {c1,…,cK} 与逐图权重 wi（Σk wi^k=1）共同构成。当权重为 one-hot 时，概念退化为图像的类别标识（如 couch、starfish、elephant、car），当权重在不同概念间混合时，图像被分解为多个属性因子，如厨房场景中的照明模式、厨灶、橱柜与厨岛。研究的问题域涵盖三类对象：ImageNet 图像的物体类别、ADE20K 厨房场景的全局与局部构件、以及梵高、莫奈、毕加索绘画中的艺术风格，并主张所发现的概念可被重新组合以生成新的艺术与混合图像，还可作为下游分类任务的表示。

研究方法

方法路径为可组合扩散的分数合成：以预训练扩散模型为无条件分数 εφ，构造 εunsup = εφ(xt,t) + Σk wi^k (ε(xt,t|ck) − εφ(xt,t))，用标准去噪 MSE 损失监督，并按 Algorithm 1 联合优化每图权重 wi 与共享概念嵌入 ck（wi ← wi − λ∇wiLMSE，ck ← ck − λ∇ckLMSE）。概念不从头学习分数函数，而是在 Stable Diffusion v2.1 的文本嵌入空间中以随机初始化词向量表示，从而降低参数维度并借文本语义空间消解分解歧义。实验材料为：ImageNet 的四个类别组合 S1–S4，每组 5 类、每类随机 5 张图像；ADE20K 中随机选取的 25 张厨房图像；自互联网收集的绘画数据集，含梵高 5 幅、莫奈 7 幅、毕加索 5 幅。评价指标包括预训练 ResNet-50 分类准确率（logit 阈值取 10）、CLIP 准确率（相似度阈值取 0.3）、生成类别分布与均匀分布之间的 KL 散度，以及以 K-means 聚类衡量的表示准确率；每概念采样 64 张图像，采用 50 步 DDIM 采样与 classifier-free guidance。对照方法为 COMET、Textual Inversion 及其两个加聚类变体 Textual Inversion (KM) 与 Textual Inversion (CKM)；概念与图像区域的对应关系借助 DDAM 交叉注意力图配合 DDIM inversion 可视化。

学术贡献

在方法建构层面，论文把 COMET 中以能量函数表示概念的思路替换为以扩散模型表示每个能量函数，使无监督概念发现得以处理复杂、高分辨率的真实图像，而不再局限于简单数据集。在参数化层面，将概念表示为预训练文本到图像模型的词嵌入，比从零学习 K 个条件分数函数维度低得多，并利用文本语义空间减少图像分解的歧义，作者亦指出该参数化可替换为微调整模型或在权重上训练 adapter。在任务设定层面，与 Textual Inversion 假定一组相似图像对应单一词表示不同，本方法在一次训练中同时无监督地发现多个概念并允许逐图权重混合。在材料与领域拓展层面，论文把概念发现从 ImageNet 物体类别推进到室内场景的照明与厨灶、橱柜、厨岛等局部构件，并推进到梵高、莫奈、毕加索绘画的风格概念分解与概念组合生成。在应用层面，论文报告所发现概念可作下游分类表示，并在 ImageNet 四个组合上取得优于 Textual Inversion 各变体的平均准确率与 KL 散度。

存在局限

训练样本规模极小且代表性存疑：ImageNet 每个组合仅 5 类×5 张（合计 25 张）、ADE20K 仅 25 张厨房图像、绘画仅 17 幅（5+7+5），绘画数据自互联网收集但未交代来源、授权与筛选标准，难以支撑论文自称的"可扩展"（scalable）主张。艺术概念发现仅在第 5.4.3 节做定性评估，未给出任何量化指标，而物体发现所用的评价手段本身带有主观设定：ResNet-50 的 logit 阈值 10 与 CLIP 阈值 0.3 均为人为选取，KL 散度以训练类别均匀分布为参照，该参照仅对 ImageNet 式物体类别成立，对厨房场景与绘画并不适用。概念数 K 在 Algorithm 1 中由随机初始化的概念嵌入个数预先给定，材料中未明确提及 K 的选取准则、上界或敏感性结果。绘画实验中被命名的概念（"trees on the side""a lady sitting on a bench""an embroidering lady""a boat"）指向题材内容，与梵高、莫奈、毕加索所代表的作者—风格维度被置于同一共享概念库，论文未设计实验区分风格因子与母题因子。表 1 显示本方法并非在全部子集上占优（如 ImageNet S3 准确率 56.56 低于 Textual Inversion (CKM) 的 63.75），"最优"仅成立于四组平均；对 COMET 的对比因其无法生成照片级图像而主要在附录中以定性结果呈现。

进一步研究方向

建立带有艺术史标注（作者、时期、流派、母题）的绘画语料，对同一批绘画分别标注风格与题材，用以检验所发现概念究竟落在风格维度还是母题维度，并做留出集上的风格分类验证；材料中未明确提及此类标注数据集，需另行采集。设计风格—内容交叉组合实验，例如按式(6)的复合分布将某画家的风格概念与另一画家的题材概念组合采样，再由具备艺术史背景的评定者与 CLIP 打分双重评估，检验风格因子的可迁移性、保真度及其与源作品的偏离。对概念数 K 做系统扫描，在固定采样步数、概念初始化与学习率的条件下记录重构损失、KL 散度与概念间的注意力重叠度，据此给出 K 的模型选择准则，补足材料中缺失的选取依据。将评价体系从阈值化准确率改为分布层面的度量，如概念与真实类别的互信息、生成分布与真实分布的 FID 或对称 KL，并把这套度量推广到 ADE20K 厨房场景与绘画数据，使艺术与场景发现也能获得可比的量化结论。按论文自己提出的替代参数化路径（微调文本到图像模型全部参数、在权重上训练小型 adapter）与词嵌入参数化在同一数据集上做对照，比较概念保真度、组合泛化与计算成本。将所发现的概念表示用于绘画的作者归属、时期分类与风格检索等下游任务，并与基于 CLIP 特征的基线比较，以验证其在艺术领域作为表示的实用性。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 基于潜流扩散模型的条件性图像转视频生成

  2023 · 被引 124

• DreamBooth：面向主体驱动生成的文本到图像扩散模型微调方法

  2023 · 被引 2,280

• 扩散模型在图像生成中的应用——综述

  2023 · 被引 11

• Tune-A-Video：面向文本生成视频任务的单样本图像扩散模型调优方法

  2023 · 被引 591

• 基于二维扩散模型的3D感知图像生成方法

  2023 · 被引 52

• OpenBias：文本到图像生成模型中的开放集偏见检测

  2024 · 被引 35