基于语义方法的扩散模型图像生成一致性量化研究
Semantic Approach to Quantifying the Consistency of Diffusion Model Image Generation
Brinnae Bent
arXiv (Cornell University) · 2024-04-12
开放获取高效训练与推理生成式与扩散被引 1影响因子 ≈0.2
摘要
本研究指出了对扩散模型图像生成的重复性即一致性进行可解释性量化评估的必要性。我们提出了一种语义方法，采用成对平均CLIP（对比语言-图像预训练）得分作为语义一致性评分。我们将这一指标用于比较Stable Diffusion XL与PixArt-α这两款前沿的开源图像生成扩散模型，结果发现二者在语义一致性评分上存在显著差异。该语义一致性评分与模型选定结果同人类标注结果的一致性达到94%。我们还探讨了SDXL及其经过LoRA微调后的版本在图像生成一致性上的差异，发现微调后的模型所生成图像的语义一致性显著更高。本文提出的语义一致性评分能够为图像生成的契合度提供量化衡量标准，有助于针对特定任务评估模型架构，并为模型选择提供可靠的决策依据。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对扩散模型图像生成中由随机初始化、概率分布采样和非线性激活等因素造成的输出变异，提出需要一种可解释、可量化的重复性或一致性评分。其核心论点是可用成对平均 CLIP 分数构成语义一致性分数，将单个提示下多张生成图像的 CLIP 视觉嵌入两两余弦相似度求均值，并约束为 0 到 100 的分数。研究以 SDXL 与 PixArt-α 为具体对象，发现二者语义一致性存在统计显著差异，PixArt-α 的一致性更高且跨提示变异更小。对 SDXL 与 LoRA 微调版 SDXL 的进一步比较表明，基于九幅莫奈公版画微调的模型在生成图像上语义一致性显著更高。作者据此主张该分数可用于模型选择、LoRA 评估、提示评估与提示工程，并可能扩展至文本、音频等其他模态。
- 研究方法
- 方法路径为构建并验证语义一致性分数：以 CLIP ViT-B/32 图像编码器生成 512 维嵌入，对单个提示下 N 张图像的所有唯一图像对计算余弦相似度并取均值，再将分数约束在 0 到 100。模型比较采用 100 个由 Claude 3 Opus 生成的统一提示，固定随机种子与参数，包括 768×768 分辨率、K-Euler 调度器、guidance 7.5、20 步推理、SDXL 不使用 refiner，并在 Nvidia A40 与 Replicate 上运行，每提示每模型生成 20 张，共 4k 张图像。敏感性分析用 10 个提示在 10 到 100 次重复下计算分数，确定 20 次重复可在 1% 以内接近全重复均值和 100 次重复分数。统计分析先用 Kolmogorov-Smirnov 检验确认分数分布非正态，再采用 Wilcoxon 符号秩检验和双样本 Kolmogorov-Smirnov 检验。人评由 13 名标注者在并排画廊界面中选择一致性更高的模型，将最高语义一致性分数模型与标注者个体及聚合选择比较；SDXL 与 LoRA 比较使用 50 个提示子集和相同随机种子，LoRA 在九幅莫奈画上经 SwinIR、BLIP、CLIPSeg 预处理后训练。
- 学术贡献
- 在理论或指标建构层面，论文提出语义一致性分数，把成对平均 CLIP 分数用于扩散模型图像生成的一致性测量，将语义嵌入相似度转化为可解释的 0 到 100 评分。在方法层面，论文给出固定种子、统一提示、重复采样、敏感性分析、非参数统计与人评对照的操作流程，并开源代码与数据。在材料与实证层面，论文以 SDXL、PixArt-α 和 LoRA 微调 SDXL 为对象，报告具体一致性均值、中位数、Kolmogorov-Smirnov 与 Wilcoxon 结果，显示 PixArt-α 高于 SDXL、LoRA 微调版高于基座 SDXL。在领域拓展层面，该指标面向模型架构评估与模型选择，对文本到图像生成、LoRA 微调评估、提示评估及提示工程等议题有直接关联，并提示可延伸至文本或音频生成一致性。
- 存在局限
- 人评规模与设计有限：仅 13 名标注者，任务是并排画廊二选一，未展开对一致性多维人类判断的精细比较，作者也承认需进一步与人类判断对照。嵌入模型单一：语义一致性分数只采用 CLIP ViT-B/32，作者指出 CLIP 可能从输入提示中吸收偏差，且本文实验未使用 BLIP2 等其他多模态嵌入模型进行平行验证。模型覆盖有限：比较限于开源 SDXL、PixArt-α 与一个 LoRA 微调版本，DALL-E 3、Imagen 2、Midjourney 因透明度、随机种子和 API 改写提示等问题未纳入。风格微调泛化不足：LoRA 实验仅基于九幅莫奈公版画，提示被追加“in the style of Monet”或“in the style of TOK”，其结论能否推广到其他风格、概念或训练集规模，材料中未明确验证。效度链条仍有缺口：语义一致性分数与聚合人评的最高一致率为 94%，个体平均一致率为 90.9%（范围 86%-94%），但材料中未明确提及评分者间信度、任务顺序效应或提示层面的偏差控制。
- 进一步研究方向
- 扩大人类判断实验：招募更多、更多样标注者，采用逐提示多维度一致性评分而非仅二选一，并计算评分者间信度，以检验语义一致性分数在不同提示和风格上的效度。多嵌入模型对照：在同一图像集上并行计算 CLIP ViT-B/32、BLIP2 及其他多模态嵌入模型的语义一致性分数，比较其对人类一致性判断的预测力与偏差敏感性。扩展模型与任务矩阵：纳入更多开源扩散模型和不同 LoRA 训练配置，并系统改变调度器、引导尺度、推理步数、分辨率，验证语义一致性分数对超参数与架构差异的敏感性和稳健性。提示工程与叙事生成应用：用语义一致性分数系统评估提示措辞、模板和种子策略对一致性的影响，并在连贯故事、电影分镜等序列生成任务中检验其可用性。跨模态延伸：将成对平均语义相似度框架用于生成文本或音频，比较模态内一致性与跨模态一致性的评分构造、统计检验和人评对齐方式。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis