文本到图像生成模型的公平性、多样性与可靠性研究
On the fairness, diversity and reliability of text-to-image generative models
Jordan Vice, Naveed Akhtar, Leonid Sigal, Richard Hartley, Ajmal Saeed Mian
Artificial Intelligence Review · 2026-01-13
摘要
随着多模态生成模型的迅速普及，关于其可靠性、公平性以及滥用风险的问题引发了学界热议。尽管文本到图像模型在生成高保真且符合用户需求的内容方面表现优异，但往往会出现不可预测的行为与漏洞，这些漏洞可能被利用来操控类别或概念表征。针对这一问题，我们提出了一种评估框架，通过分析模型对嵌入空间中全局与局部扰动的反应来评估其可靠性，从而识别出会引发不可靠或有偏行为的输入样本。除社会影响外，公平性与多样性也是界定稳健且可信的模型行为的关键要素。我们的方法通过以下两项指标对这些核心维度进行了更深入的探究：(i) 生成多样性，即衡量已学习概念所对应的视觉表征的广度；(ii) 生成公平性，即在低引导设置下，考察从输入提示中移除特定概念后对模型控制能力的影响。除了上述评估外，该方法还为识别存在不可靠性或有偏见的模型、追溯嵌入偏差的来源奠定了基础。相关代码已在https://github.com/JJ-Vice/T2I_Fairness_Diversity_Reliability平台公开提供。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文针对文本到图像（T2I）生成模型在可靠性、公平性和多样性方面的不可预测行为与脆弱性，提出一个评估框架。核心论点是：条件生成模型对嵌入空间扰动的敏感性可作为其可靠性的指标，而公平性与多样性是定义鲁棒和可信模型行为的基础。研究通过分析全局和局部嵌入扰动来识别触发不可靠或偏见行为的输入，并量化生成多样性（学习概念的视觉表示广度）与生成公平性（在低引导设置下从输入提示中移除概念对控制的影响）。论文将故意注入偏见的模型（如后门模型）作为基准，以检测不可靠、偏见注入的模型并追踪嵌入偏见的来源。研究问题域涵盖T2I模型的可靠性评估、多样性度量与公平性分析，关键概念包括嵌入扰动、全局可靠性RG、局部可靠性RL、生成公平性F̃xT和生成多样性D̃xT。
- 研究方法
- 研究采用基于嵌入扰动的评估框架，在灰盒设置下（需访问输入提示、生成图像和文本编码器嵌入输出）对T2I模型进行可靠性评估，公平性与多样性实验可在黑盒设置下进行。具体对文本编码器输出的n×d嵌入向量x施加全局扰动（单次变换所有n×d维度）和局部扰动（迭代应用于每个占据维度以测量对应token xi的敏感性），扰动幅度由δpσx界定。生成扰动后的图像，计算其与原始图像的余弦相似度cos(θ)，设定相似度阈值τφE=0.9，并迭代调整步长δp直至相似度低于阈值。通过全局可靠性实验识别敏感提示集，再对每个提示进行局部扰动以定位敏感token。此外，对两个概念层次/本体进行多样性消融研究，并使用系统比较跨基础模型与偏见模型的方法分析公平性和多样性。材料中未明确提及具体模型数量、数据集构成或评估样本的详细信息。
- 学术贡献
- 该文在方法层面提出了一种训练无关、搜索无关的T2I模型评估框架，利用嵌入空间扰动量化全局与局部可靠性，并补充生成多样性与公平性度量。其贡献属于方法创新与领域拓展：一方面提出了一套评估指标（全局/局部可靠性、生成多样性、生成公平性），可精确刻画不可靠和不公平的模型行为；另一方面将评估从后门触发检索扩展到对良性模型及其学习行为的分析，并通过跨基础与偏见模型的系统比较支持偏见触发分析与来源推断。该工作对T2I生成模型的公平性、多样性与可靠性评估子领域具有工具性价值，为检测偏见注入模型和追踪偏见来源提供了可操作的评估路径。材料中未明确提及其对其他生成任务（如视频生成）的适用性。
- 存在局限
- 方法在可靠性评估中依赖灰盒访问（文本编码器嵌入输出），限制了在黑盒专有模型上的应用，尽管公平性和多样性评估可在黑盒下进行。扰动参数δp和阈值τφE的最优选择被指出可能依赖于具体模型和数据，保守的参数设置虽保证扰动位于流形稳定邻域内，但会导致可靠性评估的敏感度降低。材料中未明确说明所评估模型的具体数量、类型或数据集的构成，因此样本代表性无法判断。此外，研究假设扰动在所学流形的稳定邻域内操作，但生成流形的复杂非线性结构意味着过度扰动可能使表示偏离流形，这一风险虽通过小步长控制但未完全消除。论证链条上，从可靠性评估到公平性与多样性评估的级联分析主要基于定性观察与余弦相似度比较，材料中未提供统计显著性检验或与其他评估指标的定量对比。
- 进一步研究方向
- 未来研究可对所提出的全局/局部可靠性、生成多样性、生成公平性指标进行跨模型、跨数据集的系统性基准测试，以验证其泛化性并建立参数选择指南。可探究自适应选择扰动步长δp和阈值τφE的算法，减少人工调参对评估结果的影响。可进一步将嵌入扰动方法用于追踪偏见来源，例如通过定位敏感token与训练数据中的概念分布进行关联分析，验证偏见触发与特定训练样本的因果关系。还可将框架扩展至其他条件生成任务（如文本到视频生成），检验其在更复杂多模态输出中的适用性。材料中未明确提及这些方向，但基于现有方法可自然延伸。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis