文本到图像生成模型中的偏差量化研究
Quantifying Bias in Text-to-Image Generative Models
Jordan Vice, Naveed Akhtar, Richard I. Hartley, Ajmal Saeed Mian
arXiv (Cornell University) · 2023-12-20
摘要
文本到图像（T2I）模型中的偏差可能传播不公平的社会表征，甚至被用以强行推销某种观念或推动有争议的主张。现有的T2I模型偏差评估方法仅聚焦于社会偏差层面。本研究突破了这一局限，提出了一种无需预设前提、可量化T2I生成模型普遍偏差的评估方法。我们选取了四款前沿的T2I模型，对比其基线偏差特征与刻意引入特定偏差后的变体模型（每款模型有两个变体），并提出了三项用于评估模型偏差的指标：即（i）分布偏差、（ii）杰卡德幻觉以及（iii）生成错误率。我们开展了两项评估实验，分别在通用场景与任务导向场景下对模型偏差进行测算，其中任务导向场景以营销领域为应用对象；我们还量化了社会偏差，以便将本研究结果与现有相关成果进行对比。最终，该方法被拓展应用于带标注图像数据集的偏差评估。本研究提出的方法具有客观性、跨领域适用性，能够稳定测量不同形式的T2I模型偏差。我们已基于本文研究成果开发了网页应用及实用工具，相关链接为https://huggingface.co/spaces/JVice/try-before-you-bias；包含演示内容的视频系列可在https://www.youtube.com/channel/UCk-0xyUyT0MSd_hkp4jQt1Q观看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文的核心论断是：现有文本到图像（T2I）模型的偏见评估方法仅聚焦社会偏见，而偏见的表现形态并不止于此。作者主张在不预设偏见类型（without any preconceived notions）的前提下，建立一套量化T2I生成模型一般性偏见（general biases）的评估方法。为验证该方法，论文选取四个前沿T2I模型，将各模型的基线偏见特征与其各自两个被人为诱导特定偏见的变体相对照。评估依托三项自建指标展开：分布偏见（distribution bias）、Jaccard幻觉（Jaccard hallucination）与生成漏检率（generative miss-rate）。研究在两类条件下建模偏见——一般条件，以及以营销场景为领域的任务导向条件；同时另行量化社会偏见，以便与既有相关工作比对。
- 研究方法
- 研究采用自建指标体系的对照实验设计。材料构成为四个前沿T2I模型，每个模型包含一个基线与两个经人为诱导特定偏见的变体，形成基线—变体对照结构。作者设计分布偏见、Jaccard幻觉、生成漏检率三项度量，用于刻画不同形态的偏见。实验分两组：一组在一般条件下建模偏见，另一组在任务导向条件下进行，并以营销场景作为该组的具体领域。此外，作者单独量化社会偏见以与相关工作比较，并将同一方法论迁移至带标题的图像数据集（captioned-image datasets），用以测量数据集层面的偏见。作者还开发了网页应用作为实现载体，并配套发布演示视频系列；材料中未明确提及各模型的具体名称、诱导偏见的具体操作方式、样本规模及统计检验方法。
- 学术贡献
- 其贡献首先在评估框架层面：把T2I模型偏见评测的问题域从社会偏见扩展至不预设类型的一般偏见，提出领域无关（domain-agnostic）的评估路径。其次是方法创新，分布偏见、Jaccard幻觉与生成漏检率三项指标将抽象的偏见概念转为可计算的量，并可用于不同形式偏见的度量。再次是评估情境的拓展，一般条件与以营销为领域的任务导向条件构成双轨设置，使偏见评测与具体应用语境挂钩。在材料层面，研究把方法迁移到带标题图像数据集，使数据侧偏见与模型侧偏见获得同一套度量口径。此外，作者提供的网页应用与演示视频使该评测具备可操作的实现形态，对T2I模型评测、生成模型公平性以及数据集质量核查等议题均有直接价值。
- 存在局限
- 材料中未明确提及所评估模型的具体身份、模型变体中偏见诱导的具体手法，以及三项指标的阈值设定与效度检验过程，因而难以判断三个指标测量的是否为同一构念。评估对象仅为四个模型及其各自两个变体，变体数量与诱导方式的覆盖度有限，基线—变体之间的差异能否完全归因于偏见诱导，材料未给出控制说明。任务导向评估只落在营销一个领域，指标在其它领域条件下的稳定性缺乏证据。社会偏见部分仅作为与相关工作比较的参照，未就其与一般偏见指标之间的关系展开分析。此外，材料中未明确提及人类评分或外部基准的交叉验证，自动指标的判定边界因此未被校准。
- 进一步研究方向
- 可将任务导向评估从营销扩展至新闻配图、教育插图或选举宣传等其它情境，检验三项指标在同一模型上的跨领域一致性。可引入更多架构与训练数据规模不同的T2I模型，并设置多种偏见诱导强度，观测指标随诱导强度的变化曲线，以判断其灵敏度。可对分布偏见、Jaccard幻觉与生成漏检率开展重测信度与收敛效度检验，例如考察同一提示集多次采样下指标的稳定性，并与人类评分者的判断作对照校准。就材料中已提出的数据集迁移路径，可对多个带标题图像数据集施用同一套指标，比较数据侧偏见分布与由该数据训练的模型输出偏见之间的对应关系。网页应用所积累的用户交互数据亦可用于检验指标在真实使用条件下的表现，但需先明确该数据的采集与使用条件。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Ethics and Social Impacts of AI