跳到主内容
人工智能

OpenBias：文本到图像生成模型中的开放集偏见检测

OpenBias: Open-Set Bias Detection in Text-to-Image Generative Models

Moreno D’Incà, Elia Peruzzo, Massimiliano Mancini, Dejia Xu, Vidit Goe, Xingqian Xu, Zhangyang Wang, Humphrey Shi, Nicu Sebe

IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16

开放获取生成式与扩散大模型与语言被引 35被引前 10%影响因子 ≈23.8

摘要

随着文本到图像生成模型日益普及并走向大众，鉴于其大规模应用背景，有必要深入探究其安全性与公平性，以防止各类偏见的传播与延续。然而，现有研究多聚焦于检测预先定义的封闭集偏见，导致相关研究仅局限于人们熟知的概念范畴。本文针对文本到图像生成模型中的开放集偏见检测难题，提出名为OpenBias的新流程，该流程无需依赖任何预编好的偏见集合，即可无差别地识别偏见并量化其严重程度。OpenBias包含三个阶段：第一阶段，我们利用大型语言模型根据一组文本描述词生成潜在的偏见条目；第二阶段，目标生成模型利用同一组文本描述词生成对应图像；第三阶段，视觉问答模型会识别此前提出的偏见是否出现及其影响程度。我们以Stable Diffusion 1.5、2和XL版本为研究对象，重点发掘此前未曾被探讨过的新类型偏见。通过定量实验，我们证实OpenBias的检测结果与现有的封闭集偏见检测方法及人类判断结论具有一致性。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于摘要生成
主要观点
论文关注文本到图像生成模型在大规模部署中的安全与公平问题，核心问题是防止模型传播和固化偏见。既有工作主要检测先验定义的闭集偏见，使研究局限于已知概念。论文提出OpenBias，面向文本到图像生成模型的开放集偏见检测，不依赖任何预编译偏见集合。OpenBias可识别偏见并量化其严重程度，且在给定caption集合下以不可知方式运作。论文以Stable Diffusion 1.5、2和XL为对象，强调此前未被研究的新偏见。量化实验表明OpenBias与当前闭集偏见检测方法及人类判断一致。
研究方法
论文设计三阶段流水线：第一阶段以一组caption为输入，利用大语言模型提出偏见。第二阶段让目标生成模型使用同一组caption生成图像。第三阶段使用视觉问答模型识别前述偏见是否存在及其程度。在Stable Diffusion 1.5、2和XL上开展量化实验，将OpenBias与闭集偏见检测方法及人类判断进行一致性比较。材料中未明确提及caption来源与规模、LLM和VQA模型的具体型号、提示设计、量化指标及人类判断的标注流程。
学术贡献
论文在方法层面提出开放集偏见检测流水线，突破闭集检测需预先定义偏见集合的限制。其贡献在于将LLM的偏见提议能力与VQA的视觉识别能力结合，用于文本到图像生成模型的偏见识别与严重程度量化。该流水线无需预编译偏见列表，可面向新偏见进行检测，拓展了文本到图像生成模型公平性与安全评估的议题范围。对Stable Diffusion 1.5、2和XL的量化研究强调了此前未被调查的新偏见，为该模型系列的偏见行为提供了材料。与闭集方法和人类判断的一致性结果为开放集检测作为评估路径提供了初步验证。
存在局限
材料未说明caption集合的来源、规模与抽样方式，影响对偏见提议覆盖面和可复现性的判断。未披露LLM与VQA模型的具体型号、提示策略和参数，难以评估流水线各阶段的稳定性和误差来源。评估仅报告与闭集方法和人类判断“一致”，未说明一致性指标、统计检验、分歧处理及人类标注者间信度。实验仅覆盖Stable Diffusion 1.5、2和XL，模型家族单一，无法判断结论对其他生成架构或版本的适用性。对LLM提出的新偏见是否经过人工核验、VQA识别错误的控制方式以及严重程度量化的效度，材料中未明确提及。
进一步研究方向
可固定caption来源与采样规则，公开LLM/VQA配置，并在不同随机种子和提示模板下重复实验，检验OpenBias输出偏见的稳定性与可复现性。可比较多个LLM的偏见提议与多个VQA模型的识别结果，通过人工标注建立开放集偏见的参考标准，并报告标注者间一致性。可将实验对象扩展到Stable Diffusion 1.5、2、XL之外的文本到图像模型与版本，检验开放集检测的跨模型一致性。可设计消融研究，分别改变caption集合、LLM提议阶段和VQA识别阶段，定位流水线中偏见发现与严重程度量化的关键影响因素。可构建开放集偏见基准，纳入新偏见的人工核验、严重程度评分和与闭集方法及人类判断的一致性统计，以验证OpenBias的效度。

本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Ethics and Social Impacts of AI