大型视觉语言模型中物体幻觉现象的评估
Evaluating Object Hallucination in Large Vision-Language Models
Yifan Li, Yifan Du, Kun Zhou, Jinpeng Wang, Zhao Xin, Ji-Rong Wen
Conference on Empirical Methods in Natural Language Processing (EMNLP) · 2023-01-01
开放获取大模型与语言多模态与视觉语言被引 571被引前 10%影响因子 ≈4.4
摘要
受大型语言模型（LLM）卓越的语言能力启发，近期研究人员通过整合功能强大的LLM来开发大型视觉语言模型（LVLM），以提升其在复杂多模态任务中的表现。尽管LVLM取得了令人瞩目的进展，我们发现它们存在物体幻觉问题，即在描述中生成的物体往往与目标图像中的物体不符。为探究这一问题，本研究首次对LVLM的物体幻觉现象展开系统性分析。我们对几类具有代表性的LVLM进行了评估实验，结果表明它们普遍存在严重的物体幻觉问题。进一步的研究指出，视觉指令可能会影响幻觉现象，实验发现：那些频繁出现在视觉指令中或与图像物体共同出现的物体，更容易被LVLM错误生成。此外，我们还设计了一种名为POPE的基于投票机制的查询方法，以更精准地评估物体幻觉现象。实验结果显示，POPE能够以更稳定、灵活的方式完成对物体幻觉的评估。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文聚焦大视觉语言模型（LVLM）的对象幻觉，即模型在描述图像时生成与目标图像不一致的对象。材料先指出LLM和VLPM分别存在文本幻觉与对象幻觉，进而追问LVLM是否仍存在该问题，并将其作为系统评估对象。论文的核心判断是：多数代表性LVLM存在严重对象幻觉，且比小型视觉语言模型更易幻觉。进一步，论文提出视觉指令数据中的对象出现频率与共现关系会影响幻觉，频繁出现或与图像中对象共现的对象更易被LVLM幻觉。为改进评估，论文设计POPE，把对象幻觉评估转化为围绕探测对象的Yes/No二分类问答，并声称其比CHAIR更稳定、灵活。
- 研究方法
- 材料采用CHAIR指标（CHAIRI与CHAIRS）在MSCOCO上评估mPLUG-Owl、LLaVA、MultiModal-GPT、MiniGPT-4和InstructBLIP五个LVLM，并以I1“生成短标题”和I2“提供简要描述”两类视觉指令生成caption。论文通过绘制前十大频繁出现对象及与“dining table”共现对象的幻觉次数柱状图进行定性分析，并用top-k命中率HR@k（HRA与HRC）在top10、top20、top30上量化频繁出现/共现对象在幻觉对象中的占比。在POPE中，论文从人工标注或SEEM自动分割获取图像真实对象，按Random、Popular、Adversarial三种负采样策略以1:1构造不存在对象，再用“Is there a/an <object> in the image?”模板形成Yes/No问题。POPE在MSCOCO验证集随机选取500张含3个以上真实对象的图像，每图构造6个问题，采用Accuracy、Precision、Recall、F1及回答Yes比例评估LVLM。论文还比较了LLaVA在四个prompt下POPE与CHAIRI的稳定性。
- 学术贡献
- 在理论/实证层面，材料将自身定位为首个系统研究LVLM对象幻觉的工作，揭示代表性LVLM的幻觉严重程度，并指出其可能比小型VLPM更严重。在方法层面，论文提出POPE，将开放caption中的幻觉评估改为封闭式Yes/No对象探测，降低对指令设计和caption长度的敏感，并减少对复杂人工解析规则的依赖。在材料/实验设计层面，论文设计Random、Popular、Adversarial三种负采样策略，把视觉指令数据中的对象频率和共现关系纳入评估，为检验幻觉与指令数据分布的关系提供可操作设置。该工作对LVLM图像描述可信度评估、对象幻觉基准构建以及多模态问答中的幻觉分析具有直接价值；材料还声称POPE易扩展到无标注数据集。
- 存在局限
- 论文明确将研究限定为caption中的粗粒度对象幻觉，未覆盖对象数量、属性、位置等细粒度幻觉，材料中将这些留作未来工作。CHAIR依赖人工设计的复杂解析规则来匹配caption中对象，且对指令设计敏感，材料本身已指出其可能导致误分类和评估不稳定。POPE的实验仅在MSCOCO验证集上随机选取500张图像、每图6问，数据集和样本规模有限，评估模型也限于五个代表性LVLM。POPE虽声称可扩展到无标注数据集，但节选中的实证仍以MSCOCO标注为基础并提及SEEM作为自动标注选项，未展示无标注场景下的系统验证。定量部分用HR@k展示频繁/共现频率与幻觉次数的相关性，未通过控制视觉指令数据分布或干预训练过程来确立因果关系。
- 进一步研究方向
- 可构建细粒度对象幻觉探测集，把数量、属性、位置等转为Yes/No或结构化问答，并在同一批LVLM上重复POPE式评估，以检验粗粒度结论是否成立。可将POPE迁移到无人工标注数据集，以SEEM等自动分割结果替代ground-truth对象，并与人工标注版本对比F1和Yes比例，验证扩展可行性。可控制视觉指令微调数据中目标对象的出现频率和共现频率，训练或微调LVLM后测量幻觉率变化，以检验材料提出的频率/共现假设是否具有因果效应。可分析幻觉对VQA任务的影响，比较POPE二分类结果与同一模型在caption和VQA输出中的对象一致性，定位幻觉在任务间的传递。针对LLaVA、MultiModal-GPT、mPLUG-Owl近乎99%回答Yes的过度自信现象，可设计难度分层的负采样与校准评估，检验其是否降低Yes偏置并提高F1。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications