大型视觉-语言模型中的幻觉研究综述
A Survey on Hallucination in Large Vision-Language Models
Hanchao Liu, Wenyuan Xue, Yifei Chen, Dapeng Chen, Xiutian Zhao, Ke Wang, Liping Hou, Rongjun Li, Wei Peng
arXiv (Cornell University) · 2024-02-01
开放获取大模型与语言多模态与视觉语言被引 231被引前 50%影响因子 ≈1.1
摘要
大型视觉-语言模型（LVLMs）的近期发展凭借其实际应用潜力在人工智能领域引发了日益广泛的关注。然而，“幻觉”——更确切地说是事实性视觉内容与对应文本生成之间的失配——给LVLMs的利用带来了重大挑战。在本综合性综述中，我们对LVLM相关的幻觉进行剖析，旨在构建整体概览并推动未来缓解策略的发展。我们的考察首先对LVLMs中的幻觉概念予以澄清，呈现多种幻觉表现，并重点指出LVLM幻觉所固有的独特挑战。随后，我们梳理了专门用于评估LVLMs特有幻觉的基准与方法。此外，我们深入探究了这些幻觉的根本成因，涵盖了来自训练数据与模型组件的相关见解。我们还对现有幻觉缓解方法进行了批判性评述。最后，本文讨论了与LVLMs中的幻觉相关的开放性问题与未来研究方向，以此为本综述收尾。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将大视觉语言模型（LVLM）中的幻觉界定为图像事实内容与对应文本生成之间的不一致，并指出其不同于早期图像描述模型主要关注“物体是否出现”的问题，还表现为属性与关系等描述错误。其问题域覆盖判断幻觉与描述幻觉，并从视觉语义层面划分为物体、属性、关系三类幻觉。文章强调LVLM幻觉的独特挑战在于多模态语义维度导致检测困难、数据与视觉因素交织造成成因复合、缓解需同时处理视觉表征与多模态对齐。论文将成因归于训练数据偏差与标注不相关、视觉编码器分辨率与细粒度语义限制、连接模块简单与token约束、LLM上下文注意不足与随机采样解码等，并围绕这些成因评述数据优化、模块改进、对齐训练、解码优化和后处理等缓解方法。
- 研究方法
- 文章采用综述式的概念澄清、文献归纳与分类比较路径，未开展新的模型训练或评测实验。作者先建立判断幻觉/描述幻觉与物体/属性/关系幻觉的分类，再将评测方法分为非幻觉生成评估与幻觉判别评估：前者包括手工流水线方法（CHAIR、CCEval、FAITHSCORE）、基于LLM的端到端方法（GAVIE、MMHal-Bench）和幻觉数据驱动方法（M-HalDetect、HaELM），后者包括POPE、CIEM、NOPE。材料构成上，文章以已有研究文献、Figure 1中的判断与描述幻觉示例，以及Table 1对判别式与生成式基准的规模、幻觉症状和指标汇总为依据。成因分析沿LVLM流水线展开，分别讨论训练数据、视觉编码器、模态对齐连接模块和LLM，并将缓解方法按对应成因归类。材料中未明确提及作者开展新的数据标注、控制实验或基准测试。
- 学术贡献
- 文章在理论层面给出了LVLM幻觉的概念边界与双层分类框架，将判断/描述症状与物体/属性/关系语义维度对应起来，区别于仅关注物体存在性的图像描述幻觉研究。在方法层面，文章提出了评测方法的分类体系，区分非幻觉生成评估与幻觉判别评估，并进一步划分手工流水线、基于LLM的端到端和数据驱动检测三条路径。在材料整理层面，Table 1汇总了POPE、NOPE、CIEM、M-HalDetect、GAVIE、FAITHScore、HaELM、MMHal-Bench、AMBER等基准的判别/生成属性、规模、幻觉症状与指标，形成了可直接检索的基准对照。文章还按LVLM流水线建立“数据—视觉编码器—模态对齐—LLM”的成因框架，并将缓解方法映射到数据偏差修正、标注丰富、分辨率提升、感知增强、连接模块改进、对齐训练优化、解码优化、人类偏好对齐和后处理等具体环节，对多模态对齐、视觉编码器细粒度感知和解码策略等子议题具有分类整理价值。
- 存在局限
- 文章以文献归纳和分类为主，材料中未明确提及文献检索与筛选标准，综述覆盖范围的可复现性无法判断。Table 1显示基准规模从96到72941不等，判别式基准主要覆盖物体幻觉并以准确率为指标，生成式基准的指标又包括Reward Model Score、Accuracy、FAITHScore、Rating Score、AMBER Score等，材料未给出跨基准归一化或统一可比协议。成因分析沿流水线作定性归因，未通过控制变量或消融实验量化数据偏差、视觉分辨率、连接模块复杂度、token数量、上下文注意与随机采样解码各自对幻觉率的相对贡献。缓解方法按成因罗列，材料中未明确提及对各方法的效果、训练成本与副作用进行系统比较。
- 进一步研究方向
- 可构建统一评测协议：在同一图像集与任务格式下同时纳入判别式与生成式指标，覆盖物体、属性、关系三类幻觉，并检验基准规模（如96与72941的差异）和指标差异对模型排名的影响，可优先重组POPE、AMBER等已有基准。可开展控制变量消融：固定同一LVLM主干，分别操纵训练数据偏差与标注质量、输入分辨率、连接模块类型与visual token数量、上下文注意与解码采样策略，以幻觉率变化量化各成因的相对贡献。针对高分辨率视觉编码资源消耗大的问题，可设计低成本视觉表征增强与视觉—文本token对齐方法，并在属性幻觉和关系幻觉上验证其效果。还可对数据优化、模块改进、对齐训练、解码优化和后处理五类缓解方法建立统一的效果—成本—副作用比较框架，并设计人工标注对照，检验基于LLM的评测器与数据驱动检测器在不同基准上的一致性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications