多模态大语言模型的幻觉现象综述
Hallucination of Multimodal Large Language Models: A Survey
Zechen Bai, Pichao Wang, Tianjun Xiao, Tong He, Zongbo Han, Zheng Zhang, Mike Zheng Shou
arXiv (Cornell University) · 2024-04-29
摘要
本综述对多模态大语言模型（即大型视觉语言模型）中的幻觉现象进行了全面分析。这类模型在多模态任务领域取得了显著进展并展现出卓越能力。尽管发展势头喜人，但多模态大语言模型常常生成与视觉内容不符的输出，这一被称为幻觉的问题对其实际部署构成了重大障碍，也引发了人们对它们在现实应用场景中可靠性的担忧。该问题已受到学界日益广泛的关注，相关研究致力于检测并缓解此类误差。我们梳理了近期在幻觉识别、评估与缓解方面的研究成果，详细阐述了其成因、评估基准、评价指标以及应对策略。此外，我们还分析了当前面临的挑战与局限，提出了若干开放性议题，为未来研究指明了潜在方向。通过系统分类并梳理幻觉成因、评估基准与缓解方法的脉络，本综述旨在深化学界对多模态大语言模型幻觉现象的认知，推动该领域的进一步发展。通过此次详尽深入的梳理，我们为关于提升多模态大语言模型鲁棒性与可靠性的讨论贡献了力量，为研究人员与实践者提供了宝贵的参考资源。相关资源可访问：https://github.com/showlab/Awesome-MLLM-Hallucination。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该综述将多模态大语言模型（MLLMs，亦称 LVLMs）的幻觉界定为生成的文本回答与所给视觉内容不一致，即跨模态不一致，并指出这一界定不同于自然语言处理中将幻觉分为事实性幻觉与忠实性幻觉的做法，因此 LLM 的幻觉研究不能简单迁移至 MLLMs。研究以目标幻觉（object hallucination）为核心对象，将其细分为类别（category）、属性（attribute）、关系（relation）三类，并把计数、事件归入属性类，对动词幻觉不作独立讨论。综述进一步主张幻觉成因分布于数据、模型、训练、推理四个环节，并据此组织评估指标与基准（CHAIR、POPE、LLM-based 指标，判别式与生成式基准）以及缓解策略（负样本与反事实数据、视觉编码器与专用模块、辅助监督与强化学习、对比解码与事后校正）。作者同时提出，与已有的 LLM 幻觉综述及仅有一篇针对 LVLMs 的同期短综述相比，本综述在分类粒度与文献范围上更为细分，且不以特定模型架构为限。
- 研究方法
- 本文属文献综述，方法路径为分类学构建与成因溯源式梳理：先界定 LLM、MLLM 与幻觉概念（含 LLM 的预训练、监督微调、RLHF 三阶段，以及 MLLM 的接口式与端到端两条技术路线），再建立数据、模型、训练、推理四类成因的分层细粒度分类，将评估指标与基准按判别式任务与生成式任务划分，并把缓解方法与被识别出的成因逐一对应。材料与样本由该领域已有研究文献构成，文中以具体工作为例，如 POPE、CHAIR、AMBER、MMHal-Bench、LLaVA-1.5、VCD、OPERA、RLHF-V、Woodpecker、LURE 等，并附 GitHub 资源仓库（Awesome-MLLM-Hallucination）汇总相关资源。材料中未明确提及文献检索的数据库、检索式、纳入与排除标准及文献时间跨度，也未报告编码者间信度等系统性质量控制程序。
- 学术贡献
- 在理论建构层面，该综述提供了一套可操作的幻觉分层分类——成因四分（数据/模型/训练/推理）与目标幻觉三分（类别/属性/关系），为跨模态不一致研究给出统一的概念坐标。在评估层面，它把 CHAIR、POPE、LLM-based 等指标与判别式、生成式基准整理为体系，便于后续研究对照选用。在缓解层面，它按成因归类方法（负样本数据、反事实数据、推理数据、视觉监督、对比学习、对比解码、视觉放大、RAG、集成、事后校正等），使策略与病因形成对应关系而非并列罗列。其领域价值主要指向多模态理解（视觉到文本生成）的可靠性、跨模态一致性评估以及 MLLM 评测基准的设计；相对已有综述，其自我定位的增量在于不受特定模型架构约束、分类粒度更细、覆盖文献数量更多，并以公开仓库形成可复用资源。
- 存在局限
- 在范围上，该综述明确限定于多模态理解即视觉到文本的生成，统一多模态模型的生成方向未纳入，端到端模型（如 Fuyu-8B、Gemini）因闭源、训练细节未知而无法进入成因分析。在概念分类上，计数、事件被并入属性类，动词幻觉不单独讨论，这使属性类内部异质性偏高，且属性与关系之间的边界（如动词归属）未获独立经验检验。在材料构成上，文献检索与筛选标准、覆盖时间范围在可见材料中未明确提及，综述覆盖的完备性难以判断，其宣称的“文献数量更多”也无可核验的检索依据。在缓解策略部分，材料呈现的是方法归类与方法名称清单，未见跨方法的统一实验比较或对各成因相对贡献的量化结论。
- 进一步研究方向
- 其一，针对端到端模型闭源、训练细节未知的情况，可设计黑箱探针实验（受控视觉输入扰动、注意力与激活分析），检验其幻觉成因是否仍可归入数据、模型、训练、推理四类框架。其二，围绕材料中标记为开放问题的“详细描述”（detailed descriptions）成因，可构建长描述场景的对照数据集与评测，检验描述粒度与幻觉率之间的关系。其三，针对分类边界争议，可构建同时包含动词、计数、事件、关系的标注集，检验类别/属性/关系三分类的互斥性与标注一致性，并据此修订分类。其四，可按四类成因做控制变量的消融式对比，量化各类成因对幻觉的贡献，同时检验负样本指令数据与反事实数据在实际训练中的效果边界。材料中虽提及综述末尾提出开放问题，但可见材料未列出这些问题清单，上述路径系依据文中已出现的方法与标记所拟定。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications