多模态大语言模型的幻觉增强对比学习
Hallucination Augmented Contrastive Learning for Multimodal Large Language Model
Chaoya Jiang, Haiyang Xu, Mengfan Dong, Jiaxing Chen, Wei Ye, Ming Yan, Qinghao Ye, Ji Zhang, Fei Huang, Shikun Zhang
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16
摘要
多模态大语言模型（MLLMs）已被证明能够高效整合自然语言与视觉信息以处理多模态任务。然而，这类模型仍存在幻觉这一根本性缺陷，即容易生成错误或虚构的信息。本文从表征学习的全新视角出发，探讨多模态大语言模型中的幻觉问题。我们首先分析了多模态大语言模型中文本与视觉标记的表征分布，得出了两项重要发现：其一，文本与视觉表征之间存在显著差距，反映出跨模态表征对齐效果不佳；其二，包含幻觉的文本表征与不含幻觉的文本表征相互交织，难以区分。基于这两项观察，我们提出了一种简单却有效的幻觉缓解方法。具体而言，我们将对比学习机制引入多模态大语言模型，将含幻觉的文本作为难负样本，从而自然拉近无幻觉文本与视觉样本的表征距离，同时推远无幻觉文本与含幻觉文本的表征。我们通过定量与定性实验验证了该方法的有效性，结果显示其能够显著降低幻觉发生率并提升多个基准测试中的性能。在MMhal-Bench基准测试中，该方法相较于基线模型MiniGPT-4和LLaVA分别取得了34.66%和29.5%的性能提升。相关代码已开源，地址为https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将多模态大语言模型（MLLMs）的幻觉问题界定为模型生成与视觉输入不符的错误或虚构信息，并从表示学习视角提出解决路径。作者分析LLM表示空间中文本token与视觉token的分布，发现两点：视觉表示经投影后仍与文本表示存在显著模态鸿沟（modality gap），且含幻觉与不含幻觉的文本表示相互纠缠，难以区分。核心论点是当前可学习接口未能有效把视觉表示映射到LLM文本表示空间，导致MLLM难以辨别对象或属性层面的细微错误与典型幻觉表达。据此提出Hallucination Augmented Contrastive Learning（HACL），将含幻觉文本作为难负样本，通过跨模态对比学习拉近非幻觉文本与视觉样本表示，同时推开非幻觉文本与幻觉文本表示。论文报告HACL在MMhal-Bench上相比MiniGPT-4/LLaVA基线提升34.66%/29.5%，并在多个基准上减少幻觉并提升性能。
- 研究方法
- 作者先对MLLM内部表示分布进行实证分析，以Vicuna为实验LLM，考察视觉token序列和文本token序列经LLM最后一层后的全局表示（<EOS>表示），据此指出模态鸿沟与幻觉/非幻觉文本表示纠缠。方法上引入跨模态对比学习，分别构造文本到图像和图像到文本对比损失，并在图像到文本方向把GPT-4生成的幻觉描述作为难负样本，同时保留原始非幻觉描述为正样本。幻觉描述由GPT-4根据提示生成，提示要求保持原描述内容与长度，但加入对象存在性、数量、属性、位置等粗粒度或细粒度幻觉，并辅以上下文示例。训练时将HACL嵌入MLLM第一阶段预训练以优化可学习接口，第二阶段仍按原方法用指令数据微调；在MiniGPT-4、LLaVA、LLaVA-1.5上验证。数据方面，MiniGPT-4从大规模预训练数据中随机采样约10M（10%）生成幻觉描述，其余数据不用于幻觉增强对比学习；LLaVA和LLaVA-1.5对约558K的LAION/CC/SBU子集逐条生成幻觉描述。评估使用MMHal-Bench、POPE、VQA、MME、MMBench、MM-Vet、SEED-Bench等基准，其中MMHal-Bench采用GPT-4评估总体分数与幻觉率，训练使用16张NVIDIA A100 80G，并采用大小16,384的队列存储负样本。
- 学术贡献
- 论文在表示学习层面给出两项实证发现：视觉与文本表示之间存在显著模态鸿沟，且含幻觉与不含幻觉的文本表示在LLM表示空间中纠缠，这为MLLM幻觉成因提供了表示空间证据。方法上提出HACL，将幻觉文本作为难负样本引入跨模态对比学习，拓展了MLLM幻觉缓解的路径，从仅依赖指令数据约束或人工反馈奖励转向表示空间对齐。实验贡献在于把HACL应用于MiniGPT-4、LLaVA和LLaVA-1.5，在MMHal-Bench、POPE及多个VQA/多模态基准上报告幻觉率下降和视觉理解性能提升，说明该方法对对象幻觉和综合多模态任务均有作用。其价值主要集中在MLLM幻觉缓解、跨模态表示对齐以及多模态表示学习三个议题。
- 存在局限
- HACL被嵌入第一阶段预训练以优化可学习接口，第二阶段仍沿用指令数据微调，材料未说明该方法对指令微调阶段或解码阶段幻觉的干预，因此对推理时幻觉生成链路的覆盖有限。幻觉描述由GPT-4按提示生成，其质量、幻觉类型分布和与真实MLLM幻觉的匹配程度受生成模型及提示/示例影响，材料中未明确提及对生成幻觉描述的筛选、人工校核或与模型实际幻觉分布的对齐验证。MiniGPT-4实验仅对约10M（10%）数据生成幻觉描述，其余数据不参与幻觉增强对比学习，训练信号覆盖不一致，可能使该模型与其他完整使用HACL的模型间比较不够充分。实验主要基于Vicuna/LLaMA族模型（MiniGPT-4、LLaVA、LLaVA-1.5），材料未明确涵盖非LLaMA架构或更多MLLM，结论向其他架构外推时缺乏依据。MMHal-Bench采用GPT-4评估，材料未明确提及人工评估或评估者间一致性检验，评估可靠性主要依赖自动评判。材料未明确报告消融实验来分离文本到图像损失、图像到文本损失、难负样本数量与质量、队列大小等因素各自对幻觉降低和表示空间变化的贡献。
- 进一步研究方向
- 可将HACL从第一阶段预训练扩展到第二阶段指令微调或解码阶段，在相同MMHal-Bench、POPE及VQA基准上比较不同注入位置对幻觉率和回答质量的影响。可对GPT-4生成的幻觉描述进行人工校验、规则过滤或多模型交叉生成，并按对象存在、属性、数量、关系、位置等类型分层构造难负样本，检验HACL对不同幻觉类型的差异化效果。可在材料提及的BLIP2、InstructBLIP、Shikra、Qwen-VL-Chat等非LLaMA或不同接口架构MLLM上复现HACL，验证跨模态对比学习增益是否依赖特定LLM或投影接口。可开展消融实验，系统改变对比损失权重、难负样本比例、队列大小和批大小，观察表示空间模态鸿沟、幻觉文本可分离度与MMHal-Bench/POPE指标之间的对应关系。可结合逐层表示追踪，比较HACL训练前后视觉token与文本token表示的分布变化，验证模态鸿沟缩小与幻觉率下降之间是否存在稳定关联。可在MMHal-Bench的attribute、adversarial、comparison、counting、relation、environment、holistic、other各问题类型上做细粒度误差分析，识别HACL主要改善和未能改善的幻觉子类。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications