大型视觉语言模型中的幻觉检测与预防
Detecting and Preventing Hallucinations in Large Vision Language Models
Anisha Gunjal, Jihan Yin, Erhan Bas
Proceedings of the AAAI Conference on Artificial Intelligence · 2024-03-24
摘要
经过指令微调的大型视觉语言模型在各类多模态任务中的泛化能力显著提升，尤其在视觉问答任务中表现突出。然而，生成与视觉内容紧密关联的详细回答对这些模型而言仍是一项挑战。我们发现，即便是当前最先进的此类模型InstructBLIP，其生成的文本中仍有高达30%属于幻觉内容，具体表现为不存在的物体、不符合实际的描述以及不准确的关系表述。针对这一问题，我们推出了M-HalDetect多模态幻觉检测数据集，该数据集可用于训练及评估模型的幻觉检测与预防能力。M-HalDetect包含基于视觉问答示例的1.6万条细粒度标注数据，是首个面向图像详细描述的多模态幻觉检测专用数据集。与以往仅关注物体幻觉的研究不同，我们还对不准确的实体描述及关系进行了标注。为验证该数据集在幻觉预防方面的潜力，我们采用新提出的细粒度直接偏好优化方法对InstructBLIP进行优化；同时基于InstructBLIP训练细粒度多模态奖励模型，并通过最佳N个结果拒绝采样技术评估其效果。我们对上述两种方法的幻觉抑制效果进行了人工评估，结果显示它们分别使InstructBLIP的幻觉率降低了41%和55%。研究还发现，所训练的奖励模型可推广至其他多模态模型，能将LLaVA和mPLUG-OWL的幻觉率分别降低15%和57%，且该模型的表现与人类评估的准确率高度相关。该数据集的获取地址为https://github.com/hendryx-scale/mhal-detect。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是当前指令微调的大型视觉语言模型在详细图像描述与VQA中仍会产生大量视觉上无依据的幻觉，即使最先进的InstructBLIP也包含30%的幻觉文本，形式包括非存在对象、不忠实描述和不准确关系。作者提出M-HalDetect，一个包含16k细粒度标注的多模态幻觉检测数据集，标注对象为详细图像描述，并在对象幻觉之外进一步标注实体描述与关系的不忠实。论文主张该数据集可用于训练和评测幻觉检测与预防模型，并通过Fine-grained Direct Preference Optimization（FDPO）与基于细粒度多模态奖励模型的最佳n拒绝采样（RS）降低幻觉率。实验报告FDPO和RS分别将InstructBLIP的幻觉率降低41%和55%，奖励模型还可泛化到LLaVA与mPLUG-OWL，分别降低15%和57%的幻觉，并与人类评测准确率分数强相关。
- 研究方法
- 研究首先从COCO val2014中抽取4,000张图像，按3,200张训练与800张开发划分，用InstructBLIP对每张图像随机选取描述指令并以温度1.0的核采样生成4条详细描述，形成16k图像—提示—回答三元组，其中12,800条用于训练、3,200条用于验证。标注由Scale AI的RAPID工具完成，10名随机选择的人工标注者需通过培训课程并在示例任务上达到85%最低准确率，标注在子句级别分为Accurate、Inaccurate、Analysis和Unsure四类，未标记词默认视为Accurate，允许跳过标点、连接词和引导性子句。检测方法将InstructBLIP的最终嵌入层替换为分类头，构建句子级与片段级奖励模型，并在二元分类（Accurate与Inaccurate）和三元分类（Accurate、Inaccurate、Analysis）设置下以交叉熵训练，只微调解码器与奖励头。预防方法包括最佳n与最差n拒绝采样，在段落级用每句非幻觉负对数概率均值作为奖励分数，n取16与64，并采用三元奖励模型；同时提出FDPO，将每条生成切分为偏好、非偏好和中性片段，修改DPO损失以提升偏好片段似然并降低非偏好片段似然，仅微调QFormer与语言头，β设为0.5，最多5轮，学习率10−6，warmup ratio为0.03并使用余弦调度器。评测包括奖励模型分类指标、拒绝采样结果以及人类对内容真实比例的评估。
- 学术贡献
- 论文的贡献首先在材料层面，构建并发布了M-HalDetect，这是面向详细图像描述的首个综合性多模态幻觉检测数据集，包含16k子句级细粒度标注，并将标注范围从对象是否存在扩展到实体描述和关系是否忠实。在方法层面，论文提出FDPO，将DPO从成对偏好扩展为利用单条样本内部细粒度标注的偏好、非偏好与中性片段进行直接优化，避免收集成对偏好信号。论文还训练了句子级和片段级、二元和三元的多模态奖励模型，并系统比较其在幻觉检测与拒绝采样中的效果。在实证层面，论文报告FDPO使InstructBLIP幻觉率降低41%，最佳64拒绝采样降低55%，且奖励模型在LLaVA与mPLUG-OWL上分别降低15%和57%的幻觉，说明该奖励信号具有跨模型泛化能力。最后，论文表明奖励模型可作为与人类评分对齐的幻觉率评估器，对多模态幻觉检测、VQA可靠性评估以及LVLM偏好对齐等议题具有直接价值。
- 存在局限
- 数据集仅使用COCO val2014的4,000张图像，约占原验证集10%，且所有待标注回答均由InstructBLIP生成，这使图像分布、回答风格与幻觉类型受限于单一模型和单一数据源。标注规则允许标注者遗漏少量词，未标记词默认归为Accurate，并跳过标点、连接词和引导性子句；句子级转换时任一子句不准确即整句标为不准确，且Unsure在句子级被并入不准确类，这些处理会引入标签噪声。片段级奖励模型假设标注片段定位完美，且论文未训练片段定位模型，因此该模型不能用于拒绝采样，只能报告分类指标，限制了其在幻觉预防中的实际使用。二元奖励模型被发现对Analysis类给出过高分数，偏向主观分析而非客观描述，故拒绝采样改用三元模型；FDPO仅微调QFormer与语言头，且不同温度下效果存在波动，如DA设置在T=1时人类评测降至0.58。评测部分也指出奖励模型分数存在系统性偏差，例如对回答顺序敏感；材料中未明确提及标注者间一致性指标，也未报告在COCO val2014之外图像上的评测。
- 进一步研究方向
- 后续可把片段定位模型与片段级奖励模型并行训练，使其识别幻觉在句子中的起止位置，从而把片段级信号用于拒绝采样或强化学习，而不再假设完美定位。可在M-HalDetect之外，用LLaVA、mPLUG-OWL以及其他LVLM生成的回答扩充标注，并纳入COCO val2014之外的图像来源，以检验奖励模型在不同回答风格与视觉分布上的泛化。可针对FDPO中Analysis类作为负类或中性类的两种设置做受控消融，并联合温度参数与β、训练轮数系统比较，以确认降低幻觉与保持描述质量之间的稳定配置。可设计实验比较GPT-4作为人类代理的自动评分与论文中的人类真实比例评分，并控制回答顺序等系统性偏差，同时扩大best-of-n的n值与跨模型奖励迁移测试。还可分析10名标注者之间在Accurate、Inaccurate、Analysis和Unsure四类上的标注一致性，并评估未标记词默认Accurate和Unsure合并策略对训练与评测的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications