语言模型中的多模态思维链推理
Multimodal Chain-of-Thought Reasoning in Language Models
Zhuosheng Zhang, Aston Zhang, Mu Li, Hai Yan Zhao, George Karypis, Alex J. Smola
arXiv (Cornell University) · 2023-02-02
开放获取大模型与语言多模态与视觉语言推理与思维链被引 109影响因子 ≈0.2
摘要
大型语言模型通过采用思维链提示技术来生成作为推理依据的中间推理链，从而在复杂推理任务中展现出卓越的性能。然而，现有的思维链研究主要局限于语言模态。我们提出了多模态思维链框架，将语言（文本）与视觉（图像）两种模态整合到一个分为推理依据生成与答案推断两个阶段的两阶段框架中，从而使答案推断能够借助基于多模态信息生成的更优质推理依据。在ScienceQA和A-OKVQA基准数据集上的实验结果表明了该方法的有效性：参数规模不足10亿的模型采用多模态思维链框架后，在ScienceQA基准测试中便取得了顶尖性能。分析还显示，多模态思维链框架具备减少幻觉现象、加快收敛速度的优势。相关代码已在https://github.com/amazon-science/mm-cot公开。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文提出 Multimodal-CoT，将语言（文本）与视觉（图像）两种模态纳入两阶段框架，分离理由生成与答案推断，使答案推断能利用基于多模态信息生成的更优理由。其核心判断是：既有 CoT 研究主要局限于语言模态，而参数低于 1000 亿的模型，尤其是本文关注的 1B 模型，在生成理由时易产生幻觉，反而误导答案推断。研究对象是多模态 CoT 任务，关键概念包括中间推理链、理由、视觉特征、幻觉、门控融合与两阶段框架。实验在 ScienceQA 与 A-OKVQA 两个带推理链标注的多模态推理基准上展开，表明引入视觉特征可提升理由生成质量并提高答案准确率。低于 1B 参数的模型在 ScienceQA 上取得 state-of-the-art，且 Multimodal-CoT 能减轻幻觉并加快收敛。错误分析显示，视觉特征纠正了 60.7% 的幻觉错误，但仍有未解决错误主要涉及地图理解等需要额外常识信号的情形。
- 研究方法
- 研究采用两阶段监督微调：第一阶段生成理由，第二阶段将生成的理由拼接到原始语言输入后推断答案，两阶段共享相同模型结构但独立训练。模型以 Transformer 为骨干，语言编码后与视觉特征交互并门控融合；视觉特征由冻结的 ViT 提取 patch 级特征，并经可学习投影矩阵对齐到语言表示空间。实验在 ScienceQA（21k 多模态选择题，12k/4k/4k 训练/验证/测试）和 A-OKVQA（25k 问题，17k/1k/6k 划分，数据集提供多选与直接答案评测设置）上进行。比较对象包括 No-CoT（QCM→A）、Reasoning（QCM→RA）、Explanation（QCM→AR）以及两阶段基线、加 caption、加视觉特征等变体。评价指标为理由生成的 RougeL 与答案推断的 Accuracy，并随机抽取 50 个错误案例统计幻觉错误比例与视觉特征纠正率。模型规模聚焦 1B 以下，如 FLAN-AlpacaBase 200M T5 和 T5 770M，而非依赖 LLM 的输出。
- 学术贡献
- 方法创新：提出两阶段 Multimodal-CoT 框架，将视觉特征与语言表示融合用于理由生成和答案推断，推进多模态推理与 CoT 微调交叉议题。分析贡献：揭示朴素 CoT 在多模态小模型上因幻觉性理由而失败，并说明视觉特征如何缓解该问题，给出机制解释。基准贡献：在 ScienceQA 与 A-OKVQA 上验证低于 1B 参数模型的多模态推理可行性，并在 ScienceQA 上取得当时 state-of-the-art。领域价值：对多模态问答、视觉-语言推理、小模型 CoT 微调、幻觉缓解等子领域有具体价值。作者声明这是科学同行评审文献中首次研究不同模态下的 CoT 推理。
- 存在局限
- 论文将范围限定在语言与视觉两种模态，未覆盖音频等其他模态；材料中未明确提及对其他模态或更广泛任务的验证。评测仅基于 ScienceQA 与 A-OKVQA，均为带推理链标注的视觉-语言问答/选择题场景，样本代表性受限。幻觉分析仅随机抽取 50 个错误案例，56% 幻觉比例与 60.7% 纠正率建立在该小样本上，未说明全量错误分布。模型架构采用单头注意力与门控融合，材料未报告与其他融合方式或不同视觉提取器的系统比较；对无图问题使用全零向量作为 blank features，未讨论其潜在影响。剩余错误主要涉及地图理解并需要额外常识信号，但论文未给出具体解决设计；caption 方式仅带来 0.80% 的边际提升。
- 进一步研究方向
- 可将两阶段框架扩展至音频等更多模态，设计相应的理由生成与答案推断流程，检验视觉-语言融合机制是否可迁移。可将错误案例分析扩大到全量测试集或更大分层样本，统计不同错误类型中幻觉占比及视觉特征的纠正率，验证 56% 与 60.7% 等比例的稳健性。可针对地图理解等剩余错误，引入额外常识信号或外部知识源，并设计可消融模块检验其对答案准确率与理由 RougeL 的具体贡献。可系统比较不同视觉提取器（如不同 ViT 变体或其他 patch 级特征）与不同融合机制（多头注意力、不同门控设计）对两阶段框架的影响，以确定架构选择与性能的因果关系。可在 A-OKVQA 的多选与直接答案两种评测设置下分别报告结果，检验方法在不同答案形式下的稳定性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications