提升视觉语言模型链式思维推理能力
Improve Vision Language Model Chain-of-thought Reasoning
Ruohong Zhang, Bowen Zhang, Yanghao Li, Haotian Zhang, Zhiqing Sun, Zhe Gan, Yinfei Yang, Ruoming Pang, Yiming Yang
Proceedings of the conference - Association for Computational Linguistics. Meeting · 2025-01-01
开放获取大模型与语言多模态与视觉语言推理与思维链被引 35被引前 10%影响因子 ≈6.9
摘要
Ruohong Zhang、Bowen Zhang、Yanghao Li、Haotian Zhang、Zhiqing Sun、Zhe Gan、Yinfei Yang、Ruoming Pang、Yiming Yang. 第63届计算语言学协会年会论文集（第1卷：长文）. 2025.
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对视觉语言模型链式思维推理训练数据以短答案为主、缺少详细理由的问题，提出先用GPT-4o蒸馏理由进行监督微调，再用DPO进行偏好优化以提升CoT推理。核心论断是仅用短答案直接预测训练不能有效迁移到需要详细回应的推理任务：在ChartQA的26k直接预测数据上，直接预测准确率由70.2升至73.1，而CoT仅由71.2升至71.8，CoT反而低于直接预测。作者据此主张需显式加入详细推理步骤数据，并用模型自生成的正负推理链与短标注答案比对来校准推理过程。研究覆盖A-OKVQA、ChartQA、DocVQA、InfoVQA、TextVQA、AI2D、SQA、MathVision、G-LLaVA等九类VQA任务，构建193k条CoT样本。
- 研究方法
- 采用“理由蒸馏—监督微调—DPO偏好优化”的三段式实验路径。先用GPT-4o在九个数据集的短标注上生成理由，并过滤掉GPT-4o最终答案与真值不一致的样本，得到193k条CoT数据；以LLaMA3-LLaVA-NeXT-8B（权重初始化为Open-LLaVA-NeXT）为基座，设置直接预测与CoT两类提示，比较格式对齐、仅直接数据、仅CoT数据、直接加CoT四种数据组合。DPO阶段用SFT模型对每题采样32条候选推理，按最终答案与短标注是否一致构造正负对，选取准确率在0.25至0.85之间的题目、每题最多三对，并以β=0.1的DPO目标优化。评测覆盖A-OKVQA、ChartQA、DocVQA、InfoVQA、TextVQA、AI2D、SQA、MathVista以及OCRBench、MMStar、MMMU，CoT答案按“###Answer:”抽取后送入VLMEval等评测协议。
- 学术贡献
- 在材料发掘层面，论文构建并计划发布ShareGPT4o-Reasoning数据集，包含193k条CoT样本，覆盖世界知识、图表理解、文档与真实场景文本、数学与科学推理等九类VQA任务。在实证层面，论文证明仅用CoT数据训练较格式对齐基线平均提升CoT 10.5分、直接预测4.2分，直接加CoT组合平均提升直接预测7.3分、CoT 11.7分，ChartQA与MathVista等计算任务提升显著。在方法层面，论文展示无需额外人工标注、仅用模型生成推理链与短答案反馈构造正负对进行DPO，可进一步校准推理，并可将DPO模型用作verifier进行奖励分配。上述贡献对视觉语言模型的CoT训练数据构成、推理对齐与偏好优化子领域具有方法参考价值。
- 存在局限
- 从方法设计看，理由数据由GPT-4o蒸馏并以最终答案是否匹配真值过滤，材料未说明对推理链本身进行人工忠实性校验；DPO正负对也仅以最终预测正确性为偏好信号，可能把“答对但理由不当”或“答错但理由合理”的样本简单二分。样本覆盖限于九个VQA数据集和单一LLaMA3-LLaVA-NeXT-8B基座，DPO实验以LLaVA-Reasoner-SFT为策略模型，材料未明确给出跨其他VLM架构的复现结果。论文承认与Cambrian、GPT-4o等比较受模型架构、训练数据和评测管线差异影响；模型④在TextVQA、DocVQA、AI2D上直接预测优于CoT，作者仅提出“简洁事实抽取”假设而未验证。所供材料为视觉语言模型链式推理研究，未涉及艺术学理论、艺术设计、美术与书法等具体艺术对象，材料中未明确提及艺术学领域的应用场景。
- 进一步研究方向
- 可在同一193k CoT数据与DPO框架上增加对推理链的人工标注或扰动实验，检验理由与答案之间的因果一致性，而不只以最终答案正确性构造偏好对。可针对TextVQA、DocVQA、AI2D按问题类型与答案长度分层，比较直接预测与CoT的误差来源，验证“简洁事实抽取不需长链推理”的假设。可将DPO模型作为verifier的用法推进到步骤级奖励或信用分配，比较题级正负对与步骤级偏好对对推理质量的影响。还可在其他开源VLM基座上复现SFT加DPO流程，控制训练数据与评测协议，检验数据构成效应是否独立于模型架构。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications