KAM-CoT：知识增强的多模态思维链推理
KAM-CoT: Knowledge Augmented Multimodal Chain-of-Thoughts Reasoning
Debjyoti Mondal, Suraj Modi, Subhadarshi Panda, Rituraj Singh, Godawari Sudhakar Rao
Proceedings of the AAAI Conference on Artificial Intelligence · 2024-03-24
摘要
大型语言模型通过运用能够支持逐步推理的思维链技术，在自然语言处理任务中展现出卓越的性能。为大型语言模型赋予多模态能力是当前的研究热点，但这一过程往往伴随着较高的计算成本以及对大量硬件资源的需求。针对这些难题，我们提出了KAM-CoT框架，该框架将思维链推理、知识图谱与多种模态相融合，以实现对多模态任务的全面理解。KAM-CoT采用包含知识图谱锚定的两阶段训练流程，从而生成有效的推理依据与答案。通过在推理过程中引入来自知识图谱的外部知识，模型能够获得更深刻的语境理解能力，进而减少幻觉现象并提升答案质量。这种知识增强的思维链推理机制使模型能够处理需要外部语境支撑的问题，给出更具参考价值的答案。实验结果表明，KAM-CoT的性能优于现有最先进的方法：在ScienceQA数据集上，其平均准确率达到了93.87%，较GPT-3.5的75.17%高出18%，较GPT-4的83.99%高出10%。值得注意的是，KAM-CoT仅需280百万个可训练参数即可取得上述成果，充分体现了其成本效益与有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出 KAM-CoT，将思维链推理、知识图谱与多模态输入整合到统一框架中，用于多模态问答与复杂推理任务。其核心论断是：在推理阶段引入来自知识图谱的外部结构化知识，可增强模型的上下文理解、减少幻觉并提升答案质量，尤其适用于需要外部语境的问题。框架采用两阶段训练，先生成 rationale，再以 rationale 为附加输入预测答案，并联合处理文本、图像与知识图谱子图三种模态。实验以 ScienceQA 为对象，在 FLAN-T5-Base 设置下取得 93.87% 平均准确率，高于 GPT-3.5 的 75.17% 与 GPT-4 的 83.99%，且仅使用 280M 可训练参数。作者将贡献归纳为图抽取、文本与图像同知识图谱的融合机制以及 KAM-CoT 推理框架三项。
- 研究方法
- 研究以 ScienceQA 为基准，该数据集包含 21208 道多模态选择题，覆盖 3 个学科、26 个主题、127 个类别与 379 项技能，划分为 12726 个训练样本、4241 个验证样本和 4241 个测试样本。方法路径为：文本经 transformer 语言编码器编码，图像经 DETR 或 CLIP 编码器编码，也可用 ViT-GPT2 生成 caption，并从 ConceptNet 抽取子图，再经 Relational Graph Attention 层与 Graph Convolutional 层编码。子图抽取将 17 类关系、34 种边类型的三元组转为句式模式，以 grounding 问句、上下文与选项节点，取 1-hop 和 2-hop 邻域并裁剪至每样本 200 个节点，节点嵌入复用语言编码器 checkpoint，边嵌入通过训练学习。三模态通过 cross-attention 交互，再用 gated fusion 得到 Hfuse 并输入 transformer decoder 自回归生成，rationale 生成模型与答案推断模型分别训练。训练在单张 NVIDIA A100 40G 上进行，共 20 个 epoch，学习率为 5e-5，batch size 为 1，最大输入长度 512 token，rationale 与答案最大输出长度分别为 512 和 64，评价指标为平均准确率与 RougeL，并对图像编码器、caption 使用方式等进行对比。
- 学术贡献
- 在理论建构层面，论文提出 KAM-CoT，将知识图谱 grounding 嵌入多模态思维链的两阶段理由生成与答案推断过程。在方法创新层面，给出文本、图像与图三模态的 cross-attention 交互与 gated fusion 路径，并讨论和比较 Fusion-1 等融合变体。在材料与流程层面，构建基于 ConceptNet 的子图抽取流程，包括 17 类关系、34 种边类型、句式 grounding、1-hop/2-hop 扩展及 200 节点裁剪。在实证层面，在 ScienceQA 上报告 93.87% 平均准确率与 98.40 RougeL，并在 280M 可训练参数下超过 GPT-3.5、GPT-4 以及 LLaVa 的 92.53%。其贡献落在知识增强的多模态推理、参数高效的多模态 CoT 与科学问答三个子领域。
- 存在局限
- 材料中未明确提及作者自述局限；从实验设计看，全部主结果只在 ScienceQA 上报告，未给出跨数据集或跨领域的泛化验证。知识来源仅限 ConceptNet，节点 grounding 依赖三元组转句与句式匹配，抽取覆盖受该图谱和规则限制，材料未报告知识缺失或错误时的误差分析。子图统一裁剪至 200 节点、最多 2-hop，可能牺牲长尾或长链知识，材料未说明裁剪阈值对答案与 rationale 的敏感度。评估以答案准确率和 RougeL 为主，未包含 rationale 的人工可信度或事实一致性评估，因此“减少幻觉”的论断主要靠准确率间接支撑。训练与超参固定为 batch size 1、20 epoch、单张 A100，未报告多随机种子、统计显著性或其他硬件与规模条件下的复现波动。
- 进一步研究方向
- 针对材料仅用 ScienceQA 的局限，可在更多多模态推理问答数据上复现 KAM-CoT 的两阶段流程，验证知识图谱 grounding 对准确率和 rationale 质量的稳定增益。对子图抽取做系统消融：比较 1-hop/2-hop、200 节点阈值、17 类关系与 34 种边类型、caption 是否参与节点抽取以及 DETR/CLIP 图像编码器对答案和 RougeL 的影响。引入 rationale 的人工评估与事实性标注，检查在知识图谱缺失、冲突或问题无需外部知识时，模型是否仍产生幻觉。开展错误分析：按 ScienceQA 的学科、主题、年级（G1-6/G7-12）与上下文类型（TXT/IMG/NO）分层统计错误，定位知识图谱增益与失效场景。在模型缩放与融合机制上继续实验：比较不同规模 backbone、不同融合变体与图编码层数，测量参数效率与推理质量的权衡。优先验证知识图谱与 CoT 的因果贡献：通过去除图输入、替换或扰动节点边、控制 rationale 质量等干预实验，判断性能提升来自外部知识还是两阶段训练本身。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications