多模态大语言模型中的视觉认知
Visual cognition in multimodal large language models
Luca M. Schulze Buschoff, Elif Akata, Matthias Bethge, Eric Schulz
Nature Machine Intelligence · 2025-01-15
开放获取大模型与语言多模态与视觉语言被引 60被引前 10%影响因子 ≈24.7
摘要
人工智能的核心目标之一是打造能够像人类一样思考的机器。然而有观点认为，深度神经网络架构难以实现这一目标。研究者指出，这类模型在因果推理、直觉物理以及直觉心理学领域存在明显局限。不过近期取得的进展——尤其是专为视觉处理设计的大语言模型的兴起——重新激发了人们对模拟类人认知能力的期待。本文评估了基于视觉的大语言模型在直觉物理、因果推理及直觉心理学领域的当前发展水平。通过一系列控制实验，我们探究了这些现代模型在理解复杂物理互动、因果关系以及对他人偏好的直觉认知方面的能力。研究结果表明，尽管部分模型在视觉数据的处理与解读上表现出较强能力，但在此类领域仍不及人类水平。我们的研究结果强调，有必要将更完善的因果理解、物理动态及社会认知机制融入当代基于视觉的语言模型中，同时也凸显了借鉴认知科学理念构建相关评测基准的重要性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该论文评估基于视觉的大型语言模型（vision LLMs / multimodal LLMs）在直觉物理、因果推理和直觉心理学三个核心认知域中的表现，问题域是这些模型是否具备类人思考能力。作者通过视觉问答把模型作为心理实验参与者，与人类行为比较，考察复杂物理交互、因果关系以及他人偏好和意图理解。结果显示，部分模型在部分任务上高于随机，GPT-4V和Claude-3 Opus在两个领域表现较稳，但没有任何模型达到人类水平，也没有模型完全捕捉人类行为。在直觉物理的木块塔稳定性判断中，仅GPT-4V和Claude-3略高于随机，GPT-4V与人类判断有弱关系；因果推理的Jenga责任评分中除GPT-4V外模型给恒定值；Michotte任务中无模型接近人类；直觉心理的成本/奖励和帮助/阻碍判断关系弱甚至负相关。因此作者主张需在视觉语言模型中整合更稳健的因果、物理动态和社会认知机制，并强调认知启发基准的重要性。
- 研究方法
- 采用视觉问答范式：每项查询向模型提交图像并附加任务特定提示，先做基础视觉查询（背景色、物体计数、颜色顺序）作为控制，再提交认知科学实验中的问题。将模型视为心理实验参与者，按Binz和Schulz的路线与人类行为直接比较。测试五个多模态大语言模型：GPT-4V（约1.7T参数估计）、Claude 3 Opus（约2T参数估计）、Fuyu-8B、Otter 7B和LLaMA-Adapter V2 7B。任务与数据集包括：直觉物理用Lerer等的木块塔照片；因果推理用Zhou等的Jenga合成图和Gerstenberg等的Michotte launching范式；直觉心理用Jara-Ettinger等的宇航员合成图与Wu等的新Help or Hinder网格任务。分析指标包括百分比正确、平均绝对距离、二项分布标准差、Fisher精确检验、t检验，以及贝叶斯逻辑/线性混合效应回归得到的系数、Bayesian R2和pseudo r值。
- 学术贡献
- 该研究首次针对Lake等提出的核心认知组分，在视觉多模态大语言模型中系统考察直觉物理、因果推理和直觉心理三个领域。方法上将行为科学实验范式用于黑箱多模态模型，把模型当作参与者并与人类数据对齐，扩展了以往多限于纯语言LLM的认知能力评测。材料上整合并调用认知科学经典任务与数据集，包括Lerer、Zhou、Gerstenberg、Jara-Ettinger和Wu等的研究，并指出认知启发基准的必要性。理论上，模型部分解题但未达人类且未完全捕捉人类行为，为领域特定贝叶斯认知模型留下空间，对多模态LLM评测、AI认知能力与认知科学的比较议题有价值。应用层面对视觉语言模型开发提出需整合因果、物理动态和社会认知机制。
- 存在局限
- 模型样本仅五个，且未报告所有模型版本细节与推理设置；参数为估计值，训练数据与提示鲁棒性未系统检验，限制架构与规模层面的泛化结论。任务覆盖每领域仅一至两个实验：直觉物理一个木块塔任务，因果推理两个任务，直觉心理两个任务，难以代表三个认知域的全貌。基本视觉能力失败可能混淆高级认知结论：如Fuyu在Michotte背景色任务总答“pink”，多模型计数困难，闭源模型数箱困难。输出退化明显：责任评分中除GPT-4V外模型给恒定值（100或50），LLaMA-Adapter V2在反事实题给非有效答案，GPT-4V总答100，说明量表任务未可靠执行而非单纯认知缺陷。与人类比较的回归R2普遍很低，且材料中未明确提及人类受试者样本量、每任务试次数和统计效力，无法判断弱关系是否由设计导致。作者论证训练集污染可能性较低，但未报告实证污染检验。
- 进一步研究方向
- 扩展核心领域基准：构建覆盖直觉物理、因果推理和直觉心理的多样化刺激集，包含真实照片、合成2D、时序/视频和反事实场景，每域设置多个任务并系统操纵视觉复杂度与提示模板，以分离感知错误和高级认知失败。针对输出退化，设计量表校准、结构化输出、多次采样与概率分布评分，检验模型能否恢复连续责任、成本与奖励判断，并以人类间一致性为上限基准。引入领域特定贝叶斯模型作为对照，并测试将贝叶斯模块与视觉LLM结合，验证是否提升木块稳定性、Jenga移除后果、Michotte结果/反事实和Help or Hinder意图判断。开展纵向和消融研究，比较不同规模、开源/闭源、视觉编码器与语言解码器配置，报告模型版本、提示、推理参数和每任务试次数，检验架构与规模对三域表现的影响。对训练集污染做实证检验，使用新生成刺激和未公开人类真值变体，验证模型是真正推理还是记忆，并预注册人类样本量与试验设计。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications