跳到主内容
人工智能

多模态大语言模型基准综述

A Survey on Benchmarks of Multimodal Large Language Models

Li Jian, Weisheng Lu, Fei, Hao, Meng Fan Luo, Ming Dai, Min Xia, Yizhang Jin, Gan, Zhenye, Ding Qi, Chaoyou Fu, Ying Yu Tai, Wankou Yang, Yabiao Wang, Chengjie Wang

arXiv (Cornell University) · 2024-08-16

开放获取大模型与语言多模态与视觉语言被引 70被引前 50%影响因子 ≈1.1

摘要

多模态大语言模型（MLLMs）因在视觉问答、视觉感知、理解与推理等各类应用中表现优异，在学术界与产业界均日益受到关注。过去数年中，已有大量工作从多个视角对多模态大语言模型展开考察。本文对200个多模态大语言模型基准与评估进行了全面梳理，重点关注（1）感知与理解、（2）认知与推理、（3）特定领域、（4）关键能力以及（5）其他模态。最后，我们探讨了当前多模态大语言模型评估方法的局限性，并探索了具有潜力的未来研究方向。我们的核心观点是，应将评估视作支撑多模态大语言模型更好发展的关键学科。更多详情请访问我们的GitHub仓库：https://github.com/swordlidev/Evaluation-Multimodal-LLMs-Survey。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于全文生成
主要观点
论文的核心论点是：评估应被视为支撑多模态大语言模型（MLLMs）发展的关键学科，而非模型研发之后的附属环节。综述对象为200个MLLMs基准与评测，围绕感知与理解、认知与推理、特定领域、关键能力、其他模态五类展开。评估的功能被具体化为识别模型强弱项、指导医学/工业/自动驾驶等场景应用、保障鲁棒性安全性与可靠性，以及考察长上下文和指令遵循等用户友好特性。材料以SEED-Bench为例指出当前MLLMs在物体空间关系理解上较弱、在整体图像理解上表现较高，从而说明基准评测对能力诊断的作用。论文还强调，跨场景评估能够启发未来模型设计并扩展能力边界。
研究方法
论文采用综合性文献综述与分类整理的方法，对200个MLLMs基准和评测进行系统编排，而非提出新基准或开展模型实验。分类体系为五个主类、20至30个子类，覆盖综合评估、细粒度感知、图像理解、通用推理、知识推理、文本丰富VQA、决策智能体、对话能力、幻觉、可信度、视频、音频、3D点云等具体条目。材料构成包括对已有基准的归类和简述，并以图表呈现MLLMs评估论文随时间增长的趋势，以及2024年以来83个基准上排名前三MLLMs的统计。论文还以公式和架构图介绍视觉编码器、视觉-语言投影器、大语言模型以及预训练和指令微调流程，作为评测讨论的技术背景。材料未明确提及系统检索数据库、时间范围、纳入排除标准和分类编码流程。
学术贡献
论文的贡献首先体现在领域梳理与材料发掘层面：将分散的200个MLLMs基准收纳进五类、20至30个子类的分类框架，形成可检索的基准地图。其次，它把评估从单一排行榜提升为覆盖感知、认知、领域应用、关键能力和多模态扩展的议题结构，使细粒度感知、视觉定位、多图像理解、知识编辑、幻觉、可信度、视频时序理解、音频和3D点云等子领域获得并列呈现。再次，论文提供评估论文数量趋势和83个基准上top3模型表现统计，为观察基准增长与模型竞争格局提供量化线索。其“评估应作为关键学科”的论点，对MLLMs评测协议设计和基准选择具有框架性价值。
存在局限
论文属于综述，未提出新的基准、数据集或模型实验，因而无法直接验证其分类框架对未收录基准的覆盖能力。材料未说明200个基准的检索时间范围、纳入排除标准、筛选责任人和分类编码规则，样本代表性难以复核。五个主类与20至30个子类之间的互斥性与完备性未报告编码一致性或专家校验结果。摘要提出讨论当前评估方法的局限，但节选未展开具体局限清单，论证链条在该处不完整。83个基准上top3模型的统计未说明模型版本、提示设置、解码参数和评分口径，架构与训练公式也未与基准表现建立关联分析。
进一步研究方向
可建立200个基准的结构化元数据表，逐条记录任务类型、模态、数据规模、答案形式、评价指标、领域标签和是否支持开放答案，据此绘制覆盖矩阵并识别五类之间的空白与重叠。可采用双人独立编码与一致性统计检验分类体系的互斥性和完备性，并公开编码手册以复核纳入排除规则。可对83个基准上的top3模型结果进行统一复现实验，固定提示模板、解码参数和模型版本，检验跨基准排名的稳定性。可将视觉编码器CLIP/SigLIP/DINO、投影器设计、LLM规模、预训练与指令微调策略作为自变量，对感知、推理、幻觉、长上下文等基准得分做受控消融或关联分析。针对节选未展开的评估局限，可设计开放-ended对话、长上下文、指令遵循、可信度以及视频、音频、3D点云等模态的专项评测任务，并验证其与现有基准的相关性和区分度。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Multimodal Machine Learning Applications