MME：多模态大语言模型的综合性评估基准
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models
Chaoyou Fu, Peixian Chen, Yunhang Shen, Yulei Qin, Mengdan Zhang, Lin Xu, Jinrui Yang, Xiawu Zheng, Ke Li, Xing Wei Sun, Yunsheng Wu, Rongrong Ji, Caifeng Shan, Ran He
neural information processing systems · 2025-01-01
摘要
近年来，将基于自然语言处理技术、能够针对文本类问题给出类人回答的大语言模型应用于地理空间任务的需求迅速增长。研究表明，即便未经微调，大语言模型也能在一定程度上协助生成软件代码并回答某些类型的地理相关问题。不过，仍需进一步研究它们能够正确回答的地理空间问题类型、空间推理能力以及不同模型间的性能差异。本文重点考察GPT-3.5、GPT-4、Llama2.0、Falcon40B这四款大语言模型回答从基础计算到复杂地理概念等各类空间问题的能力。此次对比旨在实现双重目标：其一，我们提出了一种可扩展的方法，用于评估大语言模型在通过正确计算与代码生成支撑空间数据科学方面的局限性；其二，我们也探讨了这些模型通过提供关于空间概念与操作的文本化解释来促进地理空间学习的可能性。研究结果显示，这类模型在回答较基础的问题时表现较为一致，而在涉及复杂空间概念的问题上则结果参差不齐。上述发现可为相关测试与微调策略的制定提供参考，进而提升模型对关键空间概念的理解能力。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 全文针对多模态大语言模型（MLLM）涌现能力缺乏全面量化评估的问题，提出首个综合评测基准 MME，覆盖 perception 与 cognition 共 14 个子任务。其核心主张是通用基准应同时考察感知与认知、尽量避免公开数据集标注泄漏、使用统一简洁指令、输出便于客观量化。MME 对每张图手工设计两个 instruction-answer pair，分别以 yes 和 no 为真值，并要求模型回答“Please answer yes or no”。通过 accuracy 和 accuracy+ 统计，论文对 30 个先进 MLLM 进行零样本评测，发现基础感知任务表现较好、不同模型各有强弱，同时暴露指令遵循不足、基础感知与推理欠缺、object hallucination 等问题。提供的摘要另提出比较 GPT3.5/4、LLaMA2.0、Falcon40B 回答 spatial questions 及代码生成与空间概念解释，但全文未沿该线索展开。
- 研究方法
- 采用基准构建与大规模零样本评测路径，而非单一案例或开放式小样本测试。感知任务分为粗粒度识别（存在、计数、位置、颜色，各 30 图 60 问答）、细粒度识别（电影海报 147 图、名人 170 图、场景 200 图、地标 200 图、艺术作品 200 图）和 OCR（20 图 40 问答）。认知任务包括常识推理（70 图 140 问答，手动拍摄或扩散模型生成）、数值计算、文本翻译、代码推理（各 20 图 40 问答）。图像部分取自 COCO 等公开数据集，但 instruction-answer pair 全部手工构造；指令为问题加 yes/no，每图两问，一正一负。指标为 accuracy 和更严格的 accuracy+，子任务分数为二者之和，感知总分 2000、认知总分 800。
- 学术贡献
- 在方法层面提出 MME 这一综合基准，将 MLLM 评估从单一能力或开放式小样本扩展到 perception 与 cognition 的 14 子任务矩阵。在材料层面通过手工构建 instruction-answer pair 和 yes/no 设计，试图规避公开标注泄漏并降低 prompt engineering 对模型比较的干扰。在实证层面于 MME 上零样本评测 30 个 MLLM，给出感知/认知总分及 14 子任务排行榜，揭示模型间差异。在问题诊断层面总结不能遵循基本指令、基础感知和推理缺乏、object hallucination 等突出问题，对 MLLM 优化有直接指向。该工作对多模态大模型评测子领域有价值，尤其是统一指令、可量化指标和防泄漏标注设计。
- 存在局限
- 材料中标题与全文讨论 MME 多模态基准，摘要却讨论四个 LLM 的地理空间问答、代码生成与空间概念解释，研究问题与贡献陈述不统一。部分子任务样本量小：数值计算、文本翻译、代码推理、OCR 各 20 图 40 问答，粗粒度识别各 30 图 60 问答，统计稳定性和覆盖度受限。yes/no 二选一虽便于量化，但只能测有限识别与判断，无法评估开放式生成、多轮推理和复杂指令遵循；材料也承认多选题可能超出当前 MLLM 能力。图像来自 COCO 等公开数据集，虽标注手工，但模型训练中是否见过这些图像未明确控制，数据泄漏风险不能完全排除。评测只报告零样本分数和排行榜，未提供错误类型与子任务分数的系统关联分析；四类问题总结较为概括。摘要中的四模型空间问题比较与 MME 的 30 模型评测未在全文整合，空间推理能力维度未明确纳入 MME 子任务。
- 进一步研究方向
- 扩大低样本子任务规模，并按难度分层设计样本，用于验证分数稳定性与模型能力边界。在保持可量化前提下引入多选、排序、短答和开放生成任务，设计可重复的评分协议，比较 yes/no 与开放式评测的差异。对公开图像进行训练集污染检测，按图像来源和发布时间划分清洁测试集，验证数据泄漏对排行榜的影响。围绕四类问题建立细粒度错误分类，将 object hallucination、指令遵循失败、感知错误和推理错误分别标注，并与子任务及模型结构关联。若沿摘要中的空间问题线索推进，可把 spatial questions、代码生成和空间概念解释纳入统一评测，将四模型对比扩展至更多模型并验证空间推理能力。动态更新 MME，按 MLLM 发展补充新子任务与更难样本，避免基准饱和。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling