跳到主内容
人工智能

SEED-Bench：多模态大语言模型基准测试

SEED-Bench: Benchmarking Multimodal Large Language Models

Bohao Li, Yuying Ge, Yixiao Ge, Guangzhi Wang, Rui Wang, Ruimao Zhang, Ying Shan

IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16

订阅获取生成式与扩散大模型与语言多模态与视觉语言被引 159被引前 10%影响因子 ≈23.8

摘要

多模态大语言模型依托强大的大语言模型基础，近期在生成文本及图像方面展现出卓越能力，能够处理交错的多模态输入（其功能类似于GPT-4V与DALL-E 3的结合体）。然而，现有的多模态大语言模型基准测试仅局限于评估模型对单张图文输入的理解能力，已无法跟上该类模型的发展步伐。为探究当前多模态大语言模型的进展并揭示其局限性，亟需一套全面的基准测试体系。本研究根据多模态大语言模型可接收与生成的模态类型，将其能力划分为从L0到L4的层级，并提出了SEED-Bench这一用于评估多模态大语言模型层级能力的综合性基准测试。具体而言，SEED-Bench包含2.4万道经过人工标注的选择题，涵盖27个维度，涵盖文本与图像生成能力的评估。基于人工标注得出的正确答案选项，能够客观高效地评估模型性能，评估过程中无需人工或GPT介入。我们进一步对22种主流开源多模态大语言模型的性能进行了测评，并总结了有价值的发现。通过广泛评估揭示现有多模态大语言模型的局限性，我们希望SEED-Bench能为其研究提供启示，推动相关领域向通用人工智能的目标迈进。数据集与评估代码可在https://github.com/AILab-CVC/SEED-Bench获取。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于摘要生成
主要观点
论文指出，多模态大语言模型（MLLMs）已能以交错多模态输入为条件同时生成文本与图像，表现出类似 GPT-4V 与 DALL-E 3 结合体的能力，而现有基准仍只考察模型对单一图像—文本输入的理解能力，评测滞后于模型进展。作者据此按模型可接受与可生成的模态，将 MLLM 能力划分为 L0 至 L4 的层级，并提出综合性基准 SEED-Bench 以评估这种层级化能力。SEED-Bench 由 24K 道带有人工标注准确答案的多选题构成，覆盖 27 个维度，其中同时包含文本生成与图像生成的评估。论文进一步评测了 22 个主流开源 MLLM 并归纳出观察结论，力图通过揭示现有模型的局限，指向通用人工智能这一目标。
研究方法
研究采用“能力分层—基准构建—批量评测”的技术路线：先以可接受与可生成的模态为依据建立 L0–L4 能力层级分类框架，再据此设计 24K 道多选题，每题的正确选项由人工标注给出。评测以多选题作答正确率为度量方式，因标准答案已由人工预先确定，评测过程不需要人工评分或 GPT 介入，从而保证客观与高效。样本构成为覆盖 27 个维度的题目集合，测评对象为 22 个具有代表性的开源 MLLM。数据集与评测代码在 GitHub（https://github.com/AILab-CVC/SEED-Bench）公开。
学术贡献
贡献属于方法创新与评测资源建设层面：其一，提出 L0–L4 的层级化能力分类，把 MLLM 评测的对象从单幅图像—文本输入的理解能力，扩展到文本生成与图像生成，并纳入交错多模态输入这一情境。其二，构建了含 24K 道人工标注多选题、覆盖 27 个维度的基准，并以多选题形式免去评测中的人工或 GPT 介入，使跨模型比较在流程上可复现。其三，对 22 个开源 MLLM 的实测及其观察结论，为多模态大模型评测这一子领域，特别是对图像生成能力与层级化能力的量化比较，提供了可直接使用的对照数据与工具。
存在局限
材料中未明确提及题目在 27 个维度之间的数量分布、难度分层以及标注者间一致性检验等关乎信度的关键信息。评测完全依赖多选题，图像生成这类连续、开放且评判标准主观的输出被压缩为选项选择，该形式对生成能力的测量效度在材料中未作论证。测评对象限于 22 个开源 MLLM，材料中作为能力类比出现的 GPT-4V、DALL-E 3 等闭源模型并未纳入评测，结论的外部适用性因此受限。此外，L0 至 L4 的划分依据、各级的操作性判据以及层级与题目设计的对应关系，材料中未明确提及。
进一步研究方向
可沿三条具体路径推进：一，对同一批开源 MLLM 的 27 个维度得分做分层误差分析，检验 L0–L4 层级之间是否存在能力断裂点，并考察层级设定能否预测模型在新维度上的表现。二，设计配对实验，将多选题得分与人工评分或图像生成质量的连续指标在同一批样本上比对，通过相关性分析验证该基准对生成能力的测量效度。三，在现有 24K 题目基础上增补视频等多模态生成维度，并纳入闭源模型做横向对照；同时对题干措辞、选项顺序等施加扰动，以检验基准得分的稳健性。材料中未明确提及作者已规划的后续研究。

本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Multimodal Machine Learning Applications