MCPToolBench++：大规模AI智能体模型上下文协议MCP工具使用基准测试

摘要

主要观点

论文把大模型借助函数调用将各类数据源与 API 返回结果纳入上下文窗口的能力，视为其从纯语言模型转向具备 agentic 工具使用能力的核心标志，并将 MCP（Model Context Protocol）定位为向模型标准化供给上下文、整合异构服务器工具的协议基础。作者指出，MCP 工具调用能力的评估受四重困难制约：缺乏覆盖高度多样 MCP 工具与 JSON schema 的综合数据集与基准；MCP 工具执行返回格式多样（截图工具把图像存入本地、PayPal 的 create invoice 返回下载 URL 与状态消息），使结果判定复杂化；真实 MCP 工具的成功率并无保证且随服务器而异，部分社区服务器还带来提示攻击与隐私泄露风险；工具与参数的文本描述 token 长度可观，上下文窗口限制了单次运行可调用的工具数量。论文进一步强调参数推理本身构成难点，模型须处理股票代码（9988 → 阿里巴巴）、驾驶模式（flight/train）、地理编码等代码与缩写。据此提出 MCPToolBench++：截至 2025 年 7 月，以 40 余类别、4k 以上 MCP 服务器的市场为采集基础，构建含 1.5K 问答对、6 个领域（browser、file system、search、map、finance、pay）、87 个工具的数据集，兼含单步与最长 10 个工具的多步调用链，并支持多语言。其基本判断是：编程与数学类工具调用基准中的高成功率不能外推至真实 MCP 工具，评估必须同时测量函数调用结构正确性与工具实际执行成败。

研究方法

数据构建采取四阶段管线：先从 smithery.ai、deepnlp.org、pulsemcp.com、modelscope.cn 等市场采集 mcp config.json、server meta.json、tool schema.json 三类 schema 并本地建索引；再由 Tool Sampler 对单步调用在类别内以等概率有放回采样，对多步调用按调用数 2 至 K=10 分箱并以无放回方式采样，跨类别组合（如 finance + plot、search + map）先由 LLM 生成类别对再采样；随后 Query Generator 经工具调用模板生成、参数值生成（借助地理编码与股票代码等代码字典）、槽位填充与查询改写四步合成自然语言查询；最后在 post-processing 中做语义检查与反事实合理性检查（如剔除“从纽约乘火车到东京”这类必然导致 API 失败的查询）。评测端以 AST 指标衡量工具选择与参数类型、取值匹配，多步任务另设 AST DAG Accuracy 对预测与真值的执行计划做有向无环图比对，Pass@1 检验实际执行结果与真值对齐（每个工具调用重复 5 次试验），Tool Call Success Rate 依据响应状态码与 JSON-RPC 结果中的 success 键统计，响应细节是否达标则由 LLM as judge 判定。被测对象为 GPT-4o、Qwen2.5-max、Claude-3.7-Sonnet、Kimi-K2-Instruct 与 Qwen3-coder 五个模型。此外，作者对执行日志做错误根因归类，并以 Tool Dispatcher 设想将候选工具由 Nt（约 100）裁剪至 Nk（约 10），使复杂度由 O(MNtTtool) 降为 O(MNkTtool)。

学术贡献

材料发掘层面，论文以真实 MCP 服务器 schema 而非人工构造函数为来源，建成含 1509 条实例、87 个工具、6 个类别的数据集，并逐类统计工具数与每工具 schema token 长度（如 Search 每工具 555.6 token、Map 合计 13K token），为上下文预算与工具检索研究提供了可量化对象。方法层面，提出 AST DAG Accuracy，针对多步调用中的并行分支与依赖汇合（四个市场 get top change stocks 并行执行后由 plot chart 汇总）做图级匹配，弥补线性 AST 无法表达调用依赖的不足；同时明确区分 Tool Call Success Rate 与 Pass@K——前者只问调用是否报错，后者兼问参数与返回值是否对齐真值。发现层面，论文报告 AST 排名与 Pass@1 排名并不总是正相关：Search 类中 Claude-3.7-Sonnet 的 AST（0.728）居次而 Pass@1（0.620）居首，Kimi-K2-Instruct 的 AST（0.732）居首而 Pass@1 仅 0.368，并将其归因于 google-search 的成功率高于 Tavily 等提供商且 Claude 更频繁选用该工具，指出功能相近的多工具并存时结构匹配无法区分实际执行效果。其错误根因分类（Parameter Errors、API Error、Empty Result、Session & Runtime Errors，以及经纬度越界、截图保存路径不存在、URL 二次鉴权等领域特有错误）为 agent 运行时的故障诊断提供了分类框架，对工具调用基准设计与 agent 系统评测两个子议题均有直接价值。

存在局限

规模表述与实际构成不一致：摘要称基于 4k 以上服务器、40 余类别，但表 1 实际仅涉 87 个工具、1509 条实例、6 个类别，Finance 类由 1 个工具支撑 90 条实例、Search 类由 5 个工具支撑 181 条，类别间工具覆盖极不均衡，类别级 Pass@1 差异难以区分模型能力与单一服务器可靠性。查询全部由模板生成、参数值填充与改写合成，并非真实用户请求分布，质量过滤仅依赖语义检查与反事实检查，未报告人工校验比例或标注一致性。AST DAG Accuracy 以叶节点（各任务最后执行节点）是否匹配定义 label=1，不检验中间步骤正确性，对同一任务存在多条合法路径（直接调用 plan route 传入地址，或先转 geocode 再规划）时如何判定等价，材料中未明确说明。结果报告不完整：材料给出 AST 与 Pass@1 的分类数值，但缺少多步调用各分箱（2 至 10 个工具）的分层结果、多语言子集的按语言结果，AST DAG Accuracy 的具体数值亦未出现。评测仅覆盖 5 个模型、每工具 5 次试验，Pass@K 依赖第三方 MCP 服务商的免费配额与服务稳定性，复现受外部波动影响；文中提及的提示攻击与隐私泄露风险未转化为评测指标，Tool Dispatcher 仅作为复杂度分析提出，未作为实验条件加以验证。

进一步研究方向

其一，改以工具为抽样单位做分层抽样，把 40 余类别补齐至每类含多个独立服务器，并对同一工具重复调用以估计其成功率分布，用方差分解检验类别级 Pass@1 差异中模型选择与服务器可靠性的贡献占比。其二，将 Pass@K 与 Tool Call Success Rate 解耦，设计“仅统计成功执行样本”的条件 AST 与“以工具成功率为权重的期望 Pass”两套指标，把“选错工具或填错参数”与“服务器不可用”两类失败分开归因。其三，把 Tool Dispatcher 设为受控实验变量，在同一批查询上比较 Nt 与 Nk 两种候选工具规模下的 AST 与 Pass@1，检验检索裁剪的增益及上下文 token 预算的边际效应。其四，采集真实用户 MCP 请求日志构成对照集，与合成集在相同模型上对比，检验模板化合成数据是否系统性高估或低估某类工具能力。其五，为多步任务建立多路径等价标注，以 DAG 同构判定替代仅叶节点匹配，并单列中间步骤正确率，测量并行分支与依赖链上的错误传播。其六，构建提示注入与隐私泄露的对抗子集，把安全性作为与 AST、Pass@K 并列的评测维度，报告各模型在恶意 MCP 响应下的失败率。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 人工智能智能体的应用现状：基于17.7万个MCP工具的分析证据

  2026 · 被引 2

• MME：多模态大语言模型的综合性评估基准

  2025 · 被引 507

• SEED-Bench：多模态大语言模型基准测试

  2024 · 被引 165

• 能力指令调优

  2025 · 被引 4

• 多模态大语言模型基准综述

  2024 · 被引 70

• 大型语言模型：综述

  2024 · 被引 1,041