超越黑盒困境：代理式人工智能工具使用的可解释性研究

摘要

主要观点

论文把研究焦点锁定在「工具决策边界」（tool-decision boundary）这一时刻，即智能体在直接作答、调用外部工具或执行后果更重的外部动作之间做出选择的决策点，主张该决策在动作发生之前已作为可读信号存在于模型内部激活之中。作者以稀疏自编码器（SAE）把稠密激活分解为稀疏内部特征，再用线性探针读出两类信号：Tool-Need Probe 判断当前步是否需要调用工具（二分类），Tool-Risk Probe 判断下一步工具动作属于低、中、高哪一级风险（三分类）。论文明确将自身定位为对外部可观测性（提示词、评测打分、事后日志）的补充而非替代，认为提示只揭示相关性、评测只度量输出、日志只在动作之后到达。核心支撑性论断是：在长程（long-horizon）执行中，早期的工具错误会改变后续轨迹、抬高 token 消耗并引出下游安全与安保风险，因此需要在动作前读取内部状态。作者还论证选择 SAE 特征而非原始残差方向并非出于精度考虑，而是为了让告警可追溯到具名特征、可定位到层、可用于审计、升级与根因分析。

研究方法

作者将 NVIDIA Nemotron function-calling 数据集中的多步智能体轨迹按 trajectory 分组、按深度排序，重建每一步的累积上下文并截断于决策边界，使探针看不到当前步输出与未来轨迹，再依据 gold next action 标注 tool_needed 二值标签，并用附录 C 的关键词分组把工具调用步划为低（只读检索）、中（有界写入）、高（认证、外发通信、危险执行）三级风险。内部状态提取上，两个骨干模型均对动作前最后 32 个 token 的隐藏状态做均值池化：GPT-OSS 20B 读取 6 个 post-residual 层并用公开 GPT-OSS SAE 编码，Gemma 3 27B 读取 4 个 post-block residual 层并用 Gemma Scope SAE 编码，再跨层拼接稀疏特征。探针实现为稀疏逻辑回归，按特征区分度做特征选择，正则化在 ridge、lasso、elastic net 中选取（GPT-OSS 的 Probe 1 用 lasso 取 200 个特征，Gemma 的 Probe 1 取 2000 个特征，两模型的 Probe 2 各取 1000 个特征）。功能性检验采用 SAE 特征空间内的表征消融：将排名靠前的少量特征置零后重跑探针，比较置信度下降或标签翻转。少量入选特征另用 LLM 对高激活样本生成自然语言标签；评测指标包括 Tool-Need 的准确率、precision、recall、macro-F1，Tool-Risk 的准确率与 macro-F1，以及期望标签、探针判定与真实执行三者的运行时对齐率、漏报与不必要调用告警率，并以 BFCL 做零样本迁移。

学术贡献

在理论建构层面，论文提出「动作前内部监控」框架，把机制可解释性从静态 LLM 分析推进到多步智能体轨迹中的实时前置监控，并用「任务要求—模型内部信号—运行时实际动作」三方对照给出正确无工具、正确调用、漏调用、不必要调用、高风险调用五类运行时结果分类。在方法层面，论文设计了两个互补读出（Tool-Need 与 Tool-Risk），并把工具决策信号定位到稀疏特征与靠后层，配合特征消融检验这些特征对监控读出的功能必要性，同时给出输出日志监控、原始残差探针、SAE+probe 在动作前性、预测力、可检查特征、审计效用四个维度上的定性比较。在材料与领域拓展层面，论文在 GPT-OSS 20B 与 Gemma 3 27B 两个指令微调模型上复用同一决策点流水线，用 Nemotron 留出集评估并以 BFCL 做零样本迁移，对智能体可观测性、工具调用失败的根因诊断，以及高风险企业与金融工作流中的审计、升级与放行决策等议题具有直接价值。论文还明确提出其贡献在于补上「模型在动作前内部发出了什么信号」这一缺失的可观测层。

存在局限

Tool-Risk 探针受类别极度不平衡制约，低风险样本占绝对多数（GPT-OSS 正确识别 818 例低风险但仅 24 例中风险，Gemma 为 807 与 21），中风险边界明显偏弱，macro-F1 仅 0.64 与 0.62，作者亦承认这一不对称源于风险层级结构而非单一模型伪影。附录 A 显示原始残差流探针在留出 Nemotron 上于两个模型的预测指标均优于 SAE 特征探针，因此 SAE+probe 并非精度最优方案，其价值被限定在可检查性与审计效用上。消融实验只在 SAE 特征空间内作用于监控读出，作者自己声明这不等同于对模型自身工具调用决策的因果中介，若要确立因果关系需在生成时做干预。Tool-Need 准确率为 75.3% 与 71.4%，错误双向分布，GPT-OSS 有 267 例漏报、225 例误报，Gemma 有 236 例漏报、284 例误报，漏报规模对高风险场景仍不可忽视。训练数据仅来自 Nemotron 单一分布，风险三级标签由关键词规则实例化，该规则本身的效度在材料中未明确提及检验；金融轨迹一节被作者自述为 worked trace 而非独立评估，BFCL 仅作零样本迁移，材料节选中亦未明确提及具体迁移数值。

进一步研究方向

开展生成时干预实验，例如在解码过程中对排名靠前的 SAE 特征做激活编辑或引导，观察真实工具调用行为是否随之改变，从而把当前的读出层证据升级为对模型工具决策的因果证据。针对中风险类别，可采用分层重采样、有序回归或改为连续风险评分建模，并以 macro-F1 与中风险召回率为主要验收指标，检验不平衡是否被实质缓解。把训练分布从 Nemotron 扩展到 ToolBench、ToolACE 与 BFCL 多轮数据，做跨分布与跨模型的迁移矩阵，检验探针在分布外与长程多步回放中的稳定性，并对层选择数量与 32-token 池化窗口做敏感性分析。将探针输出接入 allow、review、sandbox、block 的运行时策略，在长程任务上测量误报与漏报所引发的下游轨迹偏移与 token 成本，以量化监控策略的实际代价。还可用人工标注的风险分级替代关键词规则，做标注者间一致性与规则效度的对照检验，以确认风险标签本身的可信度。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 动态能力治理：人工智能智能体工具使用的加密绑定与可复现性验证

  2026 ·

• AgentTrust：人工智能智能体工具使用的运行时安全评估与拦截

  2026 ·

• 人工智能智能体的应用现状：基于17.7万个MCP工具的分析证据

  2026 ·

• 面向工具调用型人工智能智能体的授权架构

  2026 ·

• 基于知识引导的工具使用流程中人工智能智能体的声明性技能

  2026 ·

• 基于因果世界模型的可解释强化学习

  2023 · 被引 20