AgentTrust：人工智能智能体工具使用的运行时安全评估与拦截
AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use
Chenglin Yang
arXiv (Cornell University) · 2026-05-06
摘要
现代人工智能智能体通过调用文件操作、Shell命令、HTTP请求及数据库查询等工具来产生现实世界的实际影响。一旦执行了诸如意外删除、凭证泄露或数据外泄等不安全操作，便可能造成不可逆转的损害。现有的防护机制存在明显不足：事后基准测试仅能在操作执行后评估其行为，静态防护规则无法识别混淆代码及多步骤上下文中的风险，而基础设施层面的沙箱虽能限制代码运行范围，却无法理解具体操作的实际含义。我们提出的AgentTrust是一种运行时安全层，能够在工具调用执行前对其进行拦截，并给出允许、警告、阻断或需进一步审核的结构化判定结果。AgentTrust集成了Shell代码去混淆规范化模块、用于提供更安全替代方案的SafeFix建议模块、用于检测多步骤攻击链的RiskChain模块，以及针对模糊输入设计的缓存感知型LLM作为评判器。我们发布了涵盖六大风险类别的300个场景基准测试集，以及另外630个独立构建的真实世界对抗性场景。在内部基准测试中，仅采用生产环境现有规则集时，判定准确率达95.0%，风险等级判定准确率为73.7%，且端到端延迟仅为毫秒级。在包含630个场景的基准测试中，采用经过补丁更新的规则集进行评估（并非宣称的零样本能力），AgentTrust的判定准确率高达96.7%，其中对Shell混淆负载的判定准确率约为93%。AgentTrust遵循AGPL-3.0许可证发布，同时为兼容Model Context Protocol的智能体提供了相应的服务器支持。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的问题域是自主智能体（Claude Code、Cursor、OpenDevin、AutoGPT 等）通过工具调用（文件操作、shell 命令、HTTP 请求、数据库查询、包安装）产生的「行动时」安全面：一次误判的 rm、一次打印到日志的凭证、一次伪装成正常 POST 的外泄都不可撤销。其核心论断是现有三类防御各有结构性残余缺口：后验基准在危害发生后测量行为，静态规则护栏被 r=rm; $r -rf / 这类简单混淆击穿且无法推理动作序列，基础设施沙箱只约束代码在哪里运行而不理解动作在应用语义上意味着什么。据此作者主张在智能体与工具之间插入实时、语义感知的拦截层，在执行前对每个动作输出四值裁决（allow、warn、block、review）以及整体风险等级、置信度与可读解释构成的 TrustReport。支撑性论断是四项能力的组合：九种纯文本策略的 ShellNormalizer、37 条规则的 SafeFix 安全替代建议、七条顺序敏感的 RiskChain 多步攻击链检测、以及用块哈希增量检测摊薄长会话成本的 cache-aware LLM-as-Judge。威胁模型把「过度积极的规划器造成的意外伤害」而非越狱式对抗作为主要事件类型，聚焦意外破坏、凭证暴露、外泄链与混淆命令四类失效，并明确该层与操作系统级隔离互补而非替代。
- 研究方法
- 研究走系统设计与参考实现路线：八组件流水线中五件常开（ActionAnalyzer、ShellNormalizer、PolicyEngine、TrustInterceptor、TrustReporter），SafeFix 与 SessionTracker 默认开启可关闭，LLM-Judge 按需启用；交付物约 5000 行核心代码与 192 个单元测试。问题被形式化为动作七元组、五级风险格、四值裁决字母表与信任评估函数 F:(History,a)→(v,r,c,e)，并以五条安全性质约束设计，包括失败安全默认（判定器不可达即返回 review）、核心分析器加策略路径中位延迟≤1ms 的 SLO、无静默放行与可解释性，其中 fail-safe 契约固化为 13 个回归测试。材料构成上，作者自建 300 个内部场景跨六类风险（文件操作、网络访问、代码执行、凭证暴露、数据外泄、系统配置），另构 630 个真实场景，分为 30 条对抗探针、两个 100 条真实批次与两个 200 条扩展集，覆盖现代 DevOps、云、容器与供应链操作。评测以裁决准确率与风险等级准确率为指标，辅以版本演化消融与错误分析，延迟分分析器加策略微基准与端到端两条路径报告。为防过拟合，四条仅匹配合成域名（evil.com、attacker.com 等）的规则被单独放入 benchmark_compat.yaml，只由 BenchmarkRunner 加载，从不进入生产规则集。
- 学术贡献
- 在领域拓展层面，论文把 shell 去混淆从恶意软件分析的离线脚本解析场景移入实时智能体护栏，并坚持纯文本重写、绝不执行输入，使其可用于不可信输入的生产环境，作者称这是据其所知首个嵌入实时护栏的此类规范化器。在方法与系统创新层面，ShellNormalizer、SafeFix、RiskChain 与块哈希增量 LLM-as-Judge 四者的组合被声明为此前没有开源框架同时具备；其中 RiskChain 的七条链参照 MITRE-ATT&CK 式序列（数据外泄、凭证收割、持久化、提权、供应链攻击、反弹 shell、数据破坏），补上了「在线、顺序敏感」的多步风险检测这一空缺。在材料发掘层面，公开发布 300 与 630 两个带期望风险等级和裁决标注的基准，目标对准生产遥测中观察到的意外伤害与混淆形态，与 AgentHarm、ToolEmu、R-Judge 等后验基准形成互补。在工程与可复现层面，AGPL-3.0 开源、提供 MCP server 使 MCP 兼容智能体可直接接入，并把四条 fail-safe 不变量写成 13 个回归测试，属于将安全契约制度化的做法。对护栏评测这一具体议题，论文还提供了一个可操作的防过拟合方案：生产规则集 95.0% 与加载兼容规则后 97.0% 的差额被显式报告，并以生产数字作为头条指标。
- 存在局限
- 630 场景基准是在打过补丁的规则集上评测，作者自己声明不构成零样本留出集，因此 96.7% 的裁决准确率与混淆载荷约 93% 的成绩不能被读作泛化能力，而更接近「修补后拟合」的上界。去混淆仅限九种纯文本策略，明确不做 Bash AST 解析、不执行任意命令替换，heredoc、控制流、函数定义等长尾被作者列为未覆盖，AST 路线仅存在于 v1.0 路线图中。风险等级准确率（生产规则集 73.7%，加载兼容规则后 75.7%）显著低于裁决准确率（95.0%/97.0%），说明从匹配到严重度分级的这一环论证最薄弱。威胁模型显式排除底层 LLM 的对抗微调、时序与硬件侧信道、操作系统沙箱被攻破、以及毒性版权等通用内容审核；拦截器被假定与智能体运行时处于同一信任边界，运行时已被控制的场景不在范围内。此外 LLM-Judge 是可选组件且不受延迟 SLO 约束，SessionTracker 仅保存内存态会话历史，材料中未报告生产部署的误报率测量。
- 进一步研究方向
- 其一，把 ShellNormalizer 升级为 AST 解析路径，并在未参与规则修补的新留出集上与原九策略版本对照复测，用以验证 AST 路线对 heredoc、函数定义等长尾的召回增益是否抵得上其复杂度与误执行风险。其二，设计「补丁前后对照」实验，把规则修补过程本身当作自变量，逐条量化补丁规则对 630 场景分数的边际贡献，从而将 96.7% 分解为通则化能力与基准拟合两部分。其三，针对风险等级准确率 73.7% 的短板做标注一致性研究：让多名标注者对 300 个场景重新标注严重度，再与规则表的 severity 字段比对，判定差距来自标注口径分歧还是规则表本身。其四，用红队式自动生成器持续产出新的混淆变体与多步链变体，检验七条预定义链之外的漏检率，并探索从遥测序列中学习链模板以替代手工枚举。其五，在真实部署中测量误报率与长会话端到端延迟，并分别统计 LLM-Judge 缓存命中、增量、全量三条路径的命中分布与 token 成本，这两项材料目前均未给出。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning