基于世界模型的强化学习中的新奇性检测
Novelty Detection in Reinforcement Learning with World Models
Geigh Zollicoffer, Eaton, Kenneth, Jonathan Balloch, Julia Kim, Zhou, Wei, Wright, Robert, Mark Riedl
arXiv (Cornell University) · 2023-10-12
开放获取生成式与扩散影响因子 ≈0.2
摘要
近年来，基于世界模型的强化学习取得了显著成果。然而，一旦世界的运行机制或属性发生突变，智能体的性能与可靠性便会大幅下降。我们将视觉属性的突变或状态转换的异常称为新奇性。在生成式世界模型框架内实现新奇性检测，对于保障已部署智能体的稳定运行至关重要。本文提出了一种简便的约束方法，利用世界模型生成的虚拟状态与真实观测状态之间的偏差作为异常评分，从而将新奇性检测功能整合到基于世界模型的强化学习智能体中。我们给出了在世界模型环境下检测智能体所学状态转换分布中新奇性的有效方法。最终实验结果表明，相较于传统的机器学习新奇性检测方法以及现有主流的强化学习领域新奇性检测算法，本文所提方法在新环境中展现出更优的性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对使用世界模型的强化学习智能体在部署中遭遇视觉属性或状态转移的突发变化时性能与可靠性急剧下降的问题，将这类突发变化定义为 novelty，并强调其是推理时未预期、训练中未遇到的观察空间或状态转移动态的永久性偏移，而非一次性感官或转移误差。其核心论点是，世界模型对下一状态的幻觉预测与真实观测之间的错位可以作为异常分数，用于检测 novelty。方法上通过比较潜状态预测分布的 KL 散度构建检测边界，当 KL[pϕ(zt|ht,xt)||pϕ(zt|ht)] 与基于空隐藏状态 h0 的交叉熵/KL 比较关系被破坏时，触发 novelty 警报。论文在 MiniGrid、Atari 与 DeepMind Control 环境中注入 novelty，并报告该 KL bound 相较传统机器学习 novelty detection 方法、RL 领域现有方法 RIQN 以及 PP-Mare 基线在误报率、平均延迟误差与 AUC 上的表现优势。
- 研究方法
- 研究在部分可观测马尔可夫决策过程设定下，以 DreamerV2 世界模型为基础，智能体先在平稳的名义环境中训练至 ε-最优策略，再在不重训练的情况下迁移到发生 novelty 的非平稳测试环境。Novelty 通过 NovGrid、HackAtari 和 RealWorldRL Suite 注入 MiniGrid、Atari 与 DMC，具体包括 DMC Humanoid 引入噪声、Atari Freeway 车辆不可见、MiniGrid 引入熔岩等。检测构造利用 RSSM 中的 xt、ht、zt，计算交叉熵比较 H(pϕ(zt|ht,xt),pϕ(zt|h0))−H(pϕ(zt|ht,xt),pϕ(zt|h0,xt))，并据此推导式(4)的 KL 界与命题3.1、3.2，以左端 KL[pϕ(zt|ht,xt)||pϕ(zt|ht)] 作为异常分数。对比基线包括 RIQN——用 10^6 条名义转移训练、集成规模为5、采用 cusum 并调节 λ 与 Δ——以及 PP-Mare 消融，后者用世界模型先验与后验重构图像之间的像素误差并需调节 λ。评估使用每个 novelty 环境 300 个独立同分布回合，指标为误报率、平均延迟误差(ADE)、AUC 与固定计算资源下的实时推理速度。
- 学术贡献
- 在理论/方法层面，论文提出式(4)的 novelty 检测 KL 界及命题3.1、3.2，利用世界模型先验与后验潜状态预测之间的散度关系实现无需人工指定阈值的 novelty 判定。在方法创新上，把 novelty detection 嵌入生成式世界模型 RL 智能体，以幻觉状态与真实观测状态的错位作为异常分数，且不依赖额外增广数据或先验异常知识。在材料与实验层面，作者将 NovGrid、HackAtari、RealWorldRL Suite 的 novelty 注入机制用于 MiniGrid、Atari、DMC 的 DreamerV2 智能体，并与 RIQN、PP-Mare 对照。结果报告 KL bound 在全部测试环境中误报率 ≤10−2，在多个环境中 AUC ≥.99 且 ADE ≤10−2，显示其对 RL 中 OOD 动态检测与 novelty detection 这一相对未充分研究的议题具有直接方法价值。
- 存在局限
- 主要实验建立在 DreamerV2 世界模型上，虽然论文声称该 bound 可应用于其他世界模型，但材料未给出跨多种世界模型架构的系统对比数据。外部基线有限：由于 RL novelty detection 技术稀少，只与 RIQN 一个已有 RL 方法对比，PP-Mare 是作者自行推导的消融方法，而非独立外部检测器。检测性能并非在所有环境占优，例如 Atari Boxing 中 KL bound 的 ADE 为52.6，高于 PP-Mare 的22.5，说明其延迟误差优势具有环境依赖性。所有 novelty 均由模拟器注入，未在真实部署环境或高 stakes 场景中验证；DMC 实验在像素空间进行，而常见使用方式是位置、速度与朝向向量，限制了外部效度。检测评估只针对固定策略，未测量 novelty 触发后停止执行或在线适应对安全与回报的闭环效果，且图1显示训练早期新刺激会被判为 novel，在线训练与检测耦合时的冷启动误报未被系统检验。
- 进一步研究方向
- 可在除 DreamerV2 外的多种世界模型（不同 RSSM/VAE 或连续、离散潜变量架构）上重复式(4)的 KL bound，统一报告 FP、ADE、AUC 与推理速度，检验其无超参数阈值特性是否跨模型成立。应在 NovGrid、HackAtari、RealWorldRL Suite 中系统组合视觉属性变化、状态转移变化、突发与持续 novelty、不同出现时机和延迟显现长度，检验 bound 对非立即显现 novelty 的敏感性。可将检测器接入 halt 或在线适应闭环，测量误停代价、恢复后回报与安全违规率，比较固定策略下仅检测与检测后停止/重训练策略的差异。还需在更接近部署的非平稳场景（如真实视频流或机器人传感器输入）中测试像素空间检测的时延与鲁棒性，补充模拟器注入 novelty 之外的证据。最后可设计跨环境超参数迁移实验，对 RIQN 的 λ、Δ 与 PP-Mare 的 λ 使用统一设置并与 KL bound 对比，量化人工调参对误报与延迟的影响，同时消融 h0 dropout、KL balancing 与训练阶段对检测稳定性的作用。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics