世界模型在持续强化学习中的有效性
The Effectiveness of World Models for Continual Reinforcement Learning
Kessler, Samuel, Ostaszewski, Mateusz, Michał Bortkiewicz, Żarski, Mateusz, Wołczyk, Maciej, Parker-Holder, Jack, Roberts, Stephen J., Miłoś, Piotr
arXiv (Cornell University) · 2022-11-29
开放获取生成式与扩散被引 2影响因子 ≈0.2
摘要
世界模型为一些效率最高的强化学习算法提供了动力。本研究证明，它们可被应用于持续学习场景——即智能体需要应对不断变化的环境。世界模型通常借助回放缓冲区进行训练，这一机制可自然拓展至持续学习领域。我们系统探究了不同选择性经验回放方法对模型性能、遗忘现象及知识迁移的影响，同时针对世界模型的应用建模选项提出了相关建议。其中最优的方案被命名为Continual-Dreamer，该方案不依赖具体任务类型，能够利用世界模型实现持续探索。Continual-Dreamer具备较高的样本利用效率，在Minigrid和Minihack基准测试中，其表现优于现有最先进的任务无关型持续强化学习方法。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：以 DreamerV2 为代表的循环状态空间世界模型可被用于持续强化学习，其跨任务持续保存的回放缓冲区既能缓解遗忘，又能支持策略在想象轨迹中训练，从而提高样本效率。作者将研究问题界定为智能体面对一系列 POMDP 任务 Tτ=(Sτ,Aτ,Pτ,Rτ,Ωτ,Oτ,γτ) 时，在不提供显式任务标识的条件下，同时追求平均性能、低遗忘和正向迁移。其最佳配置 Continual-Dreamer 采用 reservoir sampling 管理回放缓冲区，Continual-Dreamer + Plan2Explore 则用世界模型预测的深度集成方差作为内在奖励，实现任务无关探索。论文报告 DreamerV2 与 DreamerV2 + Plan2Explore 在 3 个 Minigrid 任务上可直接取得较好表现，但在更难的 Minihack CORA 任务上出现遗忘，需引入选择性经验回放。最终结论是 Continual-Dreamer 在 Minigrid 与 Minihack 上优于任务无关的持续强化学习基线，且比 CLEAR 更样本高效。
- 研究方法
- 论文采用基于基准环境的实验比较研究，将每个任务视为独立 POMDP，并假设任意两个任务的状态空间不相交 ∀(Ti,Tj), Si∩Sj=∅；智能体按 T1:T 顺序与各任务交互，每个任务在 Minigrid 上使用 0.75M 环境交互，CLEAR×10 等方法使用 7.5M 交互。方法主干为 DreamerV2：RSSM 世界模型从回放缓冲区采样轨迹并重构观测、奖励与折扣，策略以 actor-critic 在世界模型生成的想象轨迹中训练，执行策略收集的新轨迹再写入回放缓冲区。探索方面采用 Plan2Explore，用多个神经网络组成的深度集成预测下一 RSSM 隐状态 [zt+1,ht+1]，以集成方差作为内在奖励 ri，与外部奖励 re 加权后 r=αiri+αere 供策略优化。选择性经验回放被系统比较：reservoir sampling 以 min(n/t,1) 递减概率存储新轨迹；coverage maximization 用固定卷积 LSTM 嵌入轨迹并以到 1000 条随机轨迹的 L2 中位距离决定优先级；uncertainty sampling 按 Plan2Explore 内在奖励归一化后的轨迹不确定性采样；reward sampling 按环境奖励采样；50:50 sampling 混合均匀采样与偏向近期经验的三角分布。实验基线包括 Impala、CLEAR、任务感知的 L2 权重正则化，评价指标为平均性能、平均遗忘与平均前向迁移，Minigrid 使用 20 个种子，Minihack 的 rliable IQM 曲线使用 10 或 20 个种子和 1000 次 bootstrap。
- 学术贡献
- 论文提出首个任务无关的基于模型的持续强化学习方案，将 DreamerV2 的跨任务回放缓冲区、想象策略训练与 Plan2Explore 不确定性探索组合为 Continual-Dreamer，并说明该思路可迁移到其他世界模型。在领域拓展上，它把世界模型从单任务高效 RL 推向 CRL 场景，并在 Minigrid 与 Minihack 两个图像型、部分可观测、稀疏奖励基准上给出任务无关方法的性能、遗忘与前向迁移结果。在方法实现上，论文系统列出并实现了多种选择性经验回放策略——reservoir sampling、coverage maximization、uncertainty sampling、reward sampling 和 50:50 sampling——并公开代码链接。其贡献对持续强化学习中的回放缓冲区管理、模型基策略的稳定性-可塑性权衡以及任务无关探索三个具体议题有直接价值。
- 存在局限
- 实验范围仅覆盖 Minigrid 与 Minihack 两类离散动作、程序生成的图像型 POMDP，材料中未明确提及连续控制、机器人或真实环境验证，因此结论的外推范围受基准限制。论文明确假设任务间状态空间不相交，这排除了状态空间重叠、共享动力学或仅奖励函数变化等更普遍的持续学习设置；其相关工作中指出仅奖励变化时回放经验可能干扰新任务或造成遗忘，但本文未在该类任务上检验 Continual-Dreamer。方法仍按 T1:T 的任务序列循环并在任务内收集经验，材料未明确说明任务切换边界是否被算法使用或其任务边界检测机制，因此任务无关主要指不依赖显式任务标识与任务特定探索调参。遗忘并未被完全消除：材料报告 DreamerV2 在 DoorKey-9x9 上出现遗忘，在 Minihack 任务上也需要选择性回放来应对遗忘，且 DreamerV2 在 1M 环境步内独立学习任务仍有困难。对比基线主要为 Impala、CLEAR 与一个 L2 权重正则化任务感知基线，材料未将其他基于模型的 CRL 方法纳入实验对比；同时节选未给出 coverage maximization、uncertainty sampling、reward sampling、50:50 sampling 的完整失败条件与计算开销，仅说明 reservoir sampling 为最佳配置。
- 进一步研究方向
- 可在非不相交状态空间或仅奖励函数变化的任务序列上测试 Continual-Dreamer，将 POMDP 定义中的 Sτ、Pτ 或 Rτ 设置为部分共享，并用平均性能、平均遗忘与前向迁移检验跨任务回放是否产生干扰。可固定回放缓冲区大小、任务顺序与任务相似度，对 reservoir sampling、coverage maximization、uncertainty sampling、reward sampling 与 50:50 sampling 做完整消融，同时记录每种策略的存储与计算开销，以确定其适用边界。针对 DreamerV2 在 DoorKey-9x9 与 Minihack 上的遗忘，可将 reservoir sampling 与任务感知 L2 正则化、任务特定策略头或世界模型生成式回放组合，验证组合方案能否在保持任务无关探索的同时降低遗忘。可将 Continual-Dreamer 迁移到 DreamerV3 或其他世界模型主干，并在更多任务数、更长任务序列和连续控制基准上检验其可扩展性。还可设计无显式任务序列的交互协议，考察 agent 能否自行检测环境变化并触发 Plan2Explore 的不确定性探索，而不依赖训练循环给出的 T1:T。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics