基于因果结构世界模型的离线强化学习
Offline Reinforcement Learning with Causal Structured World Models
Zhengmao Zhu, Xionghui Chen, Hong-Long Tian, Kun Zhang, Yang Yu
arXiv (Cornell University) · 2022-06-03
开放获取生成式与扩散被引 9影响因子 ≈0.2
摘要
近年来，基于模型的方法在离线强化学习领域展现出广阔前景，其目标是从历史数据中学习优质策略而无需与环境交互。以往的基于模型的离线强化学习方法通常采用全连接网络作为世界模型，用以将状态与动作映射到下一时刻的状态。然而，合理的世界模型应当遵循潜在的因果效应，这样才能有助于学习出能在未见过的状态下依然表现良好的有效策略。本文首先给出了理论分析结果，证明将因果结构纳入泛化误差界后，基于因果的世界模型在离线强化学习中的表现会优于普通世界模型。随后我们提出了一种实用算法——基于因果结构的离线模型强化学习算法（FOCUS），以验证在离线强化学习中学习并利用因果结构的可行性。在两个基准测试上的实验结果表明，FOCUS能够准确且稳健地重构潜在的因果结构，因此其性能优于普通的基于模型的离线强化学习算法以及其他基于因果模型的强化学习算法。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：离线强化学习中的世界模型应遵循状态与动作之间的潜在因果结构，把输入变量区分为因果变量与虚假变量（spurious variables），才能使学到的策略在未见状态上良好泛化；作者以雨天行车中「雨刷—减速」的伪相关为例，说明普通全连接世界模型会把由降雨造成的虚假依赖编码进动力学，从而无法迁移到其他天气。理论上作者把因果结构写进泛化误差界，证明因果世界模型在模型预测误差界与策略评估误差界上均优于普通世界模型，且误差界随虚假变量密度 Rspu 与虚假变量相关性强度 λmax 增大。据此提出 FOCUS 算法，其关键步骤是用加入「未来不能导致过去」约束的扩展 PC 算法与 KCI 核条件独立检验，从离线数据中恢复因果结构，再把结构以掩码形式嵌入离线基于模型的 RL。实验在 Toy Car Driving 与 MuJoCo 两个基准上报告 FOCUS 能准确、稳健地重建因果结构，并在策略回报上优于普通基于模型的离线 RL 算法与其他因果模型 RL 算法。
- 研究方法
- 理论部分在监督学习框架下把世界模型学习形式化为线性回归问题：Lemma 4.1 证明离线有偏训练数据下普通模型的目标函数存在多重最优解，Lemma 4.2 借助 Hoerl-Kennard 岭回归给出虚假变量权重的闭式解 λ，Theorem 4.4 给出含 λ 与 γspu 的模型预测误差界，Theorem 4.5 进一步把虚假变量密度 Rspu 引入策略评估误差界，推导明确限定在线性情形。算法上先用 KCI 核条件独立检验在连续变量上计算变量对的 p 值矩阵，按阈值 p* 二值化得到因果结构矩阵 G，确定因果方向时采用分类讨论得出的条件变量选择原则——条件于 t 时刻的其他变量、不条件于 t+1 时刻的变量，并以时序约束排除「未来导致过去」的不可能情形，从而减少条件独立检验次数。学到的结构矩阵作为掩码与 MOPO 的动力学网络结合，形成先学结构、再做离线 MBRL 的两阶段流程（Algorithm 1）。实验选取 Toy Car Driving（因果关系可人工设计，便于评判结构恢复的准确性）与 MuJoCo（连续控制基准，状态各维含义明确）两个环境，评估指标包括因果结构学习的准确性、效率与鲁棒性，以及离线 MBRL 中的策略回报与泛化能力，基线为离线 MBRL 的 MOPO 与同样学习因果结构的在线 RL 方法。
- 学术贡献
- 理论建构层面，论文把因果结构显式纳入离线 RL 的泛化误差界，分别给出模型预测误差界与策略评估误差界，量化了虚假变量密度 Rspu 与相关性强度 λmax 的作用，并指出当 Rspu=0 时相关性强度不再影响误差界；该问题此前只有经验性证据（材料提及的若干工作），缺少形式化结论。方法创新层面，它把因果发现与离线 MBRL 对接，形成两阶段、可插拔的因果世界模型学习框架，原则上可与任意离线 MBRL 算法组合，且相对在线因果结构学习方法具有不依赖交互、不受人为挑选的测试数据表现影响、无需为结构选择训练网络的优点。适用条件层面，KCI 检验使方法面向连续变量且不假设变量间的函数形式与数据分布，扩展了因果发现在 RL 数据上的可用范围。这些结果对离线基于模型的强化学习、世界模型的分布外泛化，以及因果发现与序贯决策的交叉议题有直接价值。
- 存在局限
- 理论结果限定在线性世界模型与线性因果父变量关系（材料明确写明「we focus on the linear case」），对非线性动力学或非参数模型下的误差界未作讨论。因果结构的正确性依赖 KCI 检验的 p 值与人工设定的阈值 p*，正文未给出阈值选择对结构误判及最终策略回报的敏感性分析，仅指向附录 B.1。条件变量选择中作者显式排除了由多种基本结构叠加而成的「复合情形」（图 3(j)），因此该原则在复合结构下是否仍成立未被论证。实验方面，所提供的节选只完整呈现了实验设置与基线（MOPO 及在线因果方法），MuJoCo 上的具体数值、消融与泛化实验细节缺失，无法判断结构学习误差与回报提升之间的定量对应关系。此外，Toy Car Driving 中因果结构学习的效果依赖可人为设计的因果关系，算法也只在 MOPO 上实例化，与其它离线 MBRL 算法的组合未被检验。
- 进一步研究方向
- 其一，把误差界从线性情形推广到非线性或非参数世界模型，例如以再生核希尔伯特空间或神经网络函数类给出含 Rspu 的泛化界，检验虚假变量密度对所需样本量的影响是否仍单调。其二，围绕阈值 p* 开展敏感性研究：在 Toy Car Driving 与 MuJoCo 上系统改变显著性水平与数据规模，测量因果边的假阳性率、假阴性率与策略回报的对应曲线，据此设计自适应阈值选择规则。其三，放宽条件变量选择的限制，构造含复合结构（Collider 嵌套 Chain、Fork）与更长历史窗口的多步动力学环境，比较保留与放宽「未来不导致过去」约束时的结构恢复与策略表现。其四，按材料中「雨刷—减速」与「公鸡打鸣」的设定，设计伪变量不增大预测误差但影响决策的可达／不可达状态实验，直接检验因果世界模型在决策层面的必要性。其五，将该结构学习框架与 MOPO 之外的离线 MBRL 算法组合，追踪结构学习误差在模型学习与策略优化中的传播方式，检验其可插拔性。其六，在材料提及的推荐系统、自动驾驶与医疗等真实离线数据集上验证 KCI 检验的样本复杂度与结构稳定性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics