强化学习中的算子世界模型
Operator World Models for Reinforcement Learning
Pietro Novelli, Marco Pratticò, Massimiliano Pontil, Carlo Ciliberto
neural information processing systems · 2024-01-01
开放获取生成式与扩散被引前 10%影响因子 ≈3.9
摘要
策略镜像下降（PMD）是一种在序列决策领域强大且理论严谨的方法。然而，由于无法获取显式的动作价值函数，该方法无法直接应用于强化学习。为解决这一难题，我们提出了一种基于条件均值嵌入来学习环境世界模型的新方法。借助算子理论工具，我们通过简单的矩阵运算，得出了基于世界模型的动作价值函数的封闭表达式。将这些估计器与PMD相结合便形成了POWR算法，这是一种新型强化学习算法，我们已证明其收敛到全局最优解的速度。在有限状态与无限状态环境下的初步实验均验证了该方法的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对Policy Mirror Descent（PMD）在强化学习中因无法获得显式action-value function而难以直接应用的问题，提出先学习环境的world model，再由此闭式构造action-value估计。其核心论点是：用conditional mean embeddings（CME）建模MDP的transition operator，并同时估计reward function，可在operator theory框架下把qπ表示为(Id−γTPπ)−1r，从而通过矩阵运算得到任意足够光滑策略的action-value估计。将这种估计器嵌入PMD更新，论文提出POWR算法，并声称在MDP正则假设下证明其收敛到全局最优。有限状态与无限状态Gym环境中的初步实验被用来支持该方法的有效性。
- 研究方法
- 论文先将MDP的transition kernel与策略分别表述为transfer operator T和策略算子Pπ，并用Neumann级数给出action-value function的算子闭式表达。随后采用CME框架，以特征映射φ、ψ将transition operator限制到Hilbert空间中，通过最小二乘损失与正则化Gram矩阵估计Tn，并以类似方式从数据(xi,ai,x′i,ri)估计reward function rn。基于Proposition 3，论文用n×n矩阵Mπ与(Id−γBMπ)−1b计算qπ的估计，再结合Kullback-Leibler Bregman divergence下的PMD/softmax更新构造POWR。理论部分使用Sobolev空间W2,s(X)讨论策略与估计器的well-defined性，并借助CME学习率与Simulation Lemma分析收敛率；实验部分在Gym的有限与无限状态设置中与baselines比较。
- 学术贡献
- 论文在强化学习理论与算法层面提出CME-based world model框架，使action-value function可由学习到的transition operator和reward以闭式矩阵运算生成，而不是对每个策略重新采样估计qπ。其方法贡献是POWR算法，将world model估计与PMD更新结合，并在有限动作集下给出可执行流程。理论贡献包括在MDP正则假设下证明收敛到全局最优，以及通过Sobolev空间与(G,F)-compatibility条件说明算法在无限状态空间中的well-defined性。材料发掘层面，论文把CME样本复杂度结果用于POWR的误差与收敛分析，并以Gym有限/无限状态实验与已有baselines进行初步比较。
- 存在局限
- 实验仅被描述为有限与无限状态Gym环境中的preliminary experiments，材料未明确给出具体环境名称、样本规模、数值结果或baseline细节，因而对方法有效性的经验支撑范围有限。算法部分明确限制|A|<∞，对连续或无限动作空间的适用性材料中未明确提及。理论保证依赖linear MDP/well-specified CME假设、MDP正则性以及Sobolev空间光滑性与策略正性条件，这些条件在实际问题中的满足程度未被系统检验。论文还明确表示未研究world model学习与PMD阶段交替进行的效果，因此该交替策略对探索—利用权衡与估计精度的影响仍缺乏分析。
- 进一步研究方向
- 可依据论文提到的Thm. 7，设计world model学习与PMD交替进行的POWR变体，在每轮更新后扩充数据并重新估计Tn、rn，检验变精度q估计对收敛率与样本效率的影响。可在更多Gym环境及更大状态空间中系统报告样本量、计算开销与baseline对比，补充当前初步实验缺失的数值证据。可对特征映射φ、ψ、核函数、正则化参数λ及Nyström近似做消融实验，测量它们对Mπ构造、qπ估计误差和最终策略性能的影响。针对算法当前|A|<∞的限制，可研究连续动作下Pπ与Mπ的构造方式，并验证相应POWR更新是否仍保持well-defined与收敛保证。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics