强化学习中的算子世界模型
Operator World Models for Reinforcement Learning
Pietro Novelli, Marco Pratticò, Massimiliano Pontil, Carlo Ciliberto
arXiv (Cornell University) · 2024-06-28
开放获取生成式与扩散影响因子 ≈0.2
摘要
策略镜像下降（PMD）是一种在序列决策领域强大且理论严谨的方法。然而，由于无法获取显式的动作价值函数，该方法无法直接应用于强化学习。为解决这一难题，我们提出了一种基于条件均值嵌入来学习环境世界模型的新方法。借助算子理论工具，我们通过简单的矩阵运算得出了以世界模型表示的动作价值函数的封闭形式表达式。将这些估计器与PMD相结合便形成了POWR算法，这是一种新型强化学习算法，我们已证明其收敛到全局最优解的速度。在有限状态与无限状态环境下的初步实验均验证了该方法的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文围绕Policy Mirror Descent（PMD）在强化学习（RL）中因无法获得显式动作价值函数而难以直接应用的问题展开。作者提出用条件均值嵌入（CME）学习环境的世界模型，并借助算子理论把动作价值函数qπ表示为转移算子T与策略算子Pπ的闭式形式(Id−γTPπ)−1r。将这一估计器与PMD结合，得到POWR算法，并在适当假设下证明其收敛到RL问题的全局最优。有限与无限状态Gym环境上的初步实验被用来支持该方法的有效性。
- 研究方法
- 论文先建立算子建模路径：定义转移算子T与策略算子Pπ，把动作价值函数和RL目标J(π)写成Neumann级数闭式。随后采用CME框架，用特征映射φ与ψ将T限制为Hilbert-Schmidt算子，并通过最小二乘估计Tn=S∗nK−1λZn和奖励rn=S∗nb。算法层面，POWR使用KL散度对应的Bregman divergence执行PMD，更新式可化为softmax形式，并用矩阵Mπ与c=(Id−γK−1λM)−1b计算动作价值估计。理论分析证明(G,F)-兼容性，在Sobolev空间W2,s中保证算法良定义，并利用CME样本复杂度结果推导收敛率。实验在Gym库的有限与无限状态简单环境中与基线比较。
- 学术贡献
- 理论建构上，论文给出基于CME的世界模型框架，使任意足够光滑策略的动作价值函数可通过矩阵运算闭式估计。方法创新上，POWR把CME世界模型与PMD更新结合，并将PMD的收敛分析自然扩展到无限状态空间。理论贡献在于证明该算法在MDP正则性等假设下收敛到全局最优，且把动作价值函数近似误差与Tn、rn的估计误差联系起来。领域拓展方面，该工作面向线性MDP且潜在维度可能无限的设定，为RL中PMD类方法的可实施性与样本复杂度分析提供了新的算子视角。
- 存在局限
- 实验仅在Gym库的简单有限与无限状态环境中进行，且论文自称preliminary，材料未明确报告环境数量、随机种子、置信区间或超参数敏感性。算法描述限定动作集A有限，虽然问题表述允许Polish空间，但材料未给出无限动作空间的算法细节或实验。理论分析依赖线性MDP/well-specified CME、MDP正则性、Sobolev空间光滑性以及π(a|·)>0等假设，材料未讨论这些假设在真实RL任务中如何检验以及违背时的行为。材料提到world model learning与PMD可以交替进行，但明确表示本文未研究该交替策略；同时提到Nyström或随机投影可降低计算量，却未评估其在大n下的实际误差与计算节省。收敛率结论依赖CME估计的样本复杂度界与动作价值函数近似误差，材料未在无完美模拟器条件下给出均匀范数误差如何满足的实证检验。
- 进一步研究方向
- 其一，可设计交替式POWR：在每轮或每若干轮PMD后用新样本更新Tn与rn，并依据定理7对变精度估计的刻画检验收敛率与探索-利用权衡。其二，可将算法从有限动作集扩展到Polish动作空间，构造ψ(x,a)=φ(x)⊗ea的连续替代形式，并验证(G,F)-兼容条件与闭式估计是否仍然成立。其三，可对核矩阵Kλ与(Id−γK−1λM)−1引入Nyström或随机投影，比较全矩阵版本与近似版本在样本复杂度、收敛速度和运行时间上的差异。其四，可在随机奖励设定τ:Ω→P(X×R)下实现POWR，并在高维连续控制Gym环境进行多次重复实验，报告均值与方差，以验证理论收敛率并检验对MDP正则性假设的敏感性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics