基于强化学习的小型化世界模型
Smaller World Models for Reinforcement Learning
Jan Robine, Tobias Uelwer, Stefan Harmeling
arXiv (Cornell University) · 2020-10-12
开放获取生成式与扩散被引 1影响因子 ≈0.2
摘要
样本利用效率始终是强化学习领域面临的核心难题。基于模型的算法试图通过构建环境模型来更高效地利用数据。我们提出了一种新型的世界模型神经网络架构：采用向量量化变分自编码器对观测数据进行编码，利用卷积LSTM来预测下一个嵌入索引。一个无模型的PPO智能体仅依靠该世界模型生成的模拟经验进行训练。我们采用了Kaiser等人（2020）提出的实验设置，该设置限定智能体与真实环境的交互次数不超过10万次。我们将该方法应用于36个Atari环境测试，结果显示其性能可与他们的SimPLe算法相媲美，且所构建的模型规模显著更小。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对强化学习的样本效率问题，提出一种基于世界模型的model-based方法：用VQ-VAE编码观测，用卷积LSTM预测下一嵌入索引，并让无模型PPO智能体完全在来自世界模型的模拟经验上训练。其核心论断是，世界模型参数可显著小于SimPLe（约10,332,740对约74,000,000），却能在Kaiser et al. (2020)的100K真实交互设定下，在36个Atari环境达到与SimPLe相当的性能。论文主张二维离散潜表示结合卷积LSTM动力学足以支持Atari中的基于模型训练，策略直接以潜变量zt为条件，无需解码回像素。论文还强调VQ-VAE的KL项恒定，避免VAE中KL权重依游戏调参的问题，并认为离散潜空间可稳定动力学预测。论文报告在36个环境中20个数值高于SimPLe（在也考虑无帧堆叠变体的情况下）。
- 研究方法
- 采用基于模型的迭代训练：在真实环境交互、训练世界模型、用世界模型训练策略之间交替，沿用Kaiser et al. (2020)的15次迭代、每次6400交互、首轮额外6400，总计102,400次交互，并将回合固定为50步。世界模型由VQ-VAE观测编码器与解码器、两单元卷积LSTM动力学、下一潜变量预测头与奖励预测头组成；观测为最近四帧堆叠、缩放至96×96并灰度化，或作无帧堆叠变体；潜变量为6×6离散嵌入索引矩阵，奖励离散为{-1,0,1}三类。动力学输入为6×6×48张量，含32通道嵌入向量与16通道动作one-hot，动作编码也拼接至每个ConvLSTM单元输出；下一潜变量与奖励分别通过卷积头和卷积加全连接头输出，经softmax归一化。策略网络以嵌入向量为输入，经两层卷积与全连接层输出动作categorical分布；用PPO在模拟经验上优化，并以单蒙特卡洛样本近似期望。训练细节包括：首轮后对VQ-VAE单独预热50个epoch、之后每两步更新一次VQ-VAE参数、缩放奖励交叉熵损失并对奖励头用更高学习率。评估时每个迭代用最新策略在真实环境跑32个回合，报告五次运行的均值与标准差，并与SimPLe（随机离散、50步、γ=0.99）变体及PPO 100K基线对比。
- 学术贡献
- 理论建构层面，论文提出基于VQ-VAE与卷积LSTM的离散潜空间世界模型，展示二维6×6离散表示与卷积动力学可用于Atari的基于模型训练。方法层面，论文将世界模型参数量降至约10.3M，约为SimPLe的七分之一，证明在100K交互设定下无需大规模模型即可获得可比性能。领域拓展层面，论文在36个Atari环境上系统评估，并给出有/无帧堆叠两种变体结果，扩充了低交互预算下基于模型强化学习的经验证据。对子领域价值上，论文直接关联世界模型、离散潜表示、VQ-VAE用于强化学习以及样本高效Atari智能体等议题。工程洞察上，论文指出VQ-VAE的KL项恒定使模型跨游戏免于依游戏调KL权重，且策略可直接在潜空间操作，无需像素解码。
- 存在局限
- 与SimPLe的比较仅选用其一个变体（随机离散、50步、γ=0.99），并非其所有变体中的最佳结果，且SimPLe参数量为近似值，训练时间和测试时间差异未被测量。实验只报告五次运行的均值和标准差，但论文本身观察到相同超参数下不同随机种子结果差异剧烈，说明稳定性与可重复性受种子影响。部分环境性能随训练下降（如Gravitar），部分环境首轮即有较高表现，作者归因于模型偏差，表明世界模型在未见状态空间区域无法推断动力学。固定50步截断回合会阻止策略学习长于固定步数的效应；随机选取模拟回合初始观测也限制了长时依赖学习。策略在实验中未依赖世界模型的循环变量ht−1，尽管公式上可加入；潜变量嵌入索引为解码器调优，动力学预测目标仍困难。无帧堆叠在部分环境提升性能，说明默认四帧堆叠引入表示不唯一性和预测难度，方法设计存在环境依赖。
- 进一步研究方向
- 在论文的100K交互与15次迭代协议下，将策略条件从pθ(at|zt)扩展为pθ(at|zt,ht−1)，在36个Atari环境验证是否改善复杂环境中的表现。针对世界模型在未见状态空间区域泛化不足的问题，设计显式终止状态预测实验，测量错误终止预测对模拟经验与策略的影响。系统比较有/无帧堆叠、不同随机种子与多次重复实验，区分模型偏差、探索不足与种子方差，并报告训练与测试时间、参数量以量化小型世界模型的效率收益。在相同迭代训练与评估协议下，研究固定50步回合截断对长时效应学习的影响，例如逐步增加模拟回合长度或设计长时依赖任务。对帧堆叠、VQ-VAE更新频率、奖励损失缩放、潜变量维度与嵌入码本大小等训练与架构选择做消融，检验其对36个Atari环境性能的因果贡献。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics