TransDreamer：基于Transformer世界模型的强化学习

摘要

主要观点

论文提出 TransDreamer，一个基于 Transformer 的基于模型的强化学习（MBRL）智能体，针对 Dreamer 的世界模型与策略网络继承循环神经网络限制的问题，追问 MBRL 如何从 Transformer 进展中获益及其挑战。核心构件是 Transformer State-Space Model：用 Transformer 做动力学预测的世界模型。该世界模型与基于 Transformer 的策略网络共享，从而获得训练基于 Transformer 的 RL 智能体时的稳定性。实验面向 2D 视觉 RL 与 3D 第一人称视觉 RL，二者都需要长程记忆访问以进行基于记忆的推理。结果显示 TransDreamer 在这些复杂任务上优于 Dreamer。

研究方法

采用模型构建与实验对比路径：先设计 Transformer State-Space Model 作为世界模型，以 Transformer 进行动力学预测；再将该世界模型与 Transformer 策略网络共享，形成 TransDreamer 智能体。实验材料或样本由两类视觉 RL 任务构成：2D 视觉 RL 和 3D 第一人称视觉 RL，均要求长程记忆访问以支持基于记忆的推理。评价方式为与 Dreamer 在上述复杂任务上的表现比较。材料中未明确提及具体数据集、训练步数、超参数、硬件配置或统计检验方法。

学术贡献

贡献主要在方法创新与领域拓展：将 Transformer 引入 MBRL 的世界模型与策略网络，提出 Transformer State-Space Model 与共享该世界模型的 TransDreamer。它回应了 Dreamer 的 RNN 局限，探索 Transformer 在 MBRL 中的收益与训练稳定性问题。对基于模型的强化学习、视觉 RL 与长程记忆推理议题具有价值，尤其是 2D 与 3D 第一人称视觉任务中的记忆访问场景。材料未说明是否开源、是否提供理论保证或是否覆盖连续控制基准。

存在局限

实验仅报告在 2D 视觉 RL 与 3D 第一人称视觉 RL 上优于 Dreamer，材料未给出具体性能指标、方差、显著性或多基线对比。缺乏对 Transformer State-Space Model、共享世界模型与策略网络等关键设计的消融，难以判断性能增益来自 Transformer 动力学预测、共享机制还是策略网络结构。材料未说明训练稳定性是如何度量、在何种任务规模与随机种子下成立。样本代表性限于两类视觉任务，未覆盖其他观察模态、动作空间或记忆长度条件。材料未提及计算成本、样本效率与 Dreamer 所强调的可复用知识和安全规划是否仍被保留。

进一步研究方向

可在材料所述 2D 与 3D 第一人称视觉 RL 上做控制变量实验：分别移除或替换 Transformer State-Space Model、取消世界模型与策略网络共享、将策略网络换回循环结构，以验证各组件对长程记忆推理与训练稳定性的贡献。可设计记忆长度梯度任务，逐步增加需要回溯的步数，测量 TransDreamer 与 Dreamer 的性能衰减与稳定性边界。可补充报告样本效率、训练与推理成本、多次随机种子下的均值方差与显著性检验，并与 Dreamer 做同预算比较。还可将任务扩展到材料未覆盖的观察模态或动作空间，检验共享 Transformer 世界模型的适用边界。若材料对应论文包含理论分析或开源实现，可进一步复现并检验 Transformer State-Space Model 的动力学预测误差与策略回报之间的关系。

本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 世界模型在持续强化学习中的有效性

  2022 · 被引 2

• RLVR-World：基于强化学习训练世界模型

  2025 · 被引 2

• SafeDreamer：基于世界模型的安全强化学习算法

  2023 ·

• 深度学习、强化学习与世界模型

  2022 · 被引 545

• 基于强化学习的小型化世界模型

  2020 · 被引 1

• World-Gymnast：基于世界模型的强化学习机器人训练方法

  2026 ·