World-Gymnast：基于世界模型的强化学习机器人训练方法
World-Gymnast: Training Robots with Reinforcement Learning in a World Model
Ansh Kumar Sharma, Yixiang Sun, Ninghao Lu, Yunzhe Zhang, Jiarao Liu, Sherry Yang
arXiv (Cornell University) · 2026-02-02
摘要
机器人通过与物理世界互动进行学习的过程，本质上受到物理交互成本的制约。目前常用的两种替代方案——基于专家演示的监督微调以及基于软件模拟器的强化学习，分别受限于可用专家数据的规模以及模拟环境与真实环境之间的偏差。随着近期从真实世界视频-动作数据中习得的世界模型的出现，我们提出了一个问题：在世界模型中训练策略，是否能比监督学习或软件模拟更有效地提升真实机器人的性能？我们提出了World-Gymnast方法，该方法通过在动作条件约束下的视频世界模型中运行视觉-语言-动作策略，并借助视觉-语言模型为这些运行过程提供奖励，从而实现对该策略的强化学习微调。在Bridge机器人平台上，World-Gymnast的性能较监督微调方法高出最多18倍，较软件模拟器高出最多2倍。更重要的是，World-Gymnast展现了利用世界模型进行强化学习的独特优势：能够基于多样化的语言指令和世界模型中的新场景开展训练、在新场景中实现测试时训练，以及在线迭代优化世界模型与策略。我们的研究结果表明，学习世界模型并在云端训练机器人策略，或许是弥合仅能按演示执行任务的机器人与可应用于普通家庭的实用机器人之间差距的关键。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文把机器人学习的根本瓶颈定位为物理交互成本：从专家示范做监督微调（SFT）受限于示范数据对长尾情形的覆盖，且很少暴露复合误差与恢复行为；软件模拟器则为每个新场景付出搭建成本，并在操作任务上存在 sim-to-real 的视觉落差。据此作者提出 World-Gymnast，其核心论断是把从真实视频—动作数据学得的动作条件视频世界模型当作动力学模型、把视觉语言模型（VLM）当作奖励模型，让视觉—语言—动作（VLA）策略在世界模型内做 rollout 并由 VLM 给出二值任务完成奖励，以 model-based RL 方式完成后训练。在 Bridge 机器人平台上，论文报告 World-Gymnast 相对 SFT 最高提升 18 倍、相对软件模拟器 SIMPLER 最高提升 2 倍，在 4 个任务中的 3 个超过 SIMPLER。论文进一步主张世界模型内的 RL 打开了若干新训练场景：从任意初始帧训练、在分布外语言指令上训练、以图像编辑注入干扰物训练、面向新场景的测试时训练，以及受 Dyna 启发的世界模型与策略交替迭代改进，并声称这些用法都对真实机器人性能有正向贡献。
- 研究方法
- 形式化上采用多任务、有限时域的部分可观测马尔可夫决策过程（POMDP）与 model-based RL 框架，以动作条件视频生成模型 WorldGym（约 600M 参数，在 Open X-Embodiment 上预训练）充当转移模型，以 GPT-4o 充当奖励模型。优化算法为 GRPO：对同一语言指令与初始观测采样 K=8 条轨迹，在 WorldGym 内最多 rollout 40 步，用组内奖励均值与标准差做归一化得到优势，把轨迹级优势广播到该轨迹的每个时间步，再以 PPO 风格裁剪目标更新策略；训练中还采用去掉 KL 惩罚、动态采样过滤奖励无方差的组、提高裁剪上界与提高采样温度（1.6）等技巧。基座模型为 OpenVLA-OFT，即在 OpenVLA 7B 上以 BridgeData V2 微调 20k 步，并把动作头换为 LLAMA-2 的 LM head 以获得动作概率，同时关闭本体感受与第二路相机输入。真实机器人评估经 AutoEval 平台在 4 个任务、2 套装置上进行，每个策略—任务对跑 10 次试验并重复 5 次以估计标准误；对照基线包括 SIMPLER（以 real-to-sim 数字孪生搭建，因二值奖励方差塌缩改用逐步部分奖励之和）与 Iter-SFT（把世界模型生成并经 VLM 筛选的成功轨迹与 Bridge V2 按 1:1 混合后再做一轮监督微调）。扩展实验包括用 Nano Banana 做图像编辑注入干扰物的 World-Gymnast-Distract、在同一帧上生成新语言指令构造 4 个新任务的 World-Gymnast-Language、额外加入 5 个 Bridge 任务的 World-Gymnast-Scaled，以及对测试时训练与世界模型—策略迭代（WorldGym-Dyna）的定性比较；训练侧为 4 张 NVIDIA H200（140GB）全参数微调 1–2 天。
- 学术贡献
- 贡献首先在方法建构层面：把动作条件视频世界模型作为可学习的转移模型、把 VLM 作为奖励模型，二者嵌入 GRPO 策略梯度，构成直接对 VLA 策略做 RL 后训练的框架，并以端到端方式回答「世界模型内训练策略能否优于 SFT 与软件模拟器」这一问题。其次在实证层面给出真实机器人上的定量对照：在 AutoEval 的 4 个操作任务上比较世界模型 RL、SIMPLER 模拟器 RL 与 SFT/Iter-SFT，报告任务级成功率与标准误，为世界模型 RL 相对 sim-to-real 模拟器 RL 的迁移表现提供可核查证据。第三，论文发掘出一组世界模型特有的数据扩容机制并将其作为训练资源：以任意帧为初始观测、由 VLM 生成分布外语言指令、用图像编辑合成干扰物、把测试帧直接用于测试时训练，这些机制对操作策略的长尾任务覆盖与杂乱场景鲁棒性研究有直接操作价值。第四，作者把经典 Dyna 式交替优化接入像素级世界模型与 VLA 策略，提出世界模型与策略互为数据飞轮的迭代方案，属于面向真实机器人后训练流程的设计拓展。
- 存在局限
- 对照设计存在不对称：SIMPLER 基线是在 AutoEval 评测任务对应的数字孪生上训练的，而 World-Gymnast 的训练集不含这些任务，论文将此解释为世界模型迁移更好，但缺少在同一训练任务集下的对照条件。真实机器人评估规模有限，仅覆盖 AutoEval 支持的 4 个任务、2 套装置，每个策略—任务对 10 次试验重复 5 次，部分任务标准误达 ±10%，且 World-Gymnast 在 close the drawer 上低于 SIMPLER（62% 对 74%），论文以基座策略本已较好来解释，未做进一步归因。奖励环节的可靠性未被独立检验：奖励是 GPT-4o 给出的二值任务完成信号，作者在解释 Iter-SFT 表现波动时归因于 VLM 成功判定不准与对合成经验的过拟合，但同一 VLM 正是 World-Gymnast 的奖励来源，其假阳性与假阴性率并未测量。世界模型的物理保真度被明确回避，论文自述评估物理真实性是困难的，因此世界模型幻觉与累积建模误差对策略更新的影响没有被量化。策略梯度使用轨迹级单一标量优势并广播至所有时间步，缺少步级信用分配；表 3 中 Distract、Language、Scaled 三个变体的提升（78%/81%/81%）全部来自 WorldGym 内评测，未在真实机器人上复现；测试时训练与 Dyna 迭代改进在正文中主要以定性对比呈现，材料截取部分未明确给出其量化结果。
- 进一步研究方向
- 其一，利用论文已具备的数据条件做物理保真度与性能的关联研究：把 AutoEval 采集的真实 rollout（帧—动作序列）与同一动作序列在世界模型中的预测逐帧比对，量化预测误差与 rollout 发散速度，检验该误差指标能否预测各任务在真实机器人上的迁移成功率。其二，对奖励模型做标定实验：在真实 rollout 上建立人工标注的成功/失败集合，测量 GPT-4o 二值奖励的假阳性与假阴性率，再比较轨迹级二值奖励与 VLM 逐步密集奖励、奖励集成对学习曲线的影响，以验证步级信用分配缺失是否为性能上限的来源。其三，补齐对照与消融：在相同训练任务集下重跑 SIMPLER 与 World-Gymnast，固定奖励与算法而只替换动力学来源以隔离世界模型的贡献，并扫描组大小 K、horizon、采样温度、去 KL 与动态采样等超参。其四，把表 3 中仅在 WorldGym 内验证的 Distract/Language/Scaled 变体放到 AutoEval 上做真实机器人评测，并把 Dyna 式世界模型—策略迭代跑多轮，记录世界模型预测误差与真实成功率的逐轮变化，以检验数据飞轮是否收敛。其五，把测试时训练做成算力—性能权衡实验：在给定新场景帧下变动测试时训练步数，绘制成功率随算力投入的曲线，并与在线真实数据微调做成本对照。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics