RLVR-World：基于强化学习训练世界模型
RLVR-World: Training World Models with Reinforcement Learning
Jialong Wu, Shaofeng Yin, Ningya Feng, Mingsheng Long
neural information processing systems · 2025-01-01
开放获取生成式与扩散大模型与语言被引 2被引前 10%影响因子 ≈3.8
摘要
世界模型能够预测动作引发的状态变化，其研发正逐步拓展至多种模态领域。然而，最大似然估计等传统训练目标往往与世界模型的任务特定目标——即准确性或感知质量等状态转移预测指标——存在偏差。本文提出RLVR-World这一统一框架，利用可验证奖励强化学习技术，直接针对此类指标优化世界模型。尽管世界建模被表述为对分词序列的自回归预测，RLVR-World仍会将解码后的预测结果指标作为可验证奖励进行评估。我们在文本游戏、网页导航及机器人操控等多个领域的语言和视频类世界模型上均验证了该框架的显著性能提升效果。研究表明，继推理语言模型的最新进展之后，RLVR为更广泛提升生成式模型的实用性提供了一种极具前景的训练后范式。相关代码、数据集、模型及视频样例可在项目网站https://thuml.github.io/RLVR-World查阅。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文的问题域是世界模型训练目标与任务目标之间的错位：以最大似然估计（MLE）为代表的标准目标，常与转场预测所关注的准确率、感知质量等指标不一致。为此作者提出RLVR-World，一个用可验证奖励强化学习（RLVR）统一优化世界模型的框架，直接针对上述指标而非似然进行优化。其关键设定是：世界建模虽被形式化为对token化序列的自回归预测，但奖励取自解码后预测的可验证度量，而非token层面。论文在语言型与视频型世界模型上、跨文本游戏、网页导航与机器人操作等域报告了显著性能提升。作者进而主张，RLVR不只是推理语言模型的最新进展，也可作为提升更广泛生成模型实用性的后训练范式，并公开了代码、数据集、模型与视频样例。
- 研究方法
- 方法路径是构建统一的RLVR-World框架：将世界建模设为token化序列的自回归预测，把解码后预测的指标作为可验证奖励，并以此驱动强化学习优化，从而绕开仅优化似然的训练方式。验证方式为在语言型与视频型两类世界模型上跨域开展实验，任务域覆盖文本游戏、网页导航与机器人操作。论文以MLE式标准目标为对照背景，指出其与转场预测指标（准确率、感知质量）之间的偏差。具体的奖励函数构造、基线选择、数据集规模、训练与评测超参、统计显著性检验，材料中未明确提及。
- 学术贡献
- 贡献属于方法与范式层面：将RLVR从推理语言模型迁移到世界模型的训练中，提出以解码预测的可验证指标为奖励来直接优化世界模型。同时给出一个诊断性判断，即MLE等标准目标与转场预测的任务指标存在错位，并把这一错位作为方法设计的出发点。在领域拓展上，覆盖语言与视频两种模态，以及文本游戏、网页导航、机器人操作三类任务域，把RLVR的适用范围从推理任务推向生成式世界建模。作者公开代码、数据集、模型与视频样例，为复现与横向比较提供材料基础。
- 存在局限
- 摘要仅给出结论性表述，未报告任何量化指标、提升幅度或置信区间，性能增益的大小与稳定性无法核验。方法层面未说明可验证奖励如何处理准确率与感知质量这两类性质不同的指标，也未交代奖励是否稀疏、解码指标的信号能否稳定回传。实验层面未列出基线、消融、样本规模与计算开销，因而难以判断收益来自奖励设计还是模型规模或数据差异。跨文本游戏、网页导航与机器人操作的结果是否共用同一套奖励形式与超参，材料中未明确提及。
- 进一步研究方向
- 可对同一世界模型分别以准确率与感知质量为奖励做对照实验，确认两类可验证奖励各自适用的任务边界与失效条件。可设计奖励迁移实验：把文本游戏上确定的奖励设计直接用于网页导航与机器人操作，检验其可迁移性并定位失配来源。可改变MLE预训练与RLVR后训练的先后次序与数据配比，检验在何种数据规模下RLVR相对MLE的收益最大。可在奖励无法直接验证、需学习奖励模型或人工偏好的任务上测试该框架的适用边界。上述路径均需报告基线、样本规模与统计检验，以补足当前摘要缺失的量化证据。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics