基于世界模型的扩散策略优化方法实现强化学习的规模化应用
Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization
Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu
arXiv (Cornell University) · 2026-05-25
摘要
基于模型强化学习（RL）能够借助世界模型实现规模化高效支持。然而在实践中，此类方法的规模化应用仍受到根本性限制。一个广为人知的问题是模型偏差与误差累积，这会损害长期预测能力。除这些问题外，我们还发现了一个更为关键却未被充分探讨的瓶颈：现有世界模型方法中搜索环节与价值学习之间存在结构性错位。具体而言，策略改进往往依赖于由独立非搜索策略所诱导的价值函数，从而导致训练不一致，最终造成学习效果不佳。为克服这一局限，我们提出了世界模型中的基于模型扩散策略优化（MBDPO）框架，该框架通过扩散策略表征将搜索与策略优化统一起来，从而释放世界模型在规模化策略学习方面的潜力。我们并未在已习得的世界模型上构建显式的规划器，而是将策略优化重新定义为对潜空间世界模型中搜索轨迹的扩散过程。在此框架下，我们从收集的数据集中提取出用于锚定策略的隐式能量函数，使MBDPO能够在缓解错位问题的同时优化策略优化的评分场。我们在多任务离线预训练、在线学习以及离线到在线微调等多种场景下对MBDPO进行了评估。在离线场景中，我们通过大规模数据集预训练进一步探究其规模化特性，结果显示随着模型容量的提升，性能呈现稳定且单调的增长趋势。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文的核心论点是：以世界模型支撑的基于模型的强化学习之所以难以规模化，原因不止于学界常提及的模型偏差与误差累积所导致的长时程预测退化。作者进一步指出一个更关键但尚未被充分探讨的瓶颈，即现有世界模型方法中搜索与价值学习之间的结构性错位：策略改进所依赖的价值函数由另一个独立的、非搜索的策略诱导产生，由此造成训练不一致，并最终导致学习次优。为回应这一问题，论文提出 Model-Based Diffusion Policy Optimization（MBDPO）框架，主张通过扩散策略表示把搜索与策略优化统一起来。其具体论断是：不在已学习的世界模型之上构造显式规划器，而将策略优化重构为潜空间世界模型中针对搜索所得轨迹的扩散过程；同时从收集的数据集中提取隐式能量函数以锚定策略，使方法在精炼分数场（score field）的同时缓解上述错位。研究对象是世界模型内部的策略优化与策略改进机制，问题域落在基于模型的强化学习能否随模型与数据规模扩展这一议题上。
- 研究方法
- 方法路径上，论文采用框架构建与多设置实验评估相结合的方式：先以扩散过程重构策略优化目标，并由收集的数据集提取隐式能量函数，形成 MBDPO 的具体算法路径，而非在学习到的世界模型上搭建显式规划器。评估覆盖三类设置——多任务离线预训练、在线学习，以及离线到在线的微调。在离线情形下另设扩展性实验，通过在大型数据集上预训练，考察模型容量增长时的性能变化，并报告随容量提升而出现的一致且单调的性能增益。材料中未明确提及所用的具体基准环境、数据集名称与规模、对比基线方法以及消融实验的构成，因此样本层面的细节无法从材料中确认。
- 学术贡献
- 在理论建构层面，论文把“搜索与价值学习的结构性错位”提炼为世界模型规模化的一个独立瓶颈，将其与模型偏差、误差累积这两种既有解释区分开来，对基于模型的强化学习中策略改进与价值学习一致性这一议题具有直接价值。在方法创新层面，它以扩散策略表示替代显式规划器，把策略优化表述为潜空间世界模型上搜索轨迹的扩散过程，并引入由数据集提取的隐式能量函数作为策略锚点，形成搜索与优化相统一的方法路径。在领域拓展与实证层面，它在离线预训练中给出性能随模型容量单调提升的扩展性证据，为“世界模型能否支撑可扩展策略学习”这一问题提供了正面材料。
- 存在局限
- 实验设计上，材料只说明覆盖离线预训练、在线学习与离线到在线微调三类设置，未给出具体环境、任务集合与基线方法，因而无法判断所报性能增益是相对于何种现有方法成立。样本代表性方面，扩展性结论仅被陈述为随模型容量的单调提升，未提及数据规模是否同步变化，也未提及是否报告方差或显著性检验，单调性是否稳健不可核验。论证链条上，隐式能量函数由收集的数据集提取，其质量对数据覆盖度的依赖以及该环节失效时的表现，材料中未作说明。此外，论文虽将模型偏差与误差累积列为已知挑战，但 MBDPO 是否缓解了长时程预测退化，材料中未明确提及；在线学习与离线到在线微调的结果细节同样未在材料中展开。
- 进一步研究方向
- 其一，将模型容量与预训练数据规模设为两个独立变量进行联合扫描，绘制数据—模型二维缩放曲线，检验离线条件下的单调增益在更大规模处是否持续或出现拐点。其二，设计解耦消融：保留扩散策略表示但恢复由非搜索策略诱导的价值函数，与完整 MBDPO 对照，以分离“搜索—价值对齐”与“扩散表示容量”各自的贡献。其三，在离线到在线微调中系统改变微调步数与在线数据量，测量预训练所得隐式能量函数的锚定效应随微调推进是衰减还是保持。其四，针对隐式能量函数做覆盖度受控实验，按数据覆盖度分层构造数据集，检验策略锚定质量与最终性能之间的因果关系。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics