PAVXploreRL：基于动作探索的物理-动作-视觉世界模型强化学习
PAVXploreRL: Physical-Action-Visual World Model Reinforcement Learning with Action Exploration
Han Wang, Zijun Wang, Shuoshuo Xue, Rui Cao, Fenjiao Cheng, Xiaodan Liang, Roy Ka-Wei Lee
arXiv (Cornell University) · 2026-07-18
摘要
动作条件型世界模型是具身智能的核心组件，可作为可扩展的策略评估器，从而降低对昂贵的真实世界试运行的依赖。为精准捕捉各类动作引发的动态变化，此类模型需满足物理合理性、动作一致性及视觉保真度这三项核心要求——统称为PAV指标，同时还要能够适应分布内专家演示数据与分布外动作输入。然而现有方法主要依赖分布内的动作-视频配对数据及像素级重建损失，并未明确优化PAV指标，且在专家数据之外的泛化能力较差。针对这一问题，我们提出PAVXploreRL这一强化学习框架，它基于预训练的潜空间世界模型，通过奖励驱动的训练机制显式优化PAV指标。为提升动作的泛化能力，该方法无需配对的视频监督，即可同时利用分布内轨迹与噪声驱动的分布式外动作探索。实验结果表明，PAVXploreRL的性能始终优于各类预训练基线模型，在各项基准测试中平均性能提升达5.6%，且生成的PAV属性质量更高。作为策略评估器，它能提供更可靠的性能评估结果，还能有效消除Ctrl-World等仅依赖专家数据的传统世界模型的估计偏差。代码地址：https://github.com/Social-AI-Studio/PAVXploreRL
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对具身智能中作为可扩展策略评估器的动作条件（action-conditioned）世界模型，提出其应同时满足物理合理性（Physical Plausibility）、动作遵循性（Action Adherence）与视觉保真度（Visual Fidelity）三项要求，合称PAV；物理合理性具体指物体恒存、机器人—物体接触一致、刚体或可形变体的有效行为。作者认为现有方法主要依赖分布内（ID）专家动作—视频对与像素级重建损失，未显式优化PAV，因而在专家数据之外泛化不佳，并会高估分布外（OOD）次优策略动作的效用、抬升策略成功率。为此提出PAVXploreRL：以预训练潜变量世界模型VJEPA-2为基础，通过奖励驱动训练显式优化PAV，并同时利用ID轨迹与噪声驱动的OOD动作探索，在无配对视频监督的条件下提升动作泛化。实验报告该框架相对预训练基线在各基准上平均提升5.6%、PAV属性质量更高，作为策略评估器能给出更可靠的性能估计，并降低Ctrl-World等仅用专家数据训练的世界模型的高估偏差。
- 研究方法
- 方法上，作者以Wan2.2-TI2V-5B视频扩散模型为基座，通过AdaLN与时间嵌入注入动作条件，采用Framepack策略对历史帧做非均匀采样与压缩，先以重建MSE损失做监督微调（SFT），再以扩散模型强化学习后训练，且仅更新动作编码器与LoRA参数。RL采用Diffusion-NFT框架，用一阶SDE求解器按动作条件滚动生成G组未来帧，构造当前策略与EMA旧策略的正／负隐式去噪目标，以标量轨迹奖励r∈[0,1]加权去噪损失。奖励为统一函数，按伯努利式采样（α_OOD=0.1）在ID分支（MSE、SSIM、LPIPS的像素奖励＋VJEPA编码器奖励＋无参考视觉保真奖励）与OOD分支（VJEPA预测器奖励＋视觉保真奖励）之间切换；OOD动作由时段边界随机偏移±0.6s、分段幅值缩放±0.15、σ=0.02的累积高斯噪声三种扰动生成，并以零动作序列做静态正则（λ_static=0.8），具身聚焦奖励权重λ_emb=0.5。VJEPA-2被域适配：冻结编码器、从头训练动作条件预测器，Stage 1进行单步预测，Stage 2从原始帧与经GroundingDINO＋SAM分割的具身聚焦帧中随机采样并对整段预测做自回归累积损失训练。数据为Agibot Alpha（92K轨迹、590小时、36任务、双手）与DROID（76K轨迹、350小时、86任务、单手）；Agibot每条任务留出1%、每任务采3条轨迹，共220段9.6秒视频，DROID沿用Ctrl-World验证集；指标为PSNR、SSIM、LPIPS、EPE、COS及VJEPA编码器／预测器损失，并辅以奖励分支消融、100条轨迹的盲评人类评估与策略—世界模型20次交互的相关性实验。
- 学术贡献
- 在概念层面，论文把物理真实性、任务完成、具身合理性与视觉质量等既有准则整合并具体化为动作条件世界模型的PAV目标框架，使评价维度可被直接写入训练目标。在方法创新层面，作者用统一奖励函数将PAV显式纳入RL优化，并提出基于VJEPA-2潜变量预测的免真值（GT-free）奖励，使缺少配对视频的OOD动作也能参与训练，突破了此前动作条件世界模型RL必须依赖GT视频评估奖励的限制。在模型与材料层面，论文构建了域适配的动作条件VJEPA-2（原始帧与具身聚焦帧双流、覆盖整段的累积自回归损失），并将其作为PAV奖励评估器；同时给出由动作施加的三类OOD扰动构造方案。其价值主要落在世界模型的强化学习后训练与策略评估两个子议题上，具体体现为在Agibot与DROID上相对预训练基线的一致性提升，以及在策略评估中降低专家数据世界模型对OOD动作的成功率高估。
- 存在局限
- OOD动作由启发式扰动生成而非取自真实次优或失败策略，论文仅以人工目视称其「显著偏离GT」，未给出对实际策略失败模式的覆盖度度量与偏置分析，且OOD分支占比固定为0.1（材料仅提及附录含α_OOD消融，具体结果未呈现）。增益幅度有限：Agibot上RL相对预训练在PSNR、SSIM、LPIPS上的改善分别为20.52→21.20、0.793→0.812、0.133→0.127；DROID上预训练模型PSNR（20.79）低于Ctrl-World（21.27／21.30），RL后为21.71，但其EPE（0.227）仍略逊于复现的Ctrl-World（0.222），VJEPA预测器损失仅从0.373降至0.369，而摘要所称5.6%平均增益未在材料中给出逐基准分解。评测仅覆盖单视角观测的两个操作数据集，Agibot侧220段视频、DROID侧复用他人验证集与已发表结果，奖励评估器的域适配置于机器人操作域内，跨域迁移性未被检验。静态正则权重λ_static=0.8偏大，消融显示去除静态项后预测器损失升至0.409，说明动作相关奖励与静态塌缩抑制之间存在未充分分析的权衡，而材料未给出该项取值的敏感性扫描。多种子方差、显著性检验、训练算力与基线成本的对比均未出现；人类评估方案、λ_VJEPA与α_OOD消融、训练过程验证曲线均位于附录，且所提供全文在消融表处截断（Rem…），这些内容材料中未明确提及。
- 进一步研究方向
- 其一，把OOD动作的构造从启发式扰动改为由真实次优策略采样，例如取策略训练中间检查点或人为降低成功率的策略所产出的动作块，构造带真实结果标签的OOD集合，检验统一奖励的排序与真实rollout成败的一致性。其二，将现有策略—世界模型交互实验（仅20次交互）扩展为跨多个成功率档位、多个策略的规模化相关性研究，验证高估偏差的下降是否随OOD动作比例单调成立，从而确认「更可靠的策略评估器」这一论断的边界条件。其三，做奖励评估器的跨域迁移实验：在Agibot与DROID之间互换训练域与测试域，检验冻结编码器、仅训练预测器的VJEPA-2奖励能否继续分辨PAV，并扩展到多视角、移动操作或可形变物体数据以界定物理合理性奖励的适用边界。其四，对λ_static、λ_emb、λ_VF、α_OOD做系统敏感性扫描并报告多种子方差与显著性检验，绘制静态正则强度与动作相关性奖励之间的权衡曲线。其五，设计奖励攻击检验：用针对奖励优化的对抗视频或已知违反PAV的合成片段（物体消失、接触穿透、动作与画面错配）测试统一奖励能否给出正确低分，据此判断该奖励能否独立充当PAV评测基准，并以VJEPA-2预测器集成替代单一预测器以降低OOD分支奖励方差。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics