基于密度引导的自举边界用于潜在世界模型强化学习
Density-Guided Bootstrap Boundaries for Latent World-Model Reinforcement Learning
Shashank Gupta, Pilhwa Lee
arXiv (Cornell University) · 2026-10-29
开放获取生成式与扩散被引前 50%影响因子 ≈1.1
摘要
潜在世界模型使强化学习智能体能够从想象轨迹中学习策略，但确定模型依赖的最优深度仍是一个根本性挑战。固定想象视界不论轨迹可靠性如何均采用统一的预测深度，这使得目标值面临模型误差累积或过度依赖评论家近似的问题。我们提出密度引导的自举边界，这是一种依赖轨迹的机制，利用基于得分信息的相对密度代理来调整想象回报的深度。该代理沿想象路径累加由特征位移网络与噪声条件得分估计器构成的经得分校正辅助场的估计散度。我们提出两种门控机制：一种硬边界在离散状态处终止回报扩展，一种软边界将回报递归持续向评论家自举偏移。这两种变体均保留边界价值估计，并将相应的生存权重应用于行动者与评论家损失。该机制不依赖于特定动力学模型进行构建，并在Dreamer V3中予以实现，我们证明由此得到的门控贝尔曼算子是严格压缩映射，且早期自举能单调降低条件目标方差。我们阐明了区分本研究的扩展代理与精确路径似然的理论假设。在连续控制任务与Atari Pong任务中，经验性评估表明动态边界选择相较于固定视界基线与启用辅助任务的基线，提升了样本效率与训练后期性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对潜世界模型中「模型依赖深度」这一决策问题提出核心主张：想象回报的展开深度应由轨迹相依的诊断信号决定，而不是对所有状态统一施加固定想象视野。作者提出密度引导的自举边界：以特征位移网络与噪声条件评分估计器构成评分修正的辅助场，沿想象路径累积其估计散度的负值，得到相对密度代理，并据此构造硬门（在离散状态处终止回报扩展）与软门（连续地把回报递归推向critic自举）。论文强调门控是「使用多少模型生成经验」的决策而非环境终止预测，门g_t与预测的环境延续概率ĉ_t在概念上分离，边界处保留该状态的价值估计，并对actor与critic损失施加相应的生存权重。对信号解释的限定同样构成论点的一部分：想象转移由RSSM转移核采样而非积分该辅助场，故累积量只是锚定的特征空间扩张诊断，不等同于世界模型下的精确路径似然，低代理值是否指示预测失准被明确当作经验假设。由此，边界的实质是把依赖从模型预测转移到critic，以吸收critic近似偏差e(x_t)为代价换取下游转移方差的削减。
- 研究方法
- 工作路径是形式化建模与算法实例化相加：先给出有限horizon λ-回报递归及门控插入形式，证明门控Bellman算子是严格压缩映射、早期自举单调降低条件目标方差，再作连续—离散桥接，即在分类潜变量上用各向同性高斯核平滑定义替代密度、以单步前向Euler求积近似散度积分（截断误差界为O(‖Δx_t‖²₂)），并把偏差分解为核平滑位移E_smooth、求积残差E_euler与结构路径漂移ε_drift=KL(P_RSSM‖P_Flow)。实现层面在DreamerV3中实例化，保留其随机潜动力学与actor–critic训练流程。辅助模型的训练材料取自回放数据的后验特征（经stop-gradient处理）：位移网络f_ω以归一化序列位置u_i、特征x̄_i与动作b_i为输入，回归一步特征位移，并用episode reset掩码m_i剔除跨回合样本对；评分网络采用去噪得分匹配目标，噪声尺度α在[α_min,α_max]上均匀采样，按s_η=-ε_η/α参数化。评估由连续控制任务与Atari Pong上的对照构成，包括未修改智能体、启用辅助但无边界选择、密度引导变体，以及固定边界控制、score消融、阈值敏感性和有效想象长度诊断。具体连续控制任务名称、随机种子数与超参数表在提供的材料中未明确提及。
- 学术贡献
- 理论建构层面，论文把自举深度写成轨迹相依门控并纳入回报递归，给出门控算子的压缩性与条件目标方差单调性的形式结论，同时对代理量与精确密度输运的关系作三项误差分解，使「模型使用程度」这一议题获得可检验的表述。方法层面，以评分修正辅助场的散度累积作为边界选择信号，使评分估计器经由改变边界间接改写actor与critic的目标值和样本权重，score估计由此在策略学习中取得显式角色，而不再仅是生成建模工具。实验设计层面，为剥离「密度信号携带的信息」与「单纯缩短视野」两种解释，设置固定边界控制、辅助启用但无截断与score消融三组对照，这一逻辑对自适应价值扩展与悲观化之外的第三条路径——在线设定下切换模型与critic的依赖比例——具有直接的操作价值。概念辨析层面，论文把自举边界与离线悲观方法中的不确定性奖励惩罚、未知转移吸收态区分开，指出边界只转移依赖来源而不消除估计误差，为后续方法定位提供了清晰坐标。领域拓展上，其门控形式被声明为不依赖特定世界模型架构，只要求想象轨迹、价值估计器与轨迹相依门。
- 存在局限
- 计算层面，当前实现仍先生成完整想象轨迹再施加门控，自适应回报深度并未带来rollout计算量的下降，作者亦声明二者不可等同。信号效度层面，代理量受clip与随机迹估计影响，ε_drift作为未建模常数被承认存在，低代理值能否识别不准确预测未被证明，仅被当作经验假设检验。结构层面存在缝隙：位移网络虽命名为latent ODE组件，但训练既不积分ODE也不除以连续时间增量，u_i只是序列位置条件变量而非积分步长；辅助场与RSSM转移核之间没有生成关系，这使连续概率流解释的支撑被削弱。理论与实现的落差同样明显：压缩性与方差单调性的结论须计入critic误差与门控对采样轨迹的依赖，材料明确指出精确密度输运的性质不会自动迁移到本实现。评估覆盖上，实证仅涉及连续控制任务与Atari Pong一款离散动作游戏，材料未报告任务数量、种子数、置信区间与显著性检验，外部效度受限。机制本身，以critic值替换模型展开会引入近似偏差e(x_t)，论文承认这一点但未给出偏差与方差的定量权衡曲线。
- 进一步研究方向
- 其一，把门控嵌入rollout生成环节，在硬门触发处直接终止想象，测量FLOPs与wall-clock节省，并在相同环境步数预算下与全长度rollout对照，以刻画计算—性能曲线的形状。其二，直接检验ε_drift：估计RSSM转移核与辅助流场之间的KL差距，或在训练目标中显式最小化该项，观察边界选择的稳定性与阈值敏感性是否随之改善，从而判断连续流解释能否从启发式升级为有约束的近似。其三，做2×2消融分离「深度选择」与「样本加权」：固定边界位置仅开关生存权重，或固定权重仅改变边界位置，以确定性能增益的真实来源。其四，扩展任务族并按训练阶段分层分析，材料仅含Atari Pong一款离散动作任务，可在多款Atari游戏与高维连续控制上报告有效想象长度的分布随训练推进的漂移。其五，与校准不确定性信号作同协议比较：在相同阈值敏感性流程下对照集成方差式的深度混合（STEVE路径）与本密度代理，用回归把目标值误差分解为视野长度项与信号项，检验密度代理是否在「缩短视野」之外提供额外信息。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics