基于极小极大主义的人类反馈强化学习方法
A Minimaximalist Approach to Reinforcement Learning from Human Feedback
Gokul Swamy, Christoph Dann, Rahul Kidambi, Zhiwei Steven Wu, Alekh Agarwal
arXiv (Cornell University) · 2024-01-08
开放获取对齐与安全被引 3影响因子 ≈0.2
摘要
我们提出了自我对弈偏好优化（SPO）算法，这是一种用于人类反馈强化学习的算法。该方法的“极小化”特征体现在无需训练奖励模型，也无需采用不稳定的对抗性训练，因此实现起来相当简便。“极大化”特征则表现为它能够有效处理非马尔可夫性、不可传递且随机的偏好，同时对困扰离线序列预测方法的累积误差具有较强鲁棒性。为实现上述特性，我们借鉴了社会选择理论中的极小极大胜者（MW）概念，该概念将基于偏好的学习过程视为两个策略之间的零和博弈。利用这种博弈的对称性，我们证明无需采用传统的一对一策略对比来计算极小极大胜者，仅需让单个智能体与自己进行对弈，就能保证较强的收敛性。在实际应用中，该方法会从某一策略中采样多条轨迹，交由偏好模型或教师模型进行比较，随后将某条轨迹的获胜比例作为该轨迹所获得的奖励。我们在一系列连续控制任务中的实验表明，相较于基于奖励模型的方法，该方法的学习效率显著提升，同时对于人类评判中常见的不可传递且随机的偏好也具有较强适应性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出 Self-Play Preference Optimization（SPO），目标是在 RLHF/PbRL 中绕开奖励模型训练与不稳定的对抗训练，直接利用偏好或教师模型给出的成对比较优化策略。其“极简”在于不需要训练奖励模型，“极大”在于可证明处理非马尔可夫、不可传递和随机偏好，并避免困扰离线序贯预测的复合误差。核心概念是来自社会选择理论的 Minimax Winner（MW），把偏好聚合形式化为两个策略之间的零和博弈；利用偏好函数的反对称性和博弈对称性，论文证明单个智能体自博弈即可计算对称 MW，而无需用两个策略进行 dueling。实践上，SPO 从当前策略采样多条轨迹，让偏好或教师模型两两比较，以某条轨迹的胜率作为其奖励，并迭代使用策略相关奖励 rSPO_t(ξ)=E_{π′∼pt}[E_{ξ′∼π′}[P(ξ,ξ′)]] 更新策略。论文还论证奖励型 RLHF 与 DPO 不一般等于 MW：存在偏好函数和参考策略使二者最优策略不是 MW；但若存在明显最优策略，SPO 以 Õ(1/T) 快速收敛，而在不可传递偏好下收敛到近似 MW 的速率由底层 no-regret 算法决定。
- 研究方法
- 论文以形式化建模与理论证明为主：在有限时域无奖励 MDP ⟨S,A,T,H⟩ 中定义偏好 oracle P:Ξ×Ξ→[-1,1]，将轨迹级偏好扩展到策略对 P(π1,π2)，并假定凸紧策略类 Π 与可查询偏好函数。它从社会选择理论引入 Copeland Winner 与 Minimax Winner，比较确定性 Copeland Winner 的非唯一性和 MW 的随机化、零和博弈解释，再通过归约分析把 MW 计算化为对 no-regret 在线线性优化算法 O 的调用。证明部分给出 Lemma 2.1 存在对称 MW、Theorem 2.3 单玩家对自身迭代运行 O 时平均策略为 2Reg(T)/T 近似 MW、Theorem 2.4 存在偏好与 πref 使奖励型 RLHF 和 DPO 的最优策略不是 MW，以及 Corollary 2.5 在存在间隔 Δ 时达到 Õ(|Π|/(ΔT)) 速率；主要定理先在全反馈下设，bandit 反馈扩展放在附录 C.7。实验在连续控制任务上比较 SPO 与基于奖励模型 RM 的方法，覆盖图 2 所示四类偏好：传递偏好（walker:walk）、随机偏好（偏好翻转概率 0.1–0.4，walker:stand）、非马尔可夫偏好（前四分之三最大化奖励、后四分之一不越过回报阈值）以及由子群体聚合产生的不可传递偏好。算法 1 在每一轮计算 r_t(ξ)=E_{ξ′∼π_t}P(ξ,ξ′)，构造 Q_t、优势 A_t，并按 π^h_{t+1}(a|ϕ)∝π^h_t(a|ϕ)exp(ηA^h_t(ϕ,a)) 更新，最终返回 π_{1:T} 的轨迹级混合；材料同时说明离线固定偏好数据集情形可先拟合偏好模型 P-hat 再作为插件运行 SPO，但实验未探索该范式。
- 学术贡献
- 理论建构上，论文把 RLHF 的偏好聚合接到社会选择理论的 MW，并证明只需单智能体自博弈即可计算对称 MW，从而把两玩家零和博弈的 dueling 训练降为单个 no-regret 学习器的自我对弈。方法创新上，SPO 去除奖励模型，直接用偏好或教师模型的成对比较和轨迹胜率作为奖励，避免了奖励模型假设全序、不可传递偏好下的任意 tie-break 以及对抗训练不稳定性。证明层面，论文给出不可传递偏好下收敛到近似 MW 的归约式速率，并在存在潜在奖励函数时给出匹配标准方法的快速速率；Theorem 2.4 进一步区分奖励型 RLHF/DPO 与 MW。领域拓展上，论文将偏好型 RLHF 的适用偏好结构从传递、马尔可夫奖励扩展到随机、非马尔可夫、不可传递偏好，并用 Table 1 对 DPO、PPO、DBGD 与 SPO 在复合误差、不可传递偏好和学习设定上做分类比较。实证贡献上，它在连续控制任务（含 walker:walk、walker:stand 等）上显示 SPO 比基于奖励模型的方法更样本高效，并在随机与不可传递偏好下保持稳健，其中不可传递偏好下 RM 方法趋于确定性策略而 SPO 一致地计算 MW。
- 存在局限
- 理论主结果 Theorem 2.3 在全反馈下陈述，bandit 反馈虽在附录 C.7 扩展，但正文展示依赖可查询偏好 oracle、偏好函数反对称性以及凸紧策略类等假设；Corollary 2.5 的快速速率依赖存在间隔 Δ 且界中包含 |Π|，更适用于较小的离散策略类，向大规模连续策略类的扩展通过局部 regret minimizer 处理，材料未给出该扩展的完整证明细节。实验主要在连续控制任务上，且用 realistic preference functions 或偏好、教师模型替代真实人类标注；材料未明确报告人类被试实验、任务数量、随机种子、计算预算或统计显著性检验。离线固定偏好数据集范式被明说未在实验中探索；论文只指出可拟合 P-hat 作为 P 的插件估计，但未给出离线样本复杂度、分布偏移或 P-hat 误设下的理论保证。对 LLM 微调、机器人、推荐、检索等应用只作为 RLHF 背景引用，实验未覆盖这些领域；材料也未明确给出与 DPO 等具体基线的实验对比细节。对非马尔可夫偏好的处理虽显示可搜索马尔可夫策略类来应对，但材料未说明该偏好类的完整刻画、可学习性边界，以及偏好模型查询噪声或对抗性查询下的稳健性。
- 进一步研究方向
- 在材料提到的固定离线偏好数据集范式中，实际训练 P-hat:Ξ×Ξ→[-1,1] 以最大化偏好对似然，再作为 P 的插件运行 SPO，比较其与奖励模型基线在分布偏移、偏好噪声和 P-hat 误设下的表现。按附录 C.7 的 bandit 反馈扩展设计实验：只观测被采样轨迹对的偏好标签，检验收敛到近似 MW 的速率、样本复杂度与对查询预算的敏感性。构造有限离散策略类实验检验 Corollary 2.5 中 Õ(|Π|/(ΔT)) 的 gap Δ 条件：改变最优策略优势 Δ、策略数 |Π| 与 Hedge 学习率 η，观察平均策略的近似 MW 误差是否随 T 按该速率下降。将图 2 的四类偏好实验扩展到不同子群体比例、偏好翻转概率与阈值参数的非马尔可夫任务，记录 MW 一致性、策略随机化程度和 RM 方法退化为确定性策略的边界。在材料列举但未实验的 LLM 微调、机器人、推荐或检索场景中，以成对偏好或教师模型比较为反馈运行 SPO，检验其相对奖励模型型 RLHF 与 DPO 的样本效率及对不可传递偏好的稳健性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics