基于人类反馈的强化学习中的双重主动学习
Dual Active Learning for Reinforcement Learning from Human Feedback
Pangpang Liu, Chengchun Shi, Will Wei Sun
arXiv (Cornell University) · 2024-10-03
开放获取对齐与安全大模型与语言被引 1影响因子 ≈0.2
摘要
使大型语言模型（LLMs）与人类偏好相一致，对生成式人工智能的近期发展至关重要。基于人类反馈的强化学习（RLHF）被广泛应用于实现这一目标。RLHF的关键步骤是从人类反馈中习得奖励函数。然而，获取人类反馈成本高且耗时久，因此收集供人类标注员标记的高质量对话数据十分必要。此外，不同标注员的专业水平存在差异，因此选取最适宜的标注员来获取其意见至关重要。本文采用离线强化学习（RL）来构建模型对齐问题。受$D$-最优设计理念的启发，我们率先提出了一种双重主动奖励学习算法，用于同步筛选对话样本与标注员。随后，我们基于所习得的奖励估计器，运用悲观性强化学习方法求解模型对齐问题。理论上，我们证明通过所提出的自适应选择策略得到的奖励估计器能渐近地实现最小的广义方差，并证实在给定样本预算$T$的条件下，我们所设计的悲观性策略的次优性仅为$O(1/\sqrt{T})$。通过仿真实验及大型语言模型上的测试，我们验证了该算法的有效性及其相较于现有先进方法的优越性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将 RLHF 中的对齐问题形式化为离线 RL 问题，聚焦奖励学习阶段，核心论点是：在人类反馈昂贵且教师异质的条件下，应同时主动选择对话（prompt-completion）与教师，而非只选对话或只选教师。作者指出教师 rationality 会随上下文类别变化，因而提出 context-dependent heterogeneous teacher model，用 β_j^(k) 刻画教师 j 在上下文类别 k 上的 rationality。方法上受 D-optimal design 启发，选择能最大化 Fisher 信息矩阵行列式的对话-教师对，再用悲观 RL 基于学到的奖励估计学习策略。论文证明该奖励估计器渐近达到最小 generalized variance，悲观策略的 sub-optimality 随样本预算 T 以 O(1/√T) 衰减。实验在模拟和 LLM 数据集上表明其奖励估计与策略价值优于现有方法。
- 研究方法
- 研究以离线 RL 形式化对齐，主文采用 contextual bandit 设定，将上下文 x 视为问题/prompt，动作 a 视为 completion，奖励 rθ*(x,a)=θ*^T φ(x,a)，φ 由预训练语言模型去掉最后一层得到，θ* 为最后一层权重。偏好生成采用三层模型，最终使用 Model III：context-dependent heterogeneous teacher model，教师 j 在上下文类别 k 上的偏好由 β_j^(k) 和 θ* 通过 BTL 型概率给出。估计上用 MLE 最大化式(4)的对数似然；选择策略使用 D-optimal design，序贯计算样本信息矩阵 H_{t-1}(θ_hat_{t-1}) 并选择使 det[H+...] 最大的对话和教师，算法1给出评估、选择、查询、更新流程。策略学习采用 pessimistic RL，沿用 Jin et al. (2021) 与 Zhu et al. (2023) 的悲观原则，但数据由主动查询而非随机查询得到。实验材料包括模拟数据和公共 LLM 数据集 Anthropic 与 UltraFeedback。
- 学术贡献
- 方法层面，论文提出 dual active reward learning，同时选择 conversations 和 teachers，并将 context-dependent heterogeneous teacher model 引入 RLHF 奖励学习，使教师 rationality 随上下文类别变化。理论层面，论文证明通过该自适应选择策略得到的奖励估计器渐近达到最小 generalized variance，并证明悲观策略的 sub-optimality 以 O(1/√T) 收敛（至多对数因子）。论文还论证该估计器优于只选教师、只选对话的 single-active-learning 方法以及非主动随机选择方法。经验层面，在 Anthropic 与 UltraFeedback 上，所提策略在 reward accuracy 上取得 1.77%–9.06% 的提升，并与 state-of-the-art 比较 reward estimation 与 policy value。这些贡献对 RLHF 的奖励建模、主动数据选择、教师选择以及离线 RL 对齐子领域有直接价值。
- 存在局限
- 主文的理论分析限定在 contextual bandit 设定，MDP 设定被置于附录 B，节选未给出 MDP 下的对应理论结果，而 LLM 对齐通常涉及序贯决策。算法1将教师在不同上下文类别的 rationality 参数 {β_j^(k)} 作为已知输入，材料中未说明这些参数如何从数据中估计、校准或先验给定。Lemma 1 与 sub-optimality 结论依赖 Assumptions 1 和 2，节选未展示假设的具体内容、可验证性及假设被违反时的行为。实验只报告 Anthropic 和 UltraFeedback 上 reward accuracy 的提升区间，未呈现教师数量 m、上下文类别数 g、样本预算 T、标注噪声等因素的敏感性分析。此外，材料指出 LLM 动作空间极大、行为策略可能覆盖不足，但未详细说明悲观策略在大动作空间中的计算可行性与近似误差。
- 进一步研究方向
- 可把主文的 contextual bandit 设定扩展到 MDP，并推导与 O(1/√T) 相对应的 MDP 版 sub-optimality 界，检验主动选择对话与教师是否仍保持渐近 D-optimal。可研究 {β_j^(k)} 未知时的联合估计与主动选择：把教师 rationality 作为隐变量，用在线 EM 或分层贝叶斯更新与 D-optimal 选择交替进行，验证是否仍能降低奖励估计的 generalized variance。可在 LLM 对齐实验中系统改变上下文类别数 g、教师数 m 和反馈预算 T，并设置消融：仅选 conversation、仅选 teacher、随机选择、选最高 rationality 教师，比较 reward accuracy 与 policy value。可将 pessimistic policy 的置信集构造与大动作空间近似优化结合，测试不同悲观惩罚和候选动作采样策略对分布偏移下策略价值的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics