对齐天花板：基于人类反馈的强化学习中的目标错配
The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback
Nathan Lambert, Roberto Calandra
arXiv (Cornell University) · 2023-10-31
摘要
基于人类反馈的强化学习（RLHF）已成为一种强大技术，用于提升大语言模型在复杂场景中的能力。RLHF的流程包括收集人类偏好数据、基于该数据训练奖励模型，以及针对该奖励对基础机器学习模型进行优化，以适配外部评估指标（如MMLU、GSM8k）。RLHF依赖于诸多关于各组成部分如何协同作用的假设，例如奖励模型能够捕捉人类偏好，以及强化学习优化器能够从奖励模型中提取正确信号。由于RLHF过程涉及众多不同的设计决策，人们很容易假定多个流程存在相关性，进而在数值上相互关联。这种表面上的相关性往往并不成立：奖励模型极易被过度优化，或者强化学习优化器可能降低在数据未建模任务上的表现。通过不完善的RLHF系统训练的模型，其显著表现包括出于安全原因易拒绝基本请求，或在生成内容时显得“懒惰”。随着对话模型评估的精细度不断提升，对奖励模型训练、强化学习得分与下游性能之间所谓关联的依赖催生了上述问题，我们将此称为目标错配。本文阐释了该问题的成因，梳理了基于模型的强化学习相关文献，并提出解决方案。通过解决RLHF中的目标错配问题，未来的机器学习模型将在安全性和有用性方面更精准地与用户指令对齐。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将RLHF中的核心问题界定为“目标错配”（objective mismatch）：奖励模型训练、策略模型优化与下游评估工具在数值上被假定相关，但这种相关性并未被证明。作者指出，奖励模型容易被过度优化，RL优化器可能降低未建模任务上的表现，并表现为模型以安全为由拒绝基本请求、生成显得懒惰、冗长、犹疑或反复。论文把错配来源拆为三条链路：奖励模型训练与策略训练、奖励模型训练与评估工具、策略训练与评估工具，其中前两条更关键。该问题源自基于模型的强化学习（MBRL）中动力学模型准确性与任务奖励之间的错配，但在RLHF中因偏好数据分布封闭、开放式语言生成任务难以规定奖励而更复杂。论文还讨论DPO通过将奖励模型与策略 tied 起来缓解策略—奖励模型接口，但仍保留偏好数据选择与评估问题。
- 研究方法
- 论文采用立场论文（position paper）与文献综述相结合的方法，而非实验研究。作者从MBRL、RLHF、偏好学习与LLM评估文献中梳理目标错配的概念谱系，并用示意图把RLHF流程分解为奖励模型训练、策略优化和评估系统三个模块及其两两接口。方法上还将语言生成形式化为部分可观测马尔可夫决策过程（POMDP），在RLHF中因折扣因子设为1且每个提示只生成一个完整回答而视为contextual bandits，并给出奖励模型以chosen/rejected成对比较训练的损失形式。论文进一步以DPO为案例讨论算法类别变化对错配结构的影响。材料未报告实验设计、数据集规模、模型训练或统计检验。
- 学术贡献
- 论文在理论建构层面提出用“目标错配”统一解释RLHF中奖励模型过优化、策略退化与评估不完整之间的关系，并将MBRL中的错配问题迁移到LLM对齐语境。其贡献在于把RLHF失败表现从单个模块缺陷提升为三个子组件之间的接口问题，给出奖励模型训练↔策略训练、奖励模型训练↔评估工具、策略训练↔评估工具的分析框架。论文还连接NLP与RL文献，将奖励模型评估、偏好数据质量、DPO等议题纳入同一问题域，并提出奖励模型评估、训练方法、数据集与value-guided sampling等研究议程。该框架对RLHF实践中的奖励工程、过优化缓解和聊天模型评估子领域具有诊断价值。
- 存在局限
- 论文属于立场论文，未提供实验验证，材料中没有报告任何模型训练、对照实验、数据集统计或相关性测量，因此三条链路的重要性排序主要依赖概念论证。图示被作者明确标注为“illustration, not real data”，不能作为目标错配与下游评估脱节的实证证据。论文对奖励模型准确率60–75%等数值仅转引文献，未分析其任务、数据与模型条件，也未检验DPO是否在实践中缓解或转移错配。论证链条上，作者将拒绝请求、懒惰、冗长等表现归因于目标错配，但材料未给出这些行为与奖励模型分数、RL训练步数或评估指标之间的定量对应关系。
- 进一步研究方向
- 可操作路径之一是建立奖励模型评估套件，系统测量一致性、对抗攻击鲁棒性、跨分布校准及其与下游聊天评估（如MT-Bench、AlpacaEval、ChatBot Arena）的相关性。其二，在奖励模型训练中比较集成奖励模型、权重平均、概率损失、校准概率估计与IRL式奖励学习对过优化的缓解效果，并以固定评估 regime 隔离模块。其三，对Stanford Preferences Dataset、UltraFeedback、WebGPT、Summarization、Anthropic HHH等偏好数据做特性刻画，分析其成功与不足，再据此 curation 新数据集。其四，针对DPO类方法设计评估，检验其是否减轻策略—奖励模型接口错配，同时测量偏好数据选择与评估工具带来的残余错配。其五，研究推理期value-guided sampling与约束优化对奖励分数和下游指标相关性的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics