基于人类反馈的强化学习
Reinforcement Learning from Human Feedback
Nathan Lambert
arXiv (Cornell University) · 2025-04-16
开放获取对齐与安全大模型与语言被引 5影响因子 ≈0.2
摘要
基于人类反馈的强化学习（RLHF）已成为大规模构建新一代机器学习系统的关键工具。该领域围绕RLHF的核心方法不断发展，最终形成了如今涵盖范围更广的训练后技术体系。本书面向具备一定数理基础的读者，以经典的RLHF流程为线索，全面介绍了模型训练后的核心方法。书中首先阐述了RLHF的功能与诞生缘由，梳理了其发展初期的重要技术里程碑，并简要介绍了理解全书内容所需的强化学习相关知识。本书的核心部分详细讲解了应用RLHF的各个优化阶段，从指令微调起步，到奖励模型的训练，再到拒绝采样、强化学习、同策略蒸馏以及直接对齐算法等环节。书中还探讨了更为宽泛的话题，包括RLHF的起源——既涉及近期文献中的相关论述，也涵盖了经济学、哲学与最优控制等不同科学领域的交汇影响。本书最后介绍了合成数据、工具使用、角色训练及评估等尚未得到充分研究或处于新兴阶段的研究课题，以及该领域尚待解决的开放性问题。本书配套了多种辅助资源，包括代码库、用于对比训练后各阶段模型输出结果的工具库以及配套课程，旨在为读者提供学习语言模型训练后相关基础概念的全方位资源。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该书把 RLHF 定位为把人类信息注入 AI 系统的技术，其出发点是一个规格难题：当个体偏好难以言说时，可否仅凭基本偏好信号引导优化过程。作者据此把经典流程拆为三步：先训练能遵循用户提问的语言模型，再采集人类偏好数据以训练奖励模型，最后用 RL 优化器在采样生成上依奖励模型打分做优化。全书以这一「canonical RLHF recipe」为主线，并把 RLHF 放入更宽的后训练谱系：指令/监督微调（IFT/SFT）主要习得语言「特征」，偏好微调（PreFT）处理风格与难以量化的细微人类偏好，可验证奖励强化学习（RLVR）则针对可验证领域，而 RLHF 居于并主导第二类。作者由此主张 RLHF 主要作用于风格、语气与格式（如把基座模型冗长的续写改写为简洁作答），并因在回复级而非逐词级优化、且向模型展示应避免的负反馈样本，其跨域泛化优于指令微调。书中还追溯 RLHF 的起源不仅见于近期文献，也来自经济学、哲学与最优控制等分散学科的汇聚。
- 研究方法
- 全书采用以经典配方为纲的技术综述与教科书式推导路径，按后训练各优化阶段逐章展开：指令微调、Bradley-Terry 奖励模型训练，以及拒绝采样、强化学习、on-policy 蒸馏与直接对齐算法（含 DPO 的完整推导）。在算法层面做并置比较，覆盖 REINFORCE、RLOO、PPO、GRPO、GSPO、CISPO，并对照结果奖励模型、过程奖励模型、价值函数与生成式奖励模型（LLM-as-a-judge）的推理差异。叙事以标杆配方作个案：InstructGPT 作为奠基性 RLHF 工具、Tülu 3 将 RLVR 引入指令模型、DeepSeek R1 把 RLVR 扩展到推理，以及向 MOPD 与智能体的过渡；历史部分按「起源至 2018」「2019—2022」「2023 至今（ChatGPT 时代）」分期，并以恒温器、CartPole 等简化例子建立直觉。可操作环节包括多章的实现示例、章末 Suggested Experiments，以及配套代码库、可在后训练各阶段比较模型补全的库与教育课程。材料中未明确提及作者自行开展的实验、样本规模或对照设置。
- 学术贡献
- 其贡献首先在材料发掘与知识组织层面：作者把通常封闭于大型技术公司内部的前沿研究整理为清晰议题与权衡，属于系统化梳理而非提出新理论。其次在领域定位层面，该书将 RLHF 明确安置于后训练三元结构（IFT/SFT—PreFT—RLVR）内，澄清 RLHF 是偏好微调的主干而非后训练的全部，对理解 ChatGPT 时期的高度关注与随后 RLVR 兴起的接续关系有直接价值。第三在概念溯源层面，把 RLHF 连接至经济学效用、哲学偏好与最优控制，为偏好建模议题给出跨学科的问题谱系。第四在方法层面，逐阶段给出优化目标推导（策略梯度、PPO 目标、DPO 推导、KL 正则）与算法对照，形成可复现的知识骨架。第五在基础设施层面，配套代码库、补全比较库与课程，为奖励模型与对齐算法的对比提供可操作入口。
- 存在局限
- 材料未显示作者开展了自建的对照实验或新数据集，各阶段的优劣判断建立在既有文献与公开配方之上，算法比较因此缺少同数据、同算力条件下的复现验证。目标读者被限定为具备一定量化背景者，而偏好数据采集中的标注界面、排名与评分之别、多轮数据、来源与合同、偏差等问题虽在偏好数据一章列出，材料未显示对其做过系统性的实证检验。全书以语言模型的经典配方为主线，材料中未明确提及其对非语言模型领域（如控制、机器人）RLHF 应用的覆盖程度。评测一章自陈许多外部评测对比不可靠，却又需借助公开评测结果讨论算法与模型差异，这一评判链条在书内存在张力。此外，该书为单作者撰写且领域迭代迅速，材料中未明确提及版本更新与内容时效性的处理机制。
- 进一步研究方向
- 材料已列出的开放议题——合成数据、工具使用、角色训练与评测——可直接转化为可操作路径。其一，围绕 persona vectors、assistant axis 与 persona subnetworks，做跨模型规模与跨训练阶段的对照实验，检验人格子网络是否稳定可分、角色训练与能力训练是否相互干扰。其二，将 rubric 形式的提示特定 AI 反馈与 Constitutional AI 同人类偏好数据做配比消融，量化 AI 反馈与人类反馈在奖励模型中的最优混合比例。其三，在同一偏好数据上对在线 RL、拒绝采样/Best-of-N 与 DPO 类离线直接对齐做控制变量比较，并扫描 KL 正则强度以定位过优化拐点。其四，以工具调用、多步工具推理与 Model Context Protocol 为对象设计智能体式评测，并配以评测一章所关注的污染检测与评测方差控制。其五，把各章末的 Suggested Experiments 系统化为共享基准，用以验证合成数据与 on-policy 蒸馏在遗忘与泛化上的差异。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics