基于人类反馈的强化学习训练有益且无害的助手
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
Yuntao Bai, Jones, Andy, Kamal Ndousse, Amanda Askell, Chen, Anna, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas C. Joseph, Saurav Kadavath, Jackson Kernion, Tom Conerly, Sheer El-Showk, Nelson Elhage, Zac Hatfield-Dodds, Danny Hernandez, Tristan Hume, Johnston, Scott
arXiv (Cornell University) · 2022-04-12
摘要
我们运用偏好建模与基于人类反馈的强化学习技术对语言模型进行微调，使其能充当有益且无害的助手。研究发现，这种对齐训练能够提升模型在几乎所有自然语言处理任务中的表现，且与Python编程、文本摘要等专项技能的训练完全兼容。我们探索了一种迭代式在线训练模式：每周利用新收集的人类反馈数据更新偏好模型和强化学习策略，从而高效优化数据集与模型性能。此外，我们深入研究了基于人类反馈的强化学习训练的稳健性，发现强化学习的奖励值与策略模型与其初始模型之间的KL散度平方根呈近似线性关系。除主要研究成果外，我们还开展了校准、目标冲突及离群值检测等方面的辅助分析，将所开发的模型与人类作者创作的内容进行对比，并展示了使用近期相关研究中出现的提示词生成的模型输出样例。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 材料将偏好建模与基于人类反馈的强化学习（RLHF）用于微调语言模型，目标是使其成为既有帮助又无害（helpful and harmless, HH）的助手，并以自然语言对话中的开放式文本任务为具体对象。作者发现这种对齐训练在几乎所有NLP评测上提升表现，并且与Python编程、摘要等专门技能训练兼容。材料强调帮助性与无害性之间存在张力：只训练帮助性的RLHF模型更易被红队攻破，而混合两类偏好数据训练的偏好模型可以学会在适当时提供帮助、对有害请求作礼貌拒绝。规模增大后，偏好模型在两类分布上同时表现更好，并对帮助/无害训练数据的相对比例更鲁棒。RLHF训练中，RL奖励与策略相对初始策略的KL散度平方根呈近似线性关系；按周更新的迭代在线RLHF能改善模型与数据集。
- 研究方法
- 数据收集采用众包工作者与52B语言模型在对话界面交互，每轮展示两个候选回复，帮助性任务要求选择更helpful and honest的回复，无害性任务以红队方式要求选择更有害的回复；共收集三批数据，分别来自初始模型、对早期偏好模型的拒绝采样、以及在线RLHF周更新后重新部署的模型。研究分别训练帮助性与无害性偏好模型，并以偏好模型分数作为奖励进行RLHF（流程图中标为PPO）。评测涵盖MMLU、Lambada、HellaSwag、OpenBookQA、ARC、TriviaQA、Python HumanEval、TruthfulQA、BBQ-Lite、BIG-Bench HHH、Bot Adversarial Dialogues、性别偏见与种族/宗教情感等；还用Elo分数、众包偏好频率和与专业写作者对比。鲁棒性实验把静态数据50:50拆分，分别训练train PM与test PM，并用train PM训练RLHF策略、用test PM评估。另用OOD检测拒绝异常或有害请求，并测试HH与摘要、代码微调的混合训练。
- 学术贡献
- 材料发掘层面，作者收集了分离的帮助性与无害性（红队）对话偏好数据集，其中帮助性数据已公开，无害性数据计划未来公开，并包含初始、拒绝采样和在线RLHF三批数据。方法层面，提出并检验迭代在线RLHF，即按周更新偏好模型和RL策略并重新部署给众包工作者以获取新反馈；同时用train/test PM拆分评估RLHF鲁棒性，并报告RL奖励与sqrt(DKL)的近似线性关系。领域拓展层面，将HH对齐训练与摘要、Python代码等专门技能训练结合，论证对齐训练未必牺牲能力，这对RLHF对齐、偏好建模和语言模型安全评估子领域有直接价值。材料未涉及艺术学议题，因此对艺术理论、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈、戏曲与曲艺等艺术学子领域的具体价值在材料中未明确提及。
- 存在局限
- 无害性数据要求众包工作者选择更有害的回复，材料明确承认这种数据分布“not ideal for teaching good behavior”，并会给RLHF带来微妙问题。研究不定义也不规定helpful与harmless的含义，而让众包工作者自行解释，这使标注概念依赖个体直觉。诚实/真实性未被作为核心目标，材料称可能有比纯人类反馈更有效的方法。与专业写作者的对比是非对抗性评估，材料提醒不应将其视为真实任务表现的代表。鲁棒性实验显示，超过约150k训练样本后train PM与test PM出现分歧，过拟合随RLHF训练增加；小模型还出现严重对齐税。
- 进一步研究方向
- 可继续沿迭代在线RLHF路径，以周为周期更新偏好模型和RL策略，系统比较静态数据与在线数据对Elo分数、众包偏好频率和数据集上尾质量的影响。可围绕帮助性与无害性的张力，变化两数据集混合比例与模型规模，检验偏好模型和RL策略在两类分布上的表现是否随规模增大而同时改善。可进一步研究RL奖励与sqrt(DKL)近似线性关系的成因、适用边界及其在训练监控中的应用。可将OOD检测与RLHF策略端到端结合，测量对异常/有害请求的拒绝率与对正常帮助请求的误拒率。还可把HH偏好模型与摘要、Python代码等专门技能按不同比例混合训练，验证两侧性能是否均不退化；并开发非人类反馈技术来训练诚实/真实性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling