RLAIF与RLHF：利用人工智能反馈扩展基于人类反馈的强化学习
RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
Lee, Harrison, Samrat Phatale, Mansoor, Hassan, Mesnard, Thomas, Ferret, Johan, Kellie Lu, Colton Bishop, Hall, Ethan, Victor Cărbune, Abhinav Rastogi, Prakash, Sushant
arXiv (Cornell University) · 2023-09-01
摘要
基于人类反馈的强化学习（RLHF）在使大型语言模型（LLMs）契合人类偏好方面已被证明行之有效，但获取高质量的偏好标签成本较高。白翔宇（Bai et al.）提出的基于人工智能反馈的强化学习（RLAIF）提供了一种颇具前景的替代方案，即利用现成的大型语言模型生成的偏好数据来训练奖励模型（RM）。我们在摘要生成、有益对话生成以及无害对话生成等任务中证实，RLAIF的性能可与RLHF相媲美。此外，我们朝着“自我优化”方向迈出了重要一步：实验表明，即便用于标注的人工智能模型与策略模型规模相当，甚至与初始策略模型的检查点完全一致，RLAIF的表现仍能优于基于监督微调的基准模型。最后，我们提出了直接RLAIF（d-RLAIF）技术——该技术无需训练奖励模型，而是在强化学习过程中直接借助现成的大型语言模型获取奖励，其性能优于传统的RLAIF。研究结果表明，RLAIF能够达到与使用人类反馈相近的性能水平，有望解决RLHF在扩展性方面的局限。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文的核心是比较 RLAIF 与 RLHF 在摘要、有帮助对话和无害对话三项任务中的对齐效果，论证用 AI 反馈替代人类偏好标签的可行性。摘要任务中 RLAIF 与 RLHF 相对 SFT 的胜率分别为 71% 与 73%，有帮助对话中为 63% 与 64%，二者差异不显著；RLAIF 与 RLHF 头对头胜率为 50% 与 52%，说明二者被人类评估者同等偏好。无害对话中 RLAIF 的无害率为 88%，高于 RLHF 的 76% 和 SFT 的 64%。论文进一步提出同尺寸 RLAIF 与 direct-RLAIF：前者在标签器与策略同尺寸时仍使人类偏好其超过 SFT 68% 的胜率，后者绕过奖励模型训练，由 off-the-shelf LLM 在 RL 中直接给奖励，在摘要和帮助性任务上分别取得 74% 和 66% 的胜率。作者据此认为 RLAIF 可达到与人类反馈相当的性能，并缓解 RLHF 在高质量偏好标签获取上的可扩展性限制。
- 研究方法
- 研究覆盖三类任务：Reddit TL;DR 与 OpenAI Human Preferences 的摘要任务、Anthropic Helpful and Harmless Human Preferences 的有帮助和无害对话任务；训练偏好数据被随机下采样，摘要、有帮助、无害分别采样 15%、10%、10%，过滤后每任务保留 3-4k 示例。AI 偏好标注使用 PaLM 2 系列 instruction-tuned 模型，通过 preamble、few-shot exemplars、待标注样本和 ending 组成 prompt，提取 “1” 与 “2” token 的 log-probability 并 softmax 得到偏好分布；为缓解位置偏差，反转候选顺序两次推理并平均。奖励模型用 LLM 偏好标签训练，soft label 以交叉熵损失拟合，作者将其视为模型蒸馏。RL 阶段使用适配语言建模的修改版 REINFORCE，策略和价值模型均从 SFT 模型初始化。d-RLAIF 则让 LLM 对生成响应打 1-10 分，将各分数 token 似然归一化后加权为分数并归一化到 [-1,1]，直接作为 RL 奖励。评估采用 AI Labeler Alignment、Win Rate 和 Harmless Rate，人类评估在测试集上对多策略响应无并列排序或独立判断无害性。
- 学术贡献
- 在实证层面，该文直接比较 RLAIF 与 RLHF 在摘要、有帮助对话、无害对话上的效果，补上 Bai et al. 未直接回答人类反馈与 AI 反馈孰优孰劣的问题。它提出并验证 same-size RLAIF，证明 AI 标签器与策略同尺寸甚至同 checkpoint 时仍能改进 SFT 基线，推进 LLM 自改进议题。它提出 d-RLAIF，用 off-the-shelf LLM 在 RL 中直接提供奖励，绕开奖励模型训练与 staleness 问题，并在摘要和帮助性任务上优于 canonical RLAIF。论文还系统考察 preamble 具体程度、CoT 推理与 few-shot 示例对 AI 偏好和人类偏好对齐的影响，给出 CoT 通常提升对齐、few-shot 只在无害对话中稳定提升等经验结论。成本分析估算 LLM 标注比人类标注便宜 10 倍以上，为 RLHF 的可扩展性替代方案提供论据。
- 存在局限
- 训练偏好数据被下采样至每任务 3-4k 示例，摘要任务还只保留高置信样本，样本规模与筛选方式可能限制结论对完整数据分布和低置信边界的推广。模型与任务范围限于 PaLM 2 系列及摘要、有帮助、无害对话，材料未明确提及对其他 LLM 家族、更多语言或更广任务类型的泛化验证。d-RLAIF 仅在摘要与有帮助对话上实验，未报告无害对话结果；same-size RLAIF 在摘要任务不是严格自改进，因为标签器是 instruction-tuned PaLM 2 XS，而初始策略是摘要微调版。组合人类与 AI 反馈未超过仅用人类反馈，作者承认替代训练设置可能显示价值但未展开，该负面结果削弱了混合反馈路径的可行性论证。RLAIF 与 RLHF 策略倾向生成更长响应，可能引入人类评估的长度偏差；虽然做了事后长度控制，但评估仍受呈现顺序、无并列排序和标注者主观判断影响。
- 进一步研究方向
- 后续可在完整训练集、不同 LLM 家族与不同参数规模上重复 RLAIF、RLHF、same-size RLAIF 与 d-RLAIF，检验 AI 标签器规模与策略规模之间的 scaling 关系是否稳定。可针对混合人类与 AI 反馈设计替代训练流程，例如按任务或样本难度混合标签、周期性重训奖励模型，并在相同数据预算下比较 human-only、AI-only、hybrid 的 Win Rate 与 Harmless Rate。可将 d-RLAIF 扩展到无害对话及其他序列级目标，并与 iterative RLAIF 对比奖励模型 staleness、计算成本和最终策略质量。可对提示技术做更系统消融，检验 CoT 与 Base/Detailed preamble 的交互、few-shot exemplar 选择与数量、位置偏差校正在不同标签器尺寸和任务复杂度下的效果。人类评估可改为控制长度、并列选项和呈现顺序的盲评，并报告标注者间一致性；材料未明确提及一致性检验，可作为后续验证环节。成本估算也可细粒度核算 AI 标注、RM 训练、d-RLAIF 推理与人类标注的总开销。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics