安全RLHF：基于人类反馈的安全强化学习

摘要

主要观点

论文针对大语言模型训练中 helpfulness 与 harmlessness 之间的内在张力，提出 Safe RLHF 算法，目标是在提升模型性能的同时降低有害回应。其核心主张是显式解耦人类对 helpfulness 和 harmlessness 的偏好，分别训练 Reward Model 与 Cost Model，从而避免标注者因两种目标冲突产生混淆。论文把 LLM 安全问题形式化为在满足指定 cost 约束下最大化 reward 函数的优化任务，并借助 Lagrangian 方法在微调过程中动态调整两目标平衡。以 Alpaca-7B 为初始 SFT 模型进行三轮 Safe RLHF 微调，实验声称相比已有价值对齐算法更能减少有害回应并提升模型性能，且人类评估显示 helpfulness 与 harmlessness 显著改善。研究问题域覆盖 LLM 价值对齐、安全 RLHF、偏好标注与约束策略优化。

研究方法

采用两阶段人工标注：先由 crowdworkers 依据 14 类潜在危害给每个问答对打安全 meta-label，安全仅当 14 类均无风险；再对同一 prompt 的两个 response 独立排序 harmlessness 和 helpfulness。由此构建 helpfulness 数据集 DR 与 harmlessness 数据集 DC，DC 还包含 harmfulness sign 二值标签；每 prompt 生成 k=3~6 个响应，形成 Ck2 个偏好对。分别训练 Reward Model 和 Cost Model；Cost Model 在 Bradley-Terry pairwise loss 上加入分类项，利用虚拟响应 y0 和 harmfulness sign 使 Cψ(y,x)=0 成为安全与不安全分界。RL 阶段将目标写为 max E[R] s.t. C≤0，再转成期望约束 JC= E[C]+d，使用 Lagrangian 对偶 minθ maxλ [-JR+λJC] 交替更新 LLM 参数 θ 与乘子 λ。实验以 Alpaca-7B（LLaMA-7B 经 Alpaca 52K 指令数据微调）为起点，进行三轮迭代，每轮含 red teaming（第一轮除外）、生成与标注偏好数据、训练 RM/CM、Safe RL 微调；prompt 包括 safety-unrelated、solved/unsolved safety-related 和 red-teaming 类型。评估使用自建评估 prompt 数据集、统一 Reward/Cost Model、Elo 分数（人类与 GPT-4 评估）。

学术贡献

理论建构上，论文将 Safe RL 与 RLHF 整合，提出 Safe RLHF 框架，把 LLM 安全对齐表述为带 cost 约束的 reward 最大化问题。方法创新上，提出 helpfulness 与 harmlessness 偏好解耦的二维标注与双偏好模型训练，避免单一偏好维度下两目标冲突造成的标注混淆。Cost Model 设计上，将 harmfulness sign 与 Bradley-Terry pairwise loss 结合，并引入虚拟响应 y0 形成安全与不安全分界，使 cost 模型具备分类能力以动态调整冲突目标。材料与领域拓展上，论文公开三轮 Safe RLHF 微调的数据和训练代码，针对 LLM 价值对齐、安全微调与 RLHF 子领域提供可复现资源。实验层面，在 Alpaca-7B 上经三轮 Safe RLHF 得到 Beaver-v1/v2/v3，展示同时降低 cost 和提升 reward 的能力，并声称优于静态多目标平衡的 Reward Shaping。

存在局限

方法设计上，安全约束被转化为期望形式 JC= E[C]+d，材料中未明确提及超参数 d 的取值、敏感性或逐样本 Cψ(y,x)≤0 的保证，因此期望约束可能无法排除个别有害响应。Cost Model 依赖 14 类安全 meta-label 与二元 harmfulness sign，材料未讨论伤害严重程度、跨类别叠加、边界样本和标注噪声对 cost 排序的影响。样本代表性上，初始模型仅为 Alpaca-7B（LLaMA-7B + 52K Alpaca 指令数据），偏好数据来自特定 crowdworkers 与研究者 red-teaming，材料未说明标注者人口统计、语言与文化背景，跨模型、跨语言、跨文化泛化未验证。论证链条上，评估使用自建评估集、统一 Reward/Cost Model 以及人类和 GPT-4 的 Elo 比较，但材料未给出评估者间一致性、样本量、统计显著性，也未完整列出与所有 value-aligned 算法的对比结果。表 1 显示安全分类准确率从 Beaver-v1 的 95.62% 降至 Beaver-v2/v3 的 84.54%/85.88%，统一 Cost Model 排序准确率为 70.44%，材料未解释该波动是否影响约束满足与结论稳健性。实验仅报告三轮迭代，材料中未明确提及 λ 的收敛性、训练稳定性、算力与标注成本，也未开展长期在线部署测试。

进一步研究方向

在多种基座模型和参数规模上复现三轮 Safe RLHF，比较 reward-cost 分布位移、Elo 与有害响应率，检验结论是否只适用于 Alpaca-7B。对 d、初始 λ、λ 更新步长做系统消融与敏感性分析，记录 JR、JC、有害响应概率和 helpfulness 与 harmlessness Elo，检验期望约束与逐样本约束之间的差距。将 Cost Model 的二元 harmfulness sign 扩展为多级严重度或多标签 14 类输出，比较二元分类项与有序回归或多标签损失对 cost 分布和安全分类准确率的影响。招募不同语言和文化背景标注者，测量 helpfulness 与 harmlessness 标注者间一致性，并比较人类 Elo 与 GPT-4 Elo 的系统偏差，构建含跨类别、边界和对抗提示的评估集。在持续 red-teaming 和在线交互中迭代 Safe RLHF，监控 λ、cost 约束漂移与拒绝回答率，验证是否会因过度优化 harmlessness 而损害 helpfulness。在统一实验协议下将 Safe RLHF 与更多 value-aligned 算法对比，报告统计显著性与复现结果，材料中可优先纳入 Reward Shaping 作为对照。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• RLAIF与RLHF：利用人工智能反馈扩展基于人类反馈的强化学习

  2023 · 被引 87

• 基于人类反馈的强化学习训练有益且无害的助手

  2022 · 被引 417

• SafeDreamer：基于世界模型的安全强化学习算法

  2023 ·

• 基于人类反馈的强化学习研究综述

  2023 · 被引 43

• 基于人类反馈的强化学习中的双重主动学习

  2024 · 被引 1

• 基于参数高效的人类反馈强化学习

  2024 · 被引 1