基于好奇心驱动的人类反馈强化学习
Curiosity-Driven Reinforcement Learning from Human Feedback
Haoran Sun, Yekun Chai, Shuohuan Wang, Yu Sun, Hua Ren Wu, Haifeng Wang
Annual Meeting of the Association for Computational Linguistics (ACL) · 2025-01-01
开放获取对齐与安全大模型与语言被引 5被引前 10%影响因子 ≈3.6
摘要
基于人类反馈的强化学习在使大型语言模型契合人类偏好方面成效显著，但往往以牺牲输出多样性为代价。多样性与对齐质量之间的这种权衡仍是一个重大难题。受强化学习中基于好奇心的探索机制启发，我们提出了基于好奇心驱动的RLHF框架，该框架在传统稀疏的外部奖励基础上，加入了针对新颖状态的内在奖励，从而同时优化输出多样性与对齐质量。我们在文本摘要、指令遵循等一系列任务中开展了大量实验，验证了该框架的有效性。我们的方法在多项衡量多样性的指标上均取得显著提升，同时其与人类偏好的对齐程度可与标准RLHF相媲美。相关代码已开源，网址为https://github.com/ernie-research/CD-RLHF。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对RLHF在提升大语言模型人类偏好对齐时导致输出多样性下降的权衡，提出好奇心驱动RLHF（CD-RLHF）。其核心论点是，将好奇心驱动探索中的新颖状态内在奖励与传统稀疏外在奖励结合，可在RLHF阶段同时优化输出多样性与对齐质量。内在奖励由内在好奇心模块（ICM）以前向动力学预测误差估计，并在所选token不属于Top-k候选时触发；外在奖励由奖励模型生成，并受KL惩罚约束。在TL;DR文本摘要与UltraFeedback指令跟随任务上，CD-RLHF在多种词汇和语义多样性指标上超过标准RLHF，RM分数保持可比，并在MT-Bench上取得更高GPT-4评分与更多样输出。
- 研究方法
- 方法路径是在DeepSpeed-Chat框架中实现CD-RLHF，于RLHF的PPO阶段加入ICM；ICM由两层MLP特征编码器与前向模型组成，在参考模型最后隐藏层状态和actor模型动作嵌入构成的潜空间中预测下一状态，以平方误差LICM为自监督目标，并将预测误差作为内在奖励。奖励设计为外在奖励r(e)=R−βDKL，总奖励rt=r(e)+η·r(i)，仅当动作不在Top-k(π)时给内在奖励，实验采用top-1，并对内在奖励做whitening和特征空间对齐。数据与模型包括TL;DR的93k人类标注偏好对、86k评估对，UltraFeedback的61.1k训练对、2k评估对，按SFT/RM/PPO为20%/40%/40%划分，使用Gemma-2B、Gemma-7B、Llama-3.2-1B、Llama-3.2-3B。评估采用RM scores、N-gram distinct、EAD、SelfBLEU、Sentence-BERT、GPT-4 win-rate和人类win-rate；自动化指标从验证/测试集随机采样2k实例，每指令生成10个温度1.0的completion，GPT-4评估用50实例，人类评估用25实例且每指令5个completion；对比基线为vanilla RLHF和重新实现的Sent-Rewards，消融在Gemma-2B上考察KL系数β=0.05/0.075与采样温度τ=0.8/1.0。
- 学术贡献
- 方法创新上，论文提出CD-RLHF框架，将对齐阶段的稀疏外在奖励与好奇心内在奖励结合，并把ICM、Top-k选择性探索、奖励白化和特征空间对齐组合进RLHF的PPO流程。实证层面，论文在词汇与语义多个多样性指标上显示提升，同时RM分数与标准RLHF可比，并在MT-Bench这一分布外基准上取得更高GPT-4评分和更丰富输出。领域价值上，该工作为LLM对齐中的多样性—对齐权衡提供具体算法路径，对材料引言提及的故事生成、数据合成、红队等开放式任务具有针对性。论文还公开代码，给出可复现实验设置与多模型、多数据集结果。
- 存在局限
- 人类评估仅25个实例、每指令5个completion，GPT-4评估仅50个实例，尽管自动化多样性指标使用2k实例×10个completion，但主观赢率样本规模有限，材料中未明确提及统计显著性检验，结论稳健性受此约束。对齐质量主要使用与PPO训练相同的奖励模型所给RM score衡量，而GPT-4与人类win-rate在图3中用于评估多样性，材料未给出独立于训练奖励模型的对齐质量外部评估，使对齐质量结论的外部效度链条不完整。任务范围限于TL;DR摘要与UltraFeedback指令跟随，模型限于Gemma-2B/7B、Llama-3.2-1B/3B，材料引言提到的故事生成、数据合成、红队等开放式任务未直接实验。消融主要在Gemma-2B上完成，Top-k策略实验采用top-1，未报告不同k值或内在奖励频率的系统比较；ICM将离散状态与动作映射到连续潜空间，预测误差作为好奇心信号可能受特征对齐和两层MLP容量影响，材料未给出该模块不同设计的对照。
- 进一步研究方向
- 在Gemma-7B、Llama-3.2-1B和Llama-3.2-3B上重复KL系数β、采样温度τ、内在奖励尺度η与Top-k中k值的联合消融，报告内在奖励触发频率与多样性、对齐指标的因果曲线，以检验超参数普适性。将评估扩展为更大人类样本和独立质量评估：从2k子集分层抽样，增加每指令completion数量，并使用与训练RM分离的对齐质量评估者，检验RM分数与外部判断的一致性。在材料提及的故事生成、数据合成、红队任务上部署CD-RLHF，测量任务特定覆盖率、输出分布熵与人类偏好，检验跨任务泛化。比较不同好奇心估计路径，如逆向动力学、不同特征编码器或纯好奇心驱动，与当前前向动力学ICM对照，分离内在奖励对多样性的贡献。研究随训练进程动态调整η或Top-k的调度策略，观察其是否能进一步缓解多样性—对齐权衡，并在MT-Bench之外增加更多分布外基准以验证泛化。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics