基于好奇心驱动的人类反馈强化学习
Curiosity-Driven Reinforcement Learning from Human Feedback
Haoran Sun, Yekun Chai, Shuohuan Wang, Yu Ming Sun, Hua Wu, Wang, Haifeng
arXiv (Cornell University) · 2025-01-20
开放获取对齐与安全大模型与语言被引 1影响因子 ≈0.2
摘要
基于人类反馈的强化学习在使大型语言模型契合人类偏好方面成效显著，但往往以牺牲输出多样性为代价。多样性与对齐质量之间的这种权衡仍是一个重大难题。受强化学习中基于好奇心的探索机制启发，我们提出了基于好奇心驱动的RLHF框架，该框架在传统的稀疏外部奖励基础上加入了针对新颖状态的内在奖励，旨在同时优化输出多样性与对齐质量。我们在文本摘要、指令遵循等一系列任务中开展了大量实验，验证了该框架的有效性。我们的方法在多项衡量多样性的指标上均取得了显著提升，同时其与人类偏好的对齐程度可与标准RLHF相媲美。相关代码已开源，网址为https://github.com/ernie-research/CD-RLHF。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对RLHF在提升LLM与人类偏好对齐时导致输出多样性下降的权衡，提出CD-RLHF框架：在传统稀疏外部奖励之外，引入基于新颖状态的内在好奇心奖励，以同时优化对齐质量与输出多样性。其核心机制是用内在好奇心模块（ICM）通过前向动力学预测误差估计状态的新颖性，并将其作为token级或轨迹级内在奖励，与奖励模型产生的外部奖励及KL惩罚组合。该框架只在所选token不位于策略分布Top-k时施加内在奖励，以鼓励同一状态下探索不同token，从而缓解生成单一化（generative monoculture）。作者在文本摘要（TL;DR）和指令遵循（UltraFeedback）任务上论证，CD-RLHF在词法与语义多样性指标上优于PPO基线，同时RM分数与标准RLHF相当。材料还声称在MT-Bench上取得更高的GPT-4评分与更多样输出。
- 研究方法
- 方法上以DeepSpeed-Chat实现，将数据集按SFT/RM/PPO=20%/40%/40%划分，使用Gemma-2B、Gemma-7B、Llama-3.2-1B、Llama-3.2-3B为基座模型，在TL;DR（93k偏好对、86k评估对）与UltraFeedback二值化版本（61.1k训练、2k评估）上训练PPO。CD-RLHF在PPO阶段加入ICM：特征编码器φ与前向模型f均为两层MLP，以参考模型末层隐状态表示状态、以策略模型嵌入表示动作，用预测下一状态表示的平方误差训练LICM并产生内在奖励。奖励计算为rt=r(e)+η·r(i)，其中r(e)包含奖励模型输出R与KL惩罚βDKL，内在奖励在token属于Top-k时置零，训练中使用top-1，并施加reward whitening与特征空间对齐。评估包含RM分数、N-gram Distinct、EAD、SelfBLEU、Sentence-BERT，以及GPT-4 win-rate和人类win-rate；从验证/测试集随机抽2k实例、每指令生成10个补全（温度1.0）计算多样性，GPT-4评估抽50实例、人工评估抽25实例且每指令5个补全。消融在Gemma-2B上进行，考察KL系数β=0.05与0.075、采样温度τ=0.8与1.0，以及内在奖励频率变化。
- 学术贡献
- 在理论/方法层面，论文将好奇心驱动的内在奖励机制引入RLHF，提出CD-RLHF并给出ICM、Top-k探索门控、奖励白化与特征空间对齐的具体实现，直接针对对齐—多样性权衡这一RLHF子议题。在实验层面，论文在四个模型与两个任务上报告词法多样性（N-gram Distinct、EAD、SelfBLEU）和语义多样性（SentBERT）相对PPO基线的提升，并显示RM分数可比，部分设置（如Llama-3.2-3B）RM分数还提升。它还以GPT-4与人工win-rate评估输出多样性，并提供开源代码，贡献了可复现的实验流程与多样性评测组合。材料称CD-RLHF在分布外MT-Bench上取得更高GPT-4分数与更大多样性，扩展了好奇心驱动RL在LLM对齐中的应用范围。
- 存在局限
- 实验中的GPT-4 win-rate仅基于50个实例、人工win-rate仅基于25个实例且每指令5个补全，样本规模小，且报告的人类win-rate存在较高平局比例（如TL;DR部分模型平局36%—40%），对多样性优势的统计稳健性支撑有限。对齐质量主要用与PPO训练相同的奖励模型（RM score）评估，而GPT-4与人工评估被用于判断多样性，材料未报告人工或GPT-4对对齐/安全质量的独立评估，因此“对齐质量相当”的证据链仍依赖同一奖励模型。消融只在Gemma-2B上进行，KL系数、采样温度与内在奖励频率的结论未在Gemma-7B、Llama-3.2-1B、Llama-3.2-3B上重复验证。方法用top-1判定是否施加内在奖励，材料结尾也提出该Top-k子集是否充分的问题，但未给出不同k值的系统对比。任务仅覆盖TL;DR摘要与UltraFeedback指令遵循，未检验引言中提到的故事生成、数据合成、红队测试等开放式任务，动机与实验范围之间存在缺口。
- 进一步研究方向
- 可把CD-RLHF迁移到引言列举的开放式任务（故事生成、数据合成、红队测试），沿用N-gram Distinct、EAD、SelfBLEU、SentBERT与GPT-4/人工win-rate，并增加对齐质量的人工评估，检验多样性增益是否在这些任务中保持且不损害安全性。应系统扫描Top-k中的k值（至少包括top-1、top-3、top-5及全词表）与内在奖励施加频率，在Gemma-2B、Gemma-7B、Llama-3.2-1B、Llama-3.2-3B上重复消融，直接回答材料末提出的“子集是否充分”问题。可比较前向动力学与逆动力学、不同隐状态层、不同ψ(at)动作表示以及reward whitening与不whitening对ICM预测误差和最终多样性/对齐的影响。将GPT-4与人工评估的样本从50/25实例扩大，并报告置信区间或显著性检验；同时补充MT-Bench等分布外基准的详细分数与多样性统计，以验证泛化主张。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics