基于人类反馈的强化学习中的密集奖励机制
Dense Reward for Free in Reinforcement Learning from Human Feedback
Alex Chan, Hao Sun, Samuel Holt, Mihaela van der Schaar
arXiv (Cornell University) · 2024-02-01
开放获取对齐与安全大模型与语言被引 2影响因子 ≈0.2
摘要
基于人类反馈的强化学习（RLHF）被视为推动大语言模型（LLM）有效遵循指令并提供实用帮助的关键技术突破。传统流程中，模型会先针对输入查询生成文本补全结果，再借助独立的奖励模型为整个补全内容打分。由于大语言模型属于自回归过程，需要执行大量“动作”（即逐个选择词元），却仅在生成过程结束时才能获得单一且稀疏的奖励，这种设定在传统强化学习中难以优化。本研究利用奖励模型所包含的信息不仅限于其标量输出这一特点——具体而言，作为Transformer架构的一部分，奖励模型会计算词元上的注意力图。我们借助这些注意力权重将奖励重新分配到整个补全文本中，从而有效使奖励信号更密集，并突出最重要的词元，且这一过程无需额外计算开销或建立新模型。理论层面，我们证明该方法等同于基于势函数的奖励塑形，能够确保最优策略保持不变；实证结果表明，该方法可稳定训练过程、加快学习速率，在实际应用中还能引导模型收敛至更优的局部最优解。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对 RLHF 中语言模型作为自回归过程只获得完成级稀疏奖励、因而信用分配困难的问题，提出 Attention Based Credit（ABC）。其核心论点是奖励模型在 transformer 前向传播中产生的注意力图包含标量输出之外的信息，可用最后一层注意力权重将最终奖励重新分配到各 token。通过使每个动作获得即时奖励并让相关 token 获得更大份额，ABC 在不增加计算成本、不引入额外建模的情况下密集化奖励信号。理论命题表明该做法等价于 potential-based reward shaping，因此最优策略在原始奖励下保持不变。实验在正面评论生成、摘要和单轮对话三类任务上显示 ABC 能稳定训练、加速学习，并可能获得更好的局部最优。
- 研究方法
- 论文将语言建模形式化为有限状态 MDP：状态为长度 C 的上下文窗口，动作为下一 token，转移确定，吸收态结束，奖励模型 rϕ 仅在吸收态输出标量 rC。方法从奖励模型最后一层多头注意力中取注意力权重，对头取平均，并仅在 πθ 产生的 token 上重新归一化，构造 token 级奖励 α_I(s') × rC，再与原始 Rϕ 相加或按 β 进行凸组合。理论部分构造势函数 Φ(s)=rC ∑_{t=0}^{I(s)} α_t，在 γ=1 下证明其满足 potential-based reward shaping。实验基于 TRL 库并修改 PPOTrainer，使其接收 per-token reward 轨迹；任务包括 IMDb 正面生成（GPT2）、TL;DR 摘要（GPT-J 6B）和 Anthropic helpfulness and harmlessness 单轮对话（OpenLLaMA 3B 奖励模型、7B instruct，QLoRA）。论文报告平均奖励和 95% 置信区间，IMDb 任务运行十次；比较 ABC、RLHF 与 Uniform，其中 Uniform 基线的具体定义在提供的节选中未明确提及。
- 学术贡献
- 在方法创新层面，论文从奖励模型的注意力图中提取信用分配信号，把 completion 级稀疏奖励转化为 token 级密集奖励，且不增加计算或额外建模。在理论建构层面，论文证明 ABC 等价于 potential-based reward shaping，确保最优策略不变，回应了奖励塑形可能造成目标不匹配的风险。在领域价值层面，该工作直接针对 RLHF 的 credit assignment 与 reward sparsity 子议题，为 PPO 类偏好微调提供轻量插件。在实证层面，论文在正面生成、摘要和单轮对话三类任务上给出更快、更稳定训练以及更好局部最优的证据，并公开实现代码。论文还强调 ABC 对前两阶段训练、Bradley-Terry 偏好模型、数据格式和 PPO 算法保持不可知，便于嵌入既有 RLHF 流程。
- 存在局限
- 方法只使用奖励模型最后一层注意力并对多头取平均，材料自身也指出其他层、特定头或块是否专门化仍有待探索。理论最优策略不变性依赖 γ=1 与特定势函数构造，对折扣情形、不同吸收态设置或有限 horizon 的表现材料中未明确提及。实验范围有限，单轮对话被作者定位为 proof-of-concept，而非工业规模验证，且未覆盖多轮对话、安全性或无害性等更复杂偏好场景。实验比较中 Uniform 基线的定义与完整结果在提供的节选中未完整呈现，难以判断所有对比的公平性和统计细节。摘要称可能获得更好局部最优，但未从机制上证明 ABC 如何改变非凸优化轨迹；作者也说明并不期望最终性能大幅提升，主要收益集中在训练速度与稳定性。
- 进一步研究方向
- 可在 Anthropic helpfulness and harmlessness 的 harmless split 或多轮对话数据上，沿用 TRL/PPO 的 per-token reward 接口，比较 ABC、稀疏 RLHF、Uniform 与 DPO 等，检验安全性与有用性是否同步改善。可系统消融注意力来源，逐层、逐个头、不同聚合方式（平均、最大、学习门控）以及不同 β 值，验证哪些注意力信号最有助于信用分配和局部最优。可将 ABC 扩展到材料提到的机器人 RLHF 或其他序列决策域，在模拟机器人任务中检验 potential-based shaping 保证与稠密奖励收益。可研究 γ<1、不同 KL 惩罚系数 λ 和奖励归一化下的理论等价与经验表现，明确总奖励守恒与 β=1 时的适用条件。可记录策略优化轨迹中的梯度方差、优势估计和 token 级奖励分布，解释 ABC 带来训练加速与稳定性的具体来源。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics