基于主动查询的人类反馈强化学习
Reinforcement Learning from Human Feedback with Active Queries
Kaixuan Ji, Jiafan He, Quanquan Gu
arXiv (Cornell University) · 2024-02-14
开放获取对齐与安全生成式与扩散大模型与语言影响因子 ≈0.2
摘要
将大型语言模型与人类偏好对齐在构建现代生成式模型中发挥着关键作用，这一目标可通过人类反馈强化学习来实现。尽管现有方法性能优异，但往往需要大量人工标注的偏好数据，而这类数据的收集成本较高。受主动学习成功实践的启发，本文针对这一问题提出了查询效率更高的强化学习方法。我们首先将对齐问题形式化为情境对决强盗问题，并设计出基于主动查询的近端策略优化算法，该算法具有$\tilde{O}(d^2/Δ)$的实例相关遗憾界以及$\tilde{O}(d^2/Δ^2)$的查询复杂度，其中$d$为特征空间的维度，$Δ$为所有情境下的次优差距。随后我们提出了ADPO，即基于直接偏好优化的该算法的实用版本，并将其应用于大型语言模型的微调。实验结果表明，ADPO仅需约一半的人类偏好查询量，便能达到最先进的直接偏好优化方法的性能水平。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 材料针对RLHF对齐大语言模型时人类偏好标注数据昂贵的问题，提出查询高效的RLHF方法，并把对齐问题形式化为contextual dueling bandit。理论算法APPO以主动查询为核心，结合正则化MLE、乐观奖励差估计与不确定性阈值来决定是否请求人类偏好，给出Õ(d²/Δ)的实例相关regret和Õ(d²/Δ²)的查询复杂度。作者强调该regret不依赖动作集大小A，并且只对实际选中的y1定义regret，以贴合RLHF中用户从候选回答里选择最偏好回答的场景。实践算法ADPO把APPO思路迁移到DPO：对高不确定性样本查询人类偏好，对低不确定性样本使用模型预测的伪标签以减少查询量。实验称在zephyr-7b-beta与Ultrafeedback-binarized、zephyr-7b-gemma与dpo-mix-7k上，ADPO用约一半查询达到与DPO相当或更好的MT-Bench和AlpacaEval 2.0表现。
- 研究方法
- 理论部分将RLHF建模为线性contextual dueling bandit，设定context分布、两动作duel、线性奖励r(x,y)=⟨θ*,φ(x,y)⟩、链接函数导数下界以及严格正的最小sub-optimality gap，并分别定义只针对y1的regret与查询复杂度。APPO每轮用正则化MLE估计参数，构造带UCB bonus的奖励差上界，按不确定性阈值Γ筛选是否查询，再用OPPO按πt+1(y|x)∝πt(y|x)exp(ηD̂t(y,x))更新策略。理论推导给出Theorem 5.1的regret与query complexity上界，并说明参数Γ、λ、η、β的设定及与AURORA实例相关界的比较。ADPO采用DPO的Bradley-Terry目标，定义置信度Cθt，按阈值决定查询人类标签或使用sign(rθt(x,y1)-rθt(x,y2))伪标签，并以批次数据更新模型。实证在zephyr-7b-beta和zephyr-7b-gemma上分别用Ultrafeedback-binarized与dpo-mix-7k微调，在MT-Bench与AlpacaEval 2.0评测；材料中未明确提及随机种子、显著性检验和更广任务集。
- 学术贡献
- 理论建构上，材料把主动学习式不确定性查询引入线性contextual dueling bandit的RLHF建模，给出实例相关regret与查询复杂度，并使regret不依赖动作集大小A。方法创新上，APPO把不确定性阈值查询与OPPO策略更新结合，ADPO则把该机制落到DPO，用伪标签替代部分人工偏好查询。领域拓展上，这些结果对RLHF的数据效率、contextual dueling bandits的查询复杂度以及DPO的主动学习变体有直接价值，材料称其查询复杂度相较AURORA改进A³因子。材料发掘层面主要是使用Ultrafeedback-binarized与dpo-mix-7k两个偏好数据集和MT-Bench、AlpacaEval 2.0两个评测基准。从学科归属看，这些贡献落在机器学习/RLHF与dueling bandits，材料中未明确提及艺术学理论、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈、戏曲与曲艺的具体议题。
- 存在局限
- 理论保证依赖线性奖励、已知特征映射、参数范数有界、链接函数导数下界和严格正的最小sub-optimality gap等假设，材料未说明这些假设在LLM神经网络微调中如何验证。算法需要预先知道Δ，Remark 5.2仅提出可用网格搜索设定，材料未给出网格搜索的敏感性或误差分析。regret只定义在选中的y1上，与Sekhari等的two-arm regret不同，材料也承认这一差异，跨工作比较需谨慎。ADPO的置信度估计与伪标签替代缺乏理论保证，材料只报告实验，未明确提及伪标签错误传播、阈值γ选择及查询预算与性能的消融。实验覆盖两个模型、两个数据集和两个benchmark，材料未明确提及多随机种子、显著性检验、更广泛任务与语言场景；也未涉及艺术学对象，材料中未明确提及艺术理论、设计、美术、戏剧影视、音乐舞蹈、戏曲曲艺等议题。
- 进一步研究方向
- 可将APPO的实例相关分析推广到非线性或神经网络奖励/策略，结合ADPO中的置信度Cθt做校准误差与查询效率的实证关联，并尝试给出带校准不确定性的regret与query bound。可对ADPO的伪标签机制做误差传播分析：在不同阈值γ和伪标签比例下测量偏好预测准确率、校准误差与MT-Bench/AlpacaEval 2.0表现，验证伪标签替代在何种查询预算下不损害对齐。可研究未知Δ的自适应估计以替代网格搜索，比较固定阈值与自适应阈值在查询复杂度和regret代理指标上的差异。可扩大实验到更多LLM规模、更多偏好数据集和多个随机种子，报告显著性检验与查询预算曲线，补齐材料未明确提及的部分。若面向艺术学领域应用，需要另行设计艺术领域的偏好标注任务与评价指标；材料中未明确提及该路径，不能由本文直接推出。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Advanced Bandit Algorithms Research