跳到主内容
人工智能

高效且稳健的人类反馈强化学习

Efficient and Robust Reinforcement Learning from Human Feedback

Huazheng Wang

Proceedings of the AAAI Conference on Artificial Intelligence · 2025-04-11

开放获取对齐与安全大模型与语言被引 1被引前 10%影响因子 ≈5.9

摘要

强化学习（RL）已成为序列决策领域的重要范式，在现实世界中有着广泛应用。然而，在推荐系统、搜索引擎以及大语言模型等实际场景中，强化学习算法必须能够从存在偏差且可能受损的人类反馈中高效学习。本次报告将介绍我们在开发稳健强化学习算法方面的最新成果，这些算法能够切实应对此类复杂场景。首先，我将介绍我们在排序任务中基于有偏点击反馈的强化学习研究。以往方法通常依赖对人类点击行为的强假设（即点击模型），且需针对不同模型采用专门的去偏方法，而我们提出了一种新颖的统一框架，将一般点击模型下的排序过程建模为马尔可夫决策过程，从而开发出不依赖于特定点击模型的强化学习算法。其次，我将阐述在有损反馈条件下多臂老虎机与强化学习所存在的根本性脆弱性。我们的理论分析完整界定了线性多臂老虎机与线性强化学习的易受攻击性条件，揭示了其内在的稳健性与局限性。最后，我将探讨我们在优化大语言模型强化学习微调方面的近期工作，包括样本效率更高的离线策略人类反馈强化学习，以及解决基于边界的对齐方法中的梯度纠缠问题。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于摘要生成
主要观点
该报告聚焦于从有偏且可能被污染的人类反馈中进行高效、稳健的强化学习，应用场景包括推荐系统、搜索引擎和LLM。在排序任务中，核心论点是可构建统一框架，将general click models下的排序过程建模为Markov Decision Process，从而摆脱对特定click model的强假设和专用去偏方法，得到click model-agnostic的RL算法。在bandit与RL的corrupted feedback场景中，核心论断是linear bandits与linear RL的可攻击性存在完整的必要性与充分性刻画，由此揭示其内在鲁棒性与局限。在LLM的RL finetuning中，报告主张通过sample efficient off-policy RLHF以及解决margin-based alignment方法中的gradient entanglement来改进RLHF。
研究方法
针对排序点击反馈，采用将general click models下ranking process形式化为Markov Decision Process的建模路径，并据此开发click model-agnostic RL算法。针对corrupted feedback，采用理论分析，对linear bandits和linear RL的attackability给出必要性/充分性刻画。针对LLM RL微调，提出sample efficient off-policy RLHF，并处理margin-based alignment methods的gradient entanglement issue。材料中未明确提及具体数据集、样本规模、实验设计、基线或统计检验。
学术贡献
方法创新层面，统一MDP框架与click model-agnostic RL算法面向排序、推荐或搜索中的有偏点击反馈去偏，减少了对特定click model和专用去偏方法的依赖。理论建构层面，对linear bandits和linear RL攻击性给出完整必要充分性刻画，贡献于corrupted feedback下的鲁棒性理论。领域拓展与方法创新层面，off-policy RLHF的样本效率改进与margin-based alignment的梯度纠缠解决面向LLM对齐微调。材料中未明确提及这些贡献在真实系统或大规模基准上的实证规模。
存在局限
摘要未交代统一MDP框架中状态、动作、奖励、转移的具体定义，也未说明click model-agnostic算法与既有专用去偏方法的对照实验。理论分析限定于linear bandits和linear RL，材料未说明该必要充分性刻画对非线性或深度模型的适用条件。LLM部分未给出off-policy RLHF的样本效率度量、gradient entanglement的定义与消解机制，也未报告评估指标。材料未提供数据集、样本规模、真实系统部署或用户研究信息，因此结论的外部效度无法从材料判断。
进一步研究方向
在真实推荐或搜索日志上，将general click models下的MDP形式化与click model-agnostic RL算法同不同点击模型假设进行交叉评估，验证去偏效果与累积收益。将linear bandits和linear RL的攻击性必要充分性分析扩展到带函数逼近或深度网络的bandit/RL，刻画攻击预算、反馈污染比例与鲁棒性边界。为off-policy RLHF构建样本效率基准，比较on-policy与off-policy估计在相同反馈污染下的策略优化差距，并验证样本效率声明。对margin-based alignment中的gradient entanglement做梯度分解与干预实验，检验其对LLM对齐性能、训练稳定性和收敛速度的影响。

本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Reinforcement Learning in Robotics