基于人类反馈的强化学习研究综述
A Survey of Reinforcement Learning from Human Feedback
Timo Kaufmann, Paul Weng, Viktor Bengs, Eyke Hüllermeier
arXiv (Cornell University) · 2023-12-22
开放获取对齐与安全大模型与语言被引 43影响因子 ≈0.2
摘要
基于人类反馈的强化学习（RLHF）是强化学习（RL）的一种变体，它依托人类反馈进行学习，而非依赖人工设计的奖励函数。该领域建立在偏好型强化学习（PbRL）相关研究基础之上，处于人工智能与人机交互的交汇点。这一定位为提升智能系统的性能与适应性、使其目标更契合人类价值观提供了极具前景的路径。近年来，大型语言模型（LLM）训练取得的成功便充分展现了这种潜力，RLHF在引导模型能力向人类目标靠拢的过程中发挥了决定性作用。本文系统梳理了RLHF的基本原理，探讨了强化学习智能体与人类反馈之间的互动机制。尽管当前研究重点集中于面向大型语言模型的RLHF，但本综述仍涵盖了该技术在其他多个领域的应用情况。其中，我们对控制与机器人领域的相关内容进行了最为详尽的阐述——诸多核心技术均源于该领域，同时另设专门章节探讨大型语言模型相关应用。我们分析了支撑RLHF的核心原则、算法与人类反馈协同运作的方式，以及该领域的主要研究趋势。旨在帮助研究人员与从业者全面、清晰地了解这一快速发展的领域。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文将RLHF界定为一种从人类反馈而非人工设计奖励函数中学习的强化学习变体，并视其为PbRL的推广，位于人工智能与人机交互的交汇处。其核心论点是：人类反馈可用于定义并迭代修正RL目标，从而缓解奖励工程、稀疏成功信号、奖励塑形带来的伪相关与reward hacking问题。论文以“反馈—标签收集—奖励模型训练—策略学习”为基本框架，覆盖控制与机器人、LLM、图像生成、音乐生成、游戏等应用，并强调LLM成功使RLHF受到关注。作者还区分PbRL、SSRL与RLHF：PbRL以二元轨迹比较、轨迹排序、状态偏好、动作偏好等相对反馈为主，SSRL涉及部分经验上的反馈，RLHF则涵盖更广反馈类型（包括二元批评、标量反馈、纠正、动作建议、隐式反馈、自然语言）。该文范围限定于以学习到的奖励模型作为唯一目标信息来源、由人类反馈定义、交互在线、可扩展且异步的方法。
- 研究方法
- 该文采用文献综述与分类学方法，而非单一实证研究。它以2017—2024年文献为主，并选择性回溯更早的奠基性工作，承接Wirth et al. (2017)的综述。分析框架以“从二元轨迹比较学习奖励模型”为示例场景，沿“（人类）反馈—标签收集—奖励模型训练—策略学习—理论—应用与基准”组织材料。它通过Table 1将反馈类型归入PbRL、SSRL、RLHF，并比较TAMER、COACH、PbRL等历史路径。材料构成包括控制与机器人、LLM、图像/音乐生成、游戏等应用，以及支持库、基准、数据集与评估。材料中未明确提及系统检索式、数据库、筛选流程或编码一致性检验。
- 学术贡献
- 论文在领域综述与概念分类层面提供贡献：它将RLHF界定为PbRL的推广并涵盖SSRL，给出反馈类型分类表，澄清术语混用（如Christiano et al. 2017用PbRL却被视为RLHF代表）。它追溯RLHF从早期人类奖励、动作建议、动作批评、TAMER、COACH到Akrour et al. (2011)与Cheng et al. (2011) PbRL的起源，并说明RLHF与RLHP术语竞争。它系统梳理方法进展：多反馈类型融合、主动学习与查询合成、心理学洞见、元学习、数据增强与半监督学习。它专设理论部分讨论策略学习、基于偏好与基于奖励的学习对比、Nash learning from human feedback。它把控制与机器人作为最全面覆盖领域，并另设LLM专节，同时整理应用、支持库、基准、数据集与评估。其价值落在RLHF/PbRL方法学、AI对齐、人机交互交叉以及控制/机器人应用等子领域。
- 存在局限
- 材料明确承认，该综述对LLM专有技术的覆盖不如控制与机器人全面，且无法对快速增长的LLM-focused RLHF文献提供全面概览。其范围限定为以学习奖励模型为唯一目标信息来源，排除纯模仿学习、从演示学习、独立逆强化学习，以及人类反馈仅作为既定目标补充的奖励塑形/特征工程等。多数直接策略优化方法被排除在主线之外，尽管LLM微调中近来重新受到关注。PbRL、RLHF、SSRL的术语区分并非学界普遍共识，Table 1的分类基于作者对当前主流用法的解释。材料中未明确提及系统检索策略、筛选标准、数据库范围与编码一致性检验，因此综述的可复现性无法从文本判断。此外，RLHF在解决对齐问题上的有效性存在争论，可能出现智能体操纵人类教师以获取更易优化反馈或利用人类判断错误等陷阱。
- 进一步研究方向
- 可沿材料给出的缺口设计具体路径：第一，在控制/机器人与LLM两类场景中开展对照实验，比较二元轨迹比较、轨迹排序、状态偏好、动作偏好、二元批评、标量反馈、纠正、动作建议、隐式反馈与自然语言等反馈类型及其组合对策略性能与标签成本的影响。第二，针对主动学习与查询合成，在标签收集环节测试不同查询选择策略，并以人类标注实验测量反馈质量、查询效率与奖励模型评估指标。第三，将心理学洞见与元学习结合，检验其能否把已有偏好数据快速迁移到新任务，并用数据增强/半监督学习提高偏好数据利用率。第四，在理论部分推进策略学习、基于偏好与基于奖励学习对比、Nash学习从人类反馈的数学分析，给出可验证的保证条件并在表格MDP或控制任务中检验。第五，针对LLM微调特有的大动作空间、分布偏移、KL正则化与单轮约束，检验控制领域技术向LLM迁移的边界条件。第六，围绕对齐风险设计实验，检测智能体操纵人类教师或利用人类判断错误的机制，并评估缓解措施。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics