基于策略可信的人类反馈强化学习
Strategyproof Reinforcement Learning from Human Feedback
Thomas Kleine Buening, Jiarui Gan, Debmalya Mandal, Marta Kwiatkowska
neural information processing systems · 2025-01-01
开放获取对齐与安全被引 1被引前 10%影响因子 ≈3.8
摘要
本研究探讨了在多个标注者可能出于自身利益而故意虚报反馈信息，从而引导学习到的策略偏离社会最优方向的情形下的基于人类反馈的强化学习（RLHF）问题。研究指出，包括近期提出的多元偏好处理方法在内的现有RLHF算法均不具备策略可信性，即便仅有一个具有策略性行为的标注者，也可能导致策略与社会福利目标产生极大的偏差。此外，研究证明在最坏情况下，任何具备策略可信性的RLHF算法的性能都会比最优策略差倍，其中代表标注者的数量。这一结果揭示了激励对齐（确保标注者如实报告）与策略对齐（最大化社会福利）之间的根本性权衡。为解决这一问题，本研究提出了悲观中位数最大似然估计算法，在合理的策略覆盖假设下，该算法近似具备策略可信性，且随着标注者数量和样本量的增加，其性能可趋近最优策略。研究结果在上下文多臂老虎机和马尔可夫决策过程两类场景中均成立。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文研究的是存在多个可能策略性误报反馈的标注者情形下的RLHF：每个标注者拥有各自的线性奖励函数，并可通过按被操纵的奖励参数采样偏好标签，去引导最终策略向自身效用靠拢，而算法无法判别标签是否真实。作者首先指出既有RLHF方法（如Zhong等的Pessimistic Social Welfare与Chakraborty等的MaxMin-RLHF）不满足策略防伪（strategyproof），并证明在样本充分大时仅一个策略性标注者即可把Pessimistic Social Welfare的社会福利压到任意低（W(π̂)≤ε，而最优至少为BL−2ε）。更根本地，论文证明任何策略防伪的RLHF算法在最坏情形下期望次优性至少为(k−1)/k、乘性近似比至多1/k，即激励对齐与策略对齐之间存在根本张力；作者据此提出Pessimistic Median of MLEs，在适当策略覆盖假设下对标注者i满足Õ(κ_i√(d/n))-策略防伪，且其策略次优性随标注者数k与样本数n增加而收敛，结论同时覆盖contextual bandit与MDP。
- 研究方法
- 方法路径为形式化建模加机制设计与统计学习的组合：将问题表述为无奖励MDP及其H=1的contextual bandit特例，奖励取线性可实现形式r_θ(s,a)=⟨θ,φ(s,a)⟩，学习目标为k个标注者效用的等权平均社会福利，偏好生成用Bradley-Terry模型刻画。策略性被定义为标注者按偏离真值θ*_i的˜θ_i对偏好分布采样，据此给出dominant-strategy incentive compatibility式的strategyproofness与ε-strategyproofness定义。不可能性结果通过把RLHF实例映射为投票问题、令算法输出对应决策规则并援引Gibbard-Satterthwaite定理得到（Theorem 3.5、Corollary 3.6）。算法设计上，对每个标注者数据求MLE并构造置信椭球C_i，取置信集的坐标逐维中位数集C，再对最坏情形中位数回报做悲观优化；策略防伪界与次优性界由集中不等式推出，其中κ_i=max_π‖E_{s∼ρ}[φ(s,π(s))]‖_{Σ_{D_i}^{-1}}度量该标注者数据的均匀策略覆盖。材料中未明确提及任何实验、数据集或数值仿真。
- 学术贡献
- 理论建构层面，论文首次将offline RLHF中的策略性标注形式化，并把机制设计中的策略防伪概念、社会选择中的中位数聚合与离线RL的悲观估计整合在同一分析框架内。批判性贡献在于给出两组否定性结论：既有pluralistic RLHF方法不具策略防伪性，以及任何策略防伪算法在最坏情形下必有k倍量级的福利损失，从而把鲁棒性研究从对抗性数据污染推进到激励相容议题。方法创新是Pessimistic Median of MLEs，它不依赖支付或财务激励，只借助估计不确定性实现近似策略防伪，并给出该性质与κ_i（均匀策略覆盖）的显式依赖，进而区别于仅需最优策略覆盖的标准离线RL保证。这些结果对pluralistic alignment、RLHF激励设计与社会选择视角下的偏好聚合均有直接价值，并将结论延展到MDP场景。
- 存在局限
- 分析建立在若干较强假设之上：奖励必须线性可实现、特征映射φ已知且范数有界、偏好服从Bradley-Terry模型，超出该类的误报（如任意偏好分布）作者仅说明第4.1节结果可延伸，其余保证未覆盖。Assumption 2要求{E_{s∼ρ}[φ(s,π(s))]:π∈Π}张满一个超矩形，这是保证中位数规则可用的关键几何条件，现实中未必成立，虽可放松为ε-近似但会引入同阶加性项。策略防伪界中的κ_i可任意大，一旦某标注者数据的均匀覆盖差，Õ(κ_i√(d/n))的激励约束即失去实际意义，而该系数恰依赖被操纵后可诱导的极端策略，构成论证链条上的薄弱环节。策略防伪在偏好分布层面（ex ante）定义，作者自陈这一取舍刻意排除了事后翻转标签的情形，因此不覆盖以“纠正噪声”为名的标签级操纵。此外模型假设各标注者样本量同为n、标注者集合代表目标人群、社会福利为等权平均，材料中未明确提及任何实验验证，全部结论均为最坏情形理论界，尚未检验其在真实LLM微调等场景中的紧致程度。
- 进一步研究方向
- 其一，在多标注者偏好数据或LLM微调流程上开展实证，构造部分标注者蓄意误报的场景，比较Pessimistic MoMLE、Pessimistic Social Welfare与MaxMin-RLHF在真实社会福利与最差标注者效用上的差距，以检验k倍上界是否紧致。其二，把线性可实现放松为非线性函数逼近或一般奖励类，检验κ_i依赖能否通过局部覆盖条件、自适应数据采集或约束策略空间规模来削弱。其三，放宽Assumption 2，分别针对有限策略集、椭球型特征期望集与非凸可行域推导中位数聚合的策略防伪损失量级。其四，将离线设定扩展为在线/序贯RLHF及样本量异质n_i、标注者联盟合谋的设定，分析策略防伪与收敛速率之间的权衡曲线。其五，把策略性建模从偏好分布层面下移到标签实现层面，明确区分“事后翻转以纠正噪声”与“策略性误报”，并检验此时中位数规则是否仍近似激励相容。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics