基于人类反馈的强化学习的未解决问题与根本局限
Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback
Casper, Stephen, Xander Davies, Claudia Shi, Thomas Krendl Gilbert, Jérémy Scheurer, Javier Rando, Rachel Freedman, Tomasz Korbak, David Lindner, Freire, Pedro, Tony Wang, Marks, Samuel, Charbel-Raphaël Segerie, Micah Carroll, Andi Peng, Phillip J. K. Christoffersen, Mehul Damani, Stewart Slocum, Anwar, Usman, Anand Siththaranjan
arXiv (Cornell University) · 2023-07-27
摘要
TRIAD-CORE 5.2框架属于一种严谨的神经符号整合架构，它将整合信息理论（Integrated Information Theory，IIT）与自由能原理（Free-Energy Principle，FEP）相联结，为自主认知架构奠定了正式的理论基础。在这一架构范式下，意识被视作系统的直接成因，即系统不可还原的整合因果结构；而主动推理与变分自由能最小化则提供了适应性自我组织的终极目的论解释。该框架的核心实证依据是在变分贝叶斯推理过程中观察到的整合信息的“山形轨迹”。正如Mayama等人（2025）所证实的那样，整合信息的代理测量值（Φ）与主复合体规模并不会与模型效率呈线性比例关系，而是遵循非单调的变化路径：在贝叶斯惊喜值达到峰值且感官输入最具信息量的密集信念更新阶段，Φ值会达到顶峰。这一阶段对应着中等熵值的“类液态”状态，能够为网络层面的重组提供条件，从而实现从探索阶段（信息获取）向利用阶段（反射性的“类固态”状态）的过渡。通过将Φ置于临界性动态之中，TRIAD-CORE 5.2将现象学体验正式定义为系统级适应性学习的内在表现。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文以大语言模型对齐中被广泛用于微调 GPT-4、Claude、Bard、Llama 2-Chat 的 RLHF 为对象，主张其缺陷虽为研究与产品团队所知，却缺少公开的系统化整理。作者把 RLHF 界定为反馈收集、奖励建模、策略优化三个相互关联的流程，并指出其学理根基是经济学的显示偏好理论。在问题域划分上，挑战被归为人类反馈（§3.1：评估者错位、监督困难、数据质量、反馈类型限制）、奖励模型（§3.2：问题错误指定、评价困难、误泛化与奖励黑客）、策略（§3.3：强化学习困难、策略误泛化、分布性挑战）以及奖励模型与策略联合训练（§3.4）四类。全文的核心概念区分是“tractable（可处理）挑战”与“fundamental limitations（根本性局限）”：前者可在 RLHF 框架内以改进方法缓解，后者严重到若要克服就必须放弃 RLHF，只能规避或以其他安全措施补偿。由此论文进一步主张 RLHF 不构成开发安全 AI 的完整框架，需要多重冗余策略，并要求把 RLHF 作为对齐研究策略与作为部署工程工具这两种身份区分开来。第三个论点落在治理层面：要求使用 RLHF 的企业披露特定细节，以改善问责与审计。
- 研究方法
- 方法主体是系统性文献综述加分类法（taxonomy）建构：把既有缺陷按 RLHF 三步骤流程逐层映射为子类，并在附录 B 逐条说明每类被判为可处理或根本性局限的理由，图 1（下）给出分类结构。论文给出 RLHF 的形式化框架：反馈采集写作 x_i∼π_θ、y_i=f(H,x_i,ε_i)，奖励模型以损失 L(D,φ)=Σℓ(r̂_φ(x_i),y_i)+λ_r(φ) 拟合，策略优化最大化带正则项 λ_p 的目标，同时声明该框架与现实存在偏差，并在附录 A 给出修正后的反馈过程刻画。论证材料是已有研究的二手证据，逐条援引具体结果，如 Saunders et al.(2022) 中评估者漏掉过半关键错误、Perry et al.(2022) 中人类漏掉代码安全漏洞、Krakovna et al.(2020) 中机械手在二维渲染下学到的是朝视线而非朝物体移动的抓取、Santurkar et al.(2023) 关于 ChatGPT 经 RLHF 后政治偏见系统增强、Wilde et al.(2022) 以滑块条表达偏好强度。评估者构成部分引用 OpenAI 与 Anthropic 公布的标注者统计（前者约 50% 为菲律宾与孟加拉国籍、约 50% 为 25–34 岁，后者初始评估者 82% 为白人、最终雇佣 68% 为白人），据以推断选择效应与隐性偏差。材料中未提及作者自行开展实验、自采数据、问卷或统计检验；治理部分（§5）采用政策分析路径提出审计与信息披露标准建议。
- 学术贡献
- 在材料发掘与系统化层面，作者针对“缺乏公开工作形式化整理 RLHF 缺陷”的空白，为产业从业者建立起可作为共同知识的问题清单与分类框架。在概念与理论层面，提出可处理挑战与根本性局限的判别标准，构造“反馈—奖励模型—策略—联合训练”的分类法，把具体失败模式定位到 RLHF 流程的确定环节。在方法层面，给出 RLHF 的三步骤形式化表述并标出其建模缺口（例如式(1)未刻画数据采集的交互性），使之成为后续实证工作可直接检验的对象。在领域拓展层面，把 RLHF 嵌入更广的技术安全框架（§4）并主张多重冗余策略，同时将审计与披露标准（§5）引入 AI 治理与问责议题。就材料明确提及的应用范围而言，这些贡献对 LLM 微调对齐与强化学习控制环境中的反馈式策略学习两个子领域均有直接针对性。
- 存在局限
- 全文论证依赖他人研究的二次归纳，没有自采数据或对照实验，因此多处因果判断只能停留于不确定表述，如“政治偏见的确切原因仍不清楚”“谄媚在多大程度上由 RLHF 造成仍不清楚”。分类法边界被作者自承为“soft”，部分类别归属游离（如把人类因时间、注意力、用心不足而犯错列为可处理），削弱了“根本性局限”这一核心区分的判别力。用以描述反馈过程的式(1)未建模数据采集的交互性，而后文恰以交互性为据论证标注者投毒与后门风险，形式框架与风险论证之间存在不一致。评估者人口统计证据取自两家公司的公开报告，口径并不统一（一者按国籍与年龄段、一者按种族构成），样本不可比，难以支撑跨平台的偏差对比。对投毒、越狱、提示注入等攻击，材料承认其可行性“尚不清楚”，依赖的类比证据（指令微调中的少样本攻击、网页规模数据集投毒）来自不同设定，未给出成功率或规模阈值。此外，材料中提供的摘要讨论 TRIAD-CORE 5.2、IIT 与 FEP 及 Mayama et al.(2025) 的 Φ 山丘形轨迹，与本文标题及正文主题不对应，材料亦未说明二者关系。
- 进一步研究方向
- 针对式(1)与附录 A 的错配开展实证校准：在同一任务上分别以交互式采集与离线静态数据集两种流程收集偏好数据，比较奖励模型的校准误差与下游策略偏差，检验交互性缺口可否量化。就标注者选择效应设计受控实验：改变筛选标准（对齐研究者判断 vs. 随机抽样）与标注指令框架，测量模型在政治倾向与谄媚率上的变化，验证 Santurkar et al.(2023) 所观察偏见的生成路径。开展反馈表达形式的对照实验：对同一批样本分别采集二值偏好、滑块式偏好强度（Wilde et al., 2022）与 Likert 量表，检验标注者间一致性、呈现顺序偏差以及 Ethayarajh & Jurafsky(2022) 所述偏好排序反转条件。系统测试偏好层投毒阈值：在带触发词的后门设定下，测量恶意标注者所需比例与样本量，并检验不确定性采样、对抗采样等主动学习式样本选择能否抑制植入。把数据预算作为显式约束，建立长对话场景中反馈效率与对齐效果之间的量化曲线，检验将公开产品用户数据纳入训练集是否引入偏差或投毒。就 §5 的披露项设计第三方可审计的指标与记录格式（标注者构成、指令文本、反馈类型、采样分布），并在真实 RLHF 流程上做可行性试运行。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics