可解释人类反馈强化学习用于提升对齐性能
Explainable Reinforcement Learning from Human Feedback to Improve Alignment
Shicheng Liu, Siyuan Xu, Wenjie Qiu, Hangfan Zhang, Minghui Zhu
neural information processing systems · 2025-01-01
开放获取对齐与安全大模型与语言被引 4被引前 10%影响因子 ≈6.4
摘要
在日常生活中，人类改善不理想结果的常见有效策略是寻找该结果的成因并予以修正。本文探究这一人类改进策略是否可应用于提升用于语言模型对齐的人类反馈强化学习。现有研究观察到，经人类反馈强化学习微调的语言模型仍可能输出不理想的回应。本文提出一种通过修正成因来改善不理想回应的方法。该方法包含两个部分：第一部分提出一种事后解释方法，通过识别导致特定回应的训练数据，解释为何针对某一提示会生成该不理想回应。我们将该问题建模为约束组合优化问题，目标是找到在特征表示空间中与该提示-回应对最为接近的一组训练数据，约束为该提示-回应对可在特征空间中表示为这组训练数据的凸组合。我们提出一种高效的迭代数据选择算法以求解该问题。第二部分提出一种遗忘方法，通过遗忘导致某些提示下不理想回应的训练数据来改善这些提示的回应质量，同时不会显著降低其他提示下理想回应的质量。实验结果表明，所提算法能够提升人类反馈强化学习的性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 所给材料是一篇关于RLHF对齐的机器学习论文，材料中未涉及艺术学理论、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈或戏曲与曲艺议题。论文的核心论点是：经RLHF调优的语言模型仍会生成有害、不准确或冗余等不满意回答，其原因可追溯到偏好训练数据中的误导信息、噪声或标注翻转。作者主张借鉴人类“先找原因、再纠正原因”的策略，对不满意回答做事后解释，识别导致该回答的训练数据，再通过遗忘这些数据来改进策略，同时不显著降低其他满意回答的质量。该方法被定位为RLHF之后的后训练环节，由解释与遗忘两部分构成。
- 研究方法
- 论文将prompt-response对与偏好训练数据置于特征表示空间，先在线性奖励设定下推导训练数据的特征比较具有高奖励的内积关系，再把待解释样本特征投影到训练数据特征比较的凸包，形式化为带凸组合约束的组合优化问题。求解上采用迭代数据选择算法：按欧氏距离排序训练数据，逐步加入最近样本，并用线性规划可行性问题检验凸包包含关系与分解系数；作者证明该算法具有多项式复杂度。改进阶段先用负梯度在识别出的训练数据子集上对奖励模型做遗忘，再在不满意的验证prompt上最大化遗忘后的奖励，并对其他prompt施加与原始策略的KL约束进行策略微调。实验部分节选仅显示在对话任务上开始评测，完整任务、样本构成与指标材料中未完整呈现。
- 学术贡献
- 在理论建构层面，论文把“识别导致不满意回答的训练数据”形式化为约束组合优化问题，并给出多项式复杂度的迭代选择算法，回应了暴力枚举子集的指数复杂度问题。在方法创新层面，它提出基于样例的事后解释，针对prompt-response对与偏好数据中prompt-response比较之间的数据结构不匹配，避免直接套用现有基于样例的解释方法。在对齐改进层面，论文提出先遗忘奖励模型、再微调策略模型的两阶段遗忘路径，绕开因策略模型输出response而非response comparison而无法直接遗忘训练数据的限制。其贡献主要落在RLHF后训练、语言模型对齐与语言模型遗忘交叉议题上。
- 存在局限
- 解释方法虽以线性奖励模型推导，并声称可直接用于最后一层为线性层的一般奖励情形，但节选未呈现一般奖励设定下的独立实验验证。论文明确只研究偏好数据包含误导信息的情形，材料开头提及的缺失信息等其他原因未被纳入方法设计。不满意样本的划分依赖开源奖励模型打分与人工评估选取的阈值，这会将被解释对象与评价器偏差耦合进解释和遗忘流程。解释结果的忠实性与人类可理解性评估在节选中未明确提及，实验完整结果、基线对比与两个任务的细节也因文本截断而未呈现。
- 进一步研究方向
- 可分别构造缺失信息、误导信息与标注翻转三类偏好数据扰动，在相同模型与验证集上比较被识别训练数据子集S的差异，检验解释是否随原因类型变化。可设计删除、插入和重训S的忠实性实验，量化S对奖励值与策略输出的因果影响，并补充人类评估解释是否可理解。可在更多模型规模与任务上比较XRLHF与从D\S重训RLHF的效果—计算成本权衡，验证多项式算法在大训练集上的实际开销。还可统计S在不同prompt间的重叠，设计按prompt选择性加权的遗忘强度，检验其能否减少对满意回答的附带退化。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Explainable Artificial Intelligence (XAI)