基于变分偏好学习的个性化人类反馈强化学习
Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning
Sriyash Poddar, Yanming Wan, Hamish Ivison, Abhishek Gupta, Natasha Jaques
neural information processing systems · 2024-01-01
摘要
强化学习从人类反馈（RLHF）是一种将基础模型与人类价值观及偏好相对齐的有效范式。然而，当前的RLHF技术无法顾及不同人群中个体偏好的天然差异；当这些差异存在时，传统RLHF框架会简单对其取平均值，从而导致奖励函数不准确，进而影响特定子群体的模型表现。为满足多元化对齐需求，我们开发了一类多模态RLHF方法。所提出的技术基于潜变量建模思路——即推断全新的用户专属潜变量，并据此学习条件化的奖励模型与策略，且无需额外的用户专属数据。尽管该思路在概念上较为简单，但实践表明，此类奖励建模需要在模型架构与奖励缩放方面进行细致的算法设计。为验证所提技术的有效性，我们首先证明它能够在模拟控制问题中应对参数不确定性问题，进而推断并优化用户专属的奖励函数；随后，我们在反映多元用户偏好的多元化语言数据集上开展实验，结果证实其能提升奖励函数的精确度。我们还进一步证明了该概率框架在不确定性度量以及主动学习用户偏好方面的优势。本研究实现了对具有不同偏好的多样化用户群体的学习，这一难题普遍存在于机器人学习到基础模型对齐等各类应用场景中。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对当前RLHF基于Bradley-Terry-Luce（BTL）模型且默认所有用户共享单一效用函数的局限，指出这会在偏好分歧时对多模态偏好做平均，导致奖励模型不准确并为少数子群体带来差性能。作者主张需要pluralistic alignment，并将RLHF重新表述为潜在变量问题：用隐变量z表示影响用户偏好的隐藏上下文，基于同一标注者的若干成对偏好推断用户特定的潜在分布，并学习以z为条件的奖励模型与策略。由此提出Variational Preference Learning（VPL），在模拟控制问题中推断并优化用户特定奖励函数，在多元语言偏好数据集上提升奖励函数准确度。论文还强调二元比较只提供奖励差信息，带来跨z的奖励尺度问题，并提出以成对偏好似然替代原始BTL奖励的VPL-SPO思路。该框架进一步支持不确定性度量与主动学习用户偏好。
- 研究方法
- 方法路径是基于变分推断的潜变量建模：将偏好似然写成latent-conditional BTL形式，引入后验qψ(z|同一标注者的多组成对偏好)，推导证据下界（ELBO），联合优化奖励模型r(s,z)与编码器。策略侧学习πθ(·|s,z)，训练时从先验采样z，测试时用目标用户的偏好标注推断z并条件化部署策略。在LLM扩展中，使用预训练LLM编码prompt与response并冻结嵌入，经pair encoder和自注意力层得到后验，再由MLP结合采样z预测奖励，并用LoRA微调、对同一用户的上下文样本做M∈{4,8}重复的数据增强。主动学习部分将后验设为多元高斯，在均匀标签假设下以互信息闭式选择查询集，并以VPL-SPO用成对偏好似然进行奖励缩放。实验包括三个模拟机器人环境和两个含冲突用户偏好的语言任务，并对比RLHF方法及DPL等基线，报告奖励预测准确度、任务性能与个性化效果。
- 学术贡献
- 在理论/方法层面，论文为多模态RLHF提出潜变量框架与ELBO，使奖励模型能够从成对比较中学习用户特定、以z为条件的奖励函数，而不依赖人口统计等额外个人信息；这直接针对pluralistic alignment与RLHF个性化议题。它把个性化策略学习、潜在后验推断、不确定性度量和主动查询统一在同一变分框架中，并给出奖励尺度问题的可操作解法VPL-SPO。与DPL仅建模奖励分布的均值与方差或类别近似不同，VPL显式建模用户特定潜在变量，从而能重建分歧的奖励函数。在领域层面，其价值覆盖机器人学习到基础模型对齐，尤其在LLM奖励建模中展示可分离的用户嵌入空间与10–25%的奖励预测提升。材料还发掘了模拟控制与多元语言数据集上的验证结果，为个性化RLHF提供实验证据。
- 存在局限
- 方法要求同一标注者提供多组成对偏好以推断z，材料强调这对准确推断用户潜在变量是必要的，但未系统报告每用户标注极少或标注非成批收集时的性能。主动学习依赖多元高斯后验与均匀标签假设来获得互信息闭式解，材料未验证这些假设在真实、异质或非高斯偏好下是否成立。奖励缩放问题虽以VPL-SPO缓解，但论文主要经验性观察到不同z下奖励尺度差异，材料未给出跨全部下游RL算法和全部潜在维度的稳定性证明。实验覆盖三个模拟机器人环境和两个语言任务，材料未明确提及真实用户在线部署、跨文化或大规模人群验证。LLM侧采用冻结预训练嵌入、LoRA微调以及对同一用户样本M∈{4,8}重复的数据增强，材料未报告这种冻结与重复是否造成信息损失、用户间权重偏差或过拟合。
- 进一步研究方向
- 可在真实多元用户场景中开展部署研究：以机器人家居整理或LLM对话为任务，按用户分批收集成对偏好，比较VPL与BTL、DPL在少数群体奖励预测和个性化策略成功率上的差异，检验众数平均是否被消除。可系统操纵用户数、每用户标注数N、偏好模态数与奖励尺度，做主动学习消融：以互信息选查询对比随机查询和边际不确定性查询，验证恢复z所需的最少查询量，并尝试非高斯后验下的信息增益估计。可将VPL与non-BTL choice model结合，在不可传递、非理性或噪声偏好数据上检验latent-conditioned奖励模型与策略的鲁棒性，因为材料称该潜变量模型易适配non-BTL但未做实验。可研究聚合与个性化的切换条件：在多数群体与少数群体严重冲突时，比较社会选择聚合、多目标RL与VPL个性化，界定何时应聚合、何时应个性化。还可分析潜在空间z的可解释性与泛化：检验z是否对应响应详细度等偏好维度，测试新用户少样本适应和跨领域迁移效果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics