基于参数高效的人类反馈强化学习
Parameter Efficient Reinforcement Learning from Human Feedback
Hakim Sidahmed, Samrat Phatale, Alex Hutcheson, Zhuonan Lin, Zhang Chen, Zac Yu, Jarvis Jin, Simral Chaudhary, Roman Komarytsia, Christiane Ahlheim, Yonghao Zhu, Bowen Li, Saravanan Ganesh, Bill Byrne, Hoffmann, Jessica, Mansoor, Hassan, Wei Li, Abhinav Rastogi, Lucas Dixon
arXiv (Cornell University) · 2024-03-15
摘要
尽管基于人类反馈的强化学习能够有效使预训练的大语言模型及视觉语言模型与人类偏好相一致，但其高昂的计算成本和复杂性限制了其广泛应用。为减轻微调过程带来的计算负担，诸如低秩适应之类的参数高效方法应运而生。本研究通过实证分析基于参数高效的人类反馈强化学习框架，该框架利用低秩适应技术进行奖励模型训练及强化学习过程。我们在涵盖摘要生成、无害且实用的回应生成、用户界面自动化以及视觉问答六个不同领域的数据集上，对基于参数高效的人类反馈强化学习框架在模型性能及所需训练资源方面的表现进行了基准测试。研究结果表明，基于参数高效的人类反馈强化学习首次展现出与常规基于人类反馈的强化学习相当的性能，同时显著缩短了训练时间——奖励模型的训练速度可提升90%，强化学习过程的训练速度可提高30%；其内存占用也大幅减少——奖励模型的内存占用可降低50%，强化学习过程的内存占用可减少27%。我们针对奖励建模与强化学习两个环节，就低秩适应的秩参数及模型规模展开了全面的消融实验。通过缓解基于人类反馈的强化学习所带来的计算负担，我们旨在推动基于参数高效的人类反馈强化学习作为大语言模型及视觉语言模型的对齐技术得到更广泛的应用。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文的核心论点是：将LoRA参数高效微调同时用于奖励模型训练与强化学习策略/价值模型，构成PE-RLHF，可在六个数据集上取得与标准RLHF相当的性能，同时显著降低训练时间和显存占用。研究对象覆盖摘要生成、无害/有用回复生成、UI自动化和视觉问答五类任务，材料中对应Reddit TL;DR、BOLT Message Summarization、Anthropic-HH Harmlessness、SHP、AndroidControl和VQAv2。支撑性论断包括：PE-RLHF奖励模型仅训练不到0.1%的总参数（视觉与文本任务少于0.2%）即可匹配全参数微调奖励模型；PE-RLHF策略在与标准RLHF使用相同奖励模型时达到有竞争力的胜率/无害率/准确率，并显著优于SFT策略。作者进一步主张，LoRA并非仅是效率妥协，而是在RLHF场景中可作为全参数微调的有效替代，从而推动PE-RLHF在LLM和VLM对齐中的更广泛采用。
- 研究方法
- 研究采用控制变量式的实证基准比较：在相同数据集和固定奖励模型条件下，对比标准RLHF（全参数微调奖励模型与策略）与PE-RLHF（在注意力投影矩阵上附加LoRA适配器、冻结语言模型主干，仅训练适配器）在奖励建模和强化学习两个阶段的模型效果与资源消耗。实验使用PaLM 2的XXS、XS、S三种规模以及Gemini Pro视觉语言模型，奖励模型评价用成对准确率或分类准确率，策略评价用PaLM 2 L作为评判模型，按摘要/有用性计算胜率、按无害性计算无害率、按UI自动化和VQAv2计算准确率变化。资源测量包括由Jax JIT估计的峰值HBM和训练速度；RL速度涵盖回合采样、奖励模型打分、锚点logit计算和学习步骤，RM速度只含学习步骤。作者对LoRA秩和模型规模进行消融，并用50条人工反馈样本校验评判模型与人类反馈的一致性。方法路径包括跨六个数据集的比较实验、消融实验、资源基准测试和评判模型评估。
- 学术贡献
- 材料声称这是首个对RLHF中参数高效方法进行广泛基准测试的工作，贡献集中在理论/方法交叉层面：将LoRA同时引入奖励建模和策略/价值模型训练，形成可复现的PE-RLHF设置，并给出与标准RLHF的系统比较。其在方法创新上提供了LoRA秩与模型规模的消融证据，指出奖励模型对LoRA秩不敏感、随主干模型增大PE-RLHF更接近全参数微调；策略则随LoRA秩和主干规模增大而提升。材料发掘与领域拓展方面，该文把PE-RLHF从文本任务扩展到UI自动化和VQA，使用AndroidControl与VQAv2验证视觉语言模型场景。资源贡献上，给出了奖励模型与RL阶段峰值HBM和训练加速的量化数据（RM最高提速90%、显存降至43%-74%；RL提速30%、显存降至73%-80%等）。这些结果对RLHF效率、PEFT与对齐技术的交叉议题有直接价值。
- 存在局限
- 作者自述的局限包括：参数高效微调可能过拟合训练数据，且奖励模型存在“reward hacking”风险；PE-RLHF虽降低计算负担，但RLHF过程的最优数据需求仍不明确；基准仅覆盖LoRA，未纳入DoRA、ReFT等更新的参数高效或表征微调方法。泛化性方面，实验主要在域内测试集上匹配标准RLHF，材料未提供跨域泛化或分布外测试结果。评估设计上，策略质量主要依赖PaLM 2 L评判模型，人类反馈仅用50条样本校验一致性，未报告更大规模人类评估或评判模型偏差分析。资源节约结论还受序列长度、加速器类型等因素影响，作者也指出显存节省和加速幅度会随这些因素变化。
- 进一步研究方向
- 作者提出三条具体路径：一是用Mixture-of-LoRA等集成模型提升跨域泛化，在训练中引入鲁棒性而不显著增加计算开销；二是将权重平均等缓解reward hacking的技术与PE-RLHF的适配器方法结合，在奖励函数易被利用的任务上验证效果；三是用开源模型公开PE-RLHF与标准RLHF的对比样例。材料还提示可将DoRA、ReFT等替换LoRA，在相同六数据集和相同评估指标下重复HBM、训练速度与胜率/准确率基准，以检验其改进是否能转化为更好的人类偏好对齐。数据效率方面，可设计不同训练数据量下的PE-RLHF消融，确定奖励建模与RL阶段的最优数据需求。这些路径均对应材料中已列出的未来工作与局限。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics