基于人类反馈的强化学习用于提升多模态交互智能体
Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
Josh Abramson, Arun Ahuja, Federico Carnevale, Petko Georgiev, Alex Goldin, Alden Hung, Jessica Landon, Jirka Lhotka, Timothy Lillicrap, Alistair Muldal, George Powell, Adam Santoro, Guy Scully, Sanjana Srivastava, Tamara von Glehn, Greg Wayne, Nathaniel Wong, Yan Chen, Zhu, Rui
arXiv (Cornell University) · 2022-11-21
摘要
人工智能领域的一个重要目标是创建既能与人类自然交互又能从人类反馈中学习的智能体。在此我们展示了如何利用基于人类反馈的强化学习（RLHF）来改进通过模仿学习训练至基础能力水平的模拟具身智能体。首先，我们收集了人类在模拟3D世界中与智能体交互的数据。随后我们要求标注员记录他们认为智能体向人类指定目标推进或偏离该目标的时刻。利用这些标注数据，我们采用了一种新方法——称之为“跨时间布拉德利-特里”（IBT）建模——构建了一个捕捉人类评判的奖励模型。以IBT奖励模型提供的奖励为优化目标的智能体训练后，在包括与智能体实时交互时的后续人类评判在内的所有指标上均有所提升。总体而言，我们的研究结果展示了如何成功利用人类评判来改进智能体行为，使我们能够在复杂的具身领域中运用强化学习，而无需编程式奖励函数。智能体行为视频可见https://youtu.be/v_Z9F2_eKk4。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：在模拟3D Playhouse环境中，先用行为克隆训练具备基础能力的多模态交互智能体，再以人类对交互过程中「趋近目标」或「偏离目标」的离散时刻标注构建奖励模型，并通过强化学习优化该模型，可提升智能体在移动操作与语言问答等任务上的表现。作者将人类判断建模为同一episode内跨时间点的偏好，提出Inter-temporal Bradley-Terry（IBT）奖励模型，以捕捉人类对子轨迹相对效用的判断。支撑性论断包括：BC+RL智能体在实时人机交互中的成功率为89%，达到类似条件下人类成功率的93%，高于仅用BC训练的智能体；BC+RL在脚本化探针任务上约为BC成功率的两倍，并超过参数量更大的BC模型（71M对165M）。论文还指出，用脚本化真实奖励训练的智能体虽在脚本化探针任务上表现好，但在与人交互时表现差，说明程序化奖励难以覆盖自然交互的复杂性与歧义。
- 研究方法
- 方法路径为：从human-human交互数据中以行为克隆预训练智能体；采集human-agent与human-agent-human交互数据；标注者观看solver视角视频，在5分钟episode上点击离散时间点给出正或负二值标注，平均每episode 14个标记，共收集5,104,000个反馈标记、覆盖364,690个episode。奖励模型以ResNet处理图像、token化并嵌入语言，经多模态Transformer与LSTM记忆后由MLP输出效用；用IBT损失对同一episode内子轨迹对进行分类，并辅以human-human数据上的BC损失和跨模态自监督损失，还以随机替换setter指令或solver语言输出的方式生成负例。强化学习采用setter-replay，重放人类setter行为并允许agent自由行动，使用IMPALA分布式训练，奖励定义为相邻时间步效用差r_t=U(x_{t+1})-U(x_t)，并与BC损失联合优化。评估采用六项scripted probe tasks、由162个挑战性场景构成的Standardised Test Suite，以及5分钟实时人机交互后的二值成功判断。
- 学术贡献
- 方法创新在于提出IBT奖励模型，将人类对单个交互episode内不同时刻的进展或退步判断转化为跨时间点偏好，并配套开发了可浏览视频与对话、点击标注正负时刻的反馈采集接口。材料发掘层面，论文构建了覆盖human-human、human-agent与human-agent-human交互的大规模人类反馈标注数据，为从人类判断中学习奖励模型提供了可操作的数据基础。领域拓展层面，论文把RLHF用于具身多模态交互智能体，同时覆盖移动操作与双向语言问答，证明在无程序化奖励函数的情况下仍可用强化学习改进复杂交互行为。实证贡献还包括：以在线人机交互成功率、脚本化探针任务与STS场景评估共同表明BC+RL优于BC，并揭示脚本化奖励在自然人机交互中的泛化局限。
- 存在局限
- setter-replay虽然使离线数据可用于RL训练，但重放的setter无法对agent的实际行为作出反应，例如不能回答agent的澄清问题，因而难以学习真正的来回交互，且训练交互被限制在已收集数据范围内。反馈标注平均每episode仅1.2名标注者、约14个标记，标注稀疏；材料未明确提及标注者间一致性指标，限制了对奖励模型噪声与可靠性的判断。奖励模型训练中以0.33概率通过随机替换指令或语言输出生成负例，这种做法可能引入与真实交互分布不一致的负样本；论文也仅初步报告自回归奖励模型弱于IBT，未给出完整受控比较。评估集中于模拟Playhouse环境与二值成功判断，材料未明确提及真实机器人部署、长时程任务或跨环境泛化实验。
- 进一步研究方向
- 可构建能对agent行为作出反应的学习型setter或双智能体自博弈训练框架，在相同Playhouse初始配置下开展在线RL，并与setter-replay对照，验证多轮问答、澄清提问与动态指令调整能力是否提升。可在同一标注数据上对IBT与自回归奖励模型做受控消融，并引入多标注者标注与主动采样，检验标注密度、标注者一致性对奖励模型排序和在线人机交互成功率的影响。可将该方法迁移到真实机器人或非Playhouse模拟环境，以少量人类反馈联合脚本化任务评估跨环境泛化；材料未明确提及此类实验，可作为直接后续工作。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Reinforcement Learning in Robotics