基于具身链式思维推理的机器人控制
Robotic Control via Embodied Chain-of-Thought Reasoning
Michał Zawalski, Chen William, Karl Pertsch, Oier Mees, Chelsea Finn, Sergey Levine
arXiv (Cornell University) · 2024-07-11
摘要
学习型机器人控制策略的一个关键局限在于无法在训练数据之外进行泛化。近期关于视觉-语言-动作模型（VLAs）的研究表明，将大规模互联网预训练视觉-语言模型用作学习型机器人策略的骨干网络，可显著提升其鲁棒性与泛化能力。然而，大型视觉-语言模型在其他领域最引人瞩目的能力之一，是能够对复杂问题进行迭代式推理。这一相同能力能否引入机器人领域，使策略能够在执行动作前对给定任务进行推理，进而提升性能？由于标准VLAs可获取的训练示例相对简单，直接采用“链式思维”（CoT）式提示的效果显著较差。此外，常规CoT中常见的对子任务的纯语义推理，对于需要将推理锚定在感官观测与机器人状态上的机器人策略而言并不充分。为此，我们为VLAs引入具身链式思维推理（ECoT）：在该框架下，我们对VLAs进行训练，使其在预测机器人动作前，针对规划、子任务、动作以及物体边界框和末端执行器位置等视觉锚定特征进行多步推理。我们设计了一套可扩展流程，用于在大规模机器人数据集上生成ECoT的合成训练数据。实验表明，在无需任何额外机器人训练数据的情况下，ECoT使当前性能最强的开源VLA策略OpenVLA在具有挑战性的泛化任务中的绝对成功率提升了28%。此外，ECoT还便于人类通过自然语言解读策略的失败原因并修正其行为。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对学习型机器人控制策略在训练数据之外泛化不足的问题，主张在视觉-语言-动作模型（VLA）中引入具身思维链（ECoT），让策略在输出动作前先对任务计划、子任务、运动原语以及目标框、末端执行器位置等具身特征进行多步文本推理。作者指出，直接把语言模型中的思维链提示套用于VLA效果有限，原因在于VLA可用训练样本较简单，且仅做子任务层面的语义推理无法把推理落到感官观察和机器人状态上。ECoT因此强调策略既要“认真想”也要“认真看”，通过将高层计划与低层视觉/本体状态grounding交错，提升对新物体、新场景、新视角和新指令的泛化。材料还主张ECoT使失败更可解释，并允许人类用自然语言修改错误推理链来纠正策略行为。
- 研究方法
- 方法上，作者对现有机器人数据集做后验合成标注，构建observation-reasoning-action元组：用Prismatic-7B生成场景描述，用Grounding DINO检测物体框并按置信度过滤，用OWLv2与SAM结合本体状态估计2D末端执行器位置，用机器人本体感受生成729种模板化运动原语，再把任务指令、场景描述和逐步运动原语输入Gemini 1.0生成高层计划、当前子任务及解释。该流水线在Bridge v2完整数据集上运行7天，覆盖超过250万条transition，并以OpenVLA（Prismatic VLM、SigLIP/DinoV2视觉编码器、Llama 2 7B骨干）为基座训练ECoT策略。实验在6自由度WidowX机械臂、单第三人称相机和自然语言指令设定下预测末端执行器速度动作，设计分布内与分布外视角任务，比较OpenVLA（Bridge）、RT-2-X、Octo和Naive CoT，每种方法共进行314次试验。推理效率部分比较同步执行与异步执行两种固定/更新高层推理链的策略。
- 学术贡献
- 论文的贡献首先在方法层面：把语言模型中的CoT改造为面向VLA的具身CoT，将计划、子任务、运动原语、物体框和夹爪位置等异质推理步骤统一为可自回归预测的文本token，并在动作token之前输出。其次在数据层面，提出可扩展的合成标注流水线，使大规模机器人数据集无需逐条人工标注即可获得推理链监督，这对通用机器人策略和VLA训练数据构建有直接价值。再次在实证层面，材料报告ECoT在挑战性泛化任务上相较OpenVLA提升绝对成功率28%（表1分视角给出22%和34%等增益），且未增加额外机器人训练数据；相对Octo、RT-2-X和Naive CoT也有表1所列增益。最后，论文把推理链用于可解释性与交互纠正，并报告模型可将ECoT推理迁移到未见embodiment和任务，这对机器人策略的失败诊断、自然语言纠正和跨具身泛化议题有贡献。
- 存在局限
- 作者明确承认未穷尽所有可能的推理任务及其排序，当前PLAN、SUBTASK、MOVE、GRIPPER、OBJECTS等步骤与顺序主要基于直觉设计，缺少对替代任务组合的系统搜索。推理开销是直接限制：每个时间步token数从OpenVLA的7个增至ECoT的350个，同步/异步执行只是在性能与速度之间取舍，材料未给出与优化计算内核或推测解码结合后的结果。比较设计上，RT-2-X为闭源模型且训练数据多于本文方法，数据分布无法同等控制；OpenVLA（Bridge）虽同数据训练，但评测集中在WidowX、单相机和末端速度动作设定，跨具身迁移的评测范围材料中未明确展开。合成数据依赖检测器与Gemini生成，虽设置置信度阈值，材料未报告与人工标注推理链的对照或对标注噪声的定量分析。
- 进一步研究方向
- 可沿作者提出的方向，在相同Bridge v2/OpenVLA设定下系统消融各推理步骤及其顺序，比较仅PLAN、加入MOVE、加入GRIPPER/OBJECTS等组合，以判定具身grounding步骤的独立贡献。针对350 token带来的控制频率下降，可把ECoT与优化计算内核、推测解码结合，并在同步与异步执行之外测量成功率—时延曲线。数据层面可在Bridge v2子集上制作人工推理链，与现有Prismatic+Grounding DINO+OWLv2/SAM+Gemini流水线输出对照，量化检测与生成误差对策略泛化的影响。跨具身与交互纠正方面，可在多个未见embodiment和任务上做控制试验，并设计自然语言修改错误推理链的前后测，验证纠正行为是否稳定复现。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Robot Manipulation and Learning