CoT-VLA：面向视觉-语言-动作模型的视觉思维链推理方法
CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models
Qingqing Zhao, Yao Lu, Moo Jin Kim, Zipeng Fu, Zhuoyang Zhang, Yecheng Wu, Zhaoshuo Li, Qianli Ma, Song Han, Chelsea Finn, Ankur Handa, Tsung-Yi Lin, Gordon Wetzstein, Mingyu Liu, Donglai Xiang
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2025-06-10
摘要
视觉-语言-动作模型（VLA）在利用预训练视觉-语言模型及各类机器人演示数据来学习具备泛化能力的感知运动控制方面展现出巨大潜力。尽管这一范式能够有效整合来自机器人领域及其他领域的海量数据，但当前的VLA主要侧重于直接的输入输出映射，缺乏完成复杂操作任务所必需的中间推理步骤，因而不具备时序规划或推理能力。本文提出了一种将显式的视觉思维链推理融入视觉-语言-动作模型的方法：在生成用于实现目标的简短动作序列之前，先通过自回归方式预测未来的图像帧作为视觉目标。我们研发的CoT-VLA是一款先进的70亿参数规模的VLA，能够解析并生成视觉与动作标记。实验结果表明，CoT-VLA性能优异，在真实世界操作任务中的表现较现有最先进的VLA模型高出17%，在仿真基准测试中的表现也领先6%。相关视频可访问https://cot-vla.github.io/查看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 本文针对现有视觉—语言—动作模型（VLA）把观测与语言指令直接映射为动作、缺少中间推理步骤与时间规划能力的问题，提出「视觉链式思维」（visual chain-of-thought）：先自回归预测未来若干帧后的子目标图像，作为像素空间中的视觉目标，再以当前观测与该子目标为条件生成一段短动作序列去实现它，使模型「先以视觉方式思考，再行动」。作者把子目标图像界定为一种中间推理步骤，理由在于子目标状态天然存在于机器人示教数据中、几乎不需要额外预处理，且其生成不依赖动作标注；由此推出，EPIC-KITCHENS-100、Something-Something V2 等无动作视频可用于增强子目标生成能力，把无标注视频纳入 VLA 训练。据此构建的 CoT-VLA 是一个 7B 模型，能同时理解与生成视觉 token 和动作 token，部署时以闭环方式在每段动作执行后重新观测并重新生成子目标。作者报告其在真实操作任务上超过当时最优 VLA 模型 17%、在仿真基准上超过 6%，并把基线在 LIBERO-Spatial 等任务中「忽略语言指令、过拟合视觉线索」的失败，归因于缺少语言接地的视觉推理。
- 研究方法
- 以 VILA-U 统一多模态模型为基座（256×256 图像编码为 16×16×4 个离散 token、残差深度为 4），将控制问题拆为两段式公式化表达：子目标图像预测在机器人示教数据与无动作视频上联合训练，动作序列预测仅在示教数据上训练。动作按每个维度 256 个 bin（依训练数据第 1 至 99 百分位均匀划分）、每条动作 7 个 token 离散化，并复用词表中 256 个最低频 token 作为动作 bin；训练采用混合注意力——文本与图像用因果注意力逐 token 预测，动作 token 用全注意力并行预测；动作块长度为 10，视觉塔冻结，仅优化 LLM 主干、投影器与深度 Transformer，总损失为动作交叉熵与视觉 token 负对数似然之和。预训练数据为 OpenX-Embodiment 中筛选出的子集（第三人称视角、单臂 7-DoF 末端控制）加 EPIC-KITCHENS 与 Something-Something V2，下游适配阶段在目标任务示教数据上以相同配置微调。评测横跨三类平台：LIBERO 仿真四个任务套件（每套件 10 个任务、每任务 50 条人类遥操作示教，每套件 500 次试验×3 个随机种子并报告标准误）、Bridge-V2（6-DoF WidowX，45k 条语言标注轨迹，四类泛化任务各 10 次试验）、Franka-Tabletop（7-DoF Panda，每任务 10 至 150 条示教，3 个单指令任务与 3 个多指令任务），基线为 Diffusion Policy、Octo、OpenVLA 与 SUSIE。消融在 LIBERO-Spatial 与 LIBERO-Goal 上按「vanilla VLA → 加动作块 → 加混合注意力 → 加视觉 CoT」逐级累加进行。
- 学术贡献
- 概念与方法层面，本文把子目标图像生成作为中间链式推理步骤嵌入 VLA 框架，将机器人领域的 CoT 从文本计划、关键点、包围盒等抽象中间表征推进到像素空间的未来状态，且所用中间监督信号取自示教数据本身而非额外标注流水线。系统层面，提出 CoT-VLA 及配套混合注意力机制（因果注意力用于像素与文本生成、全注意力用于动作预测），并配合动作块预测，使「理解—生成—动作」在同一模型中协同。数据层面，论证了子目标生成无需动作标注，从而把 EPIC-KITCHENS、Something-Something V2 这类无动作视频纳入 VLA 训练，为利用海量无标注视频改进操作策略给出可操作路径。实证层面对具身操作与 VLA 评测这一子领域有直接价值：LIBERO 平均成功率 81.13%（OpenVLA 76.5%、Diffusion Policy 72.4%），长时序套件 69.0% 对 53.7%，并在 Franka-Tabletop 小样本多指令场景取得最高平均成功率；消融显示动作块、混合注意力与视觉 CoT 各自带来增量。
- 存在局限
- 在 Bridge-V2 上，本文的视觉泛化（65% 对 OpenVLA 75%）与语言接地（70% 对 75%）反而低于基线，作者归因于动作块导致的抓取失败而非视觉推理错误，但材料中未见针对该归因的解耦实验（如改变动作块长度或强制单步执行）。作者自承 SUSIE 通过扩散先验生成的子目标图像视觉质量更高，暗示 256×256、16×16×4 离散 token 的子目标生成保真度受限，然而全文未给出子目标图像质量的任何定量指标（如与真实未来帧的相似度）。子目标时间跨度 n 从各数据集特定区间 [nl, nu] 均匀采样，材料未说明区间如何确定，也未报告 n 的敏感性分析。评测规模与条件不对等：Bridge-V2 每类仅 10 次试验且四类任务为自行设定，Diffusion Policy 在 LIBERO 与 Franka-Tabletop 上从头训练而 VLA 类方法均经 OpenX 预训练，SUSIE 仅在 Bridge-V2 用公开 checkpoint 评估，跨平台可比性有限。此外「提升可解释性」的主张仅停留在定性展示生成子目标，未检验子目标图像与真实未来状态的语义一致性，也未通过替换或扰动子目标来验证其因果作用。
- 进一步研究方向
- 其一，对子目标时间跨度 n 与动作块长度 m 做二维网格扫描（n 取若干帧间隔、m 取 1/5/10/20），同步记录成功率、抓取失败率以及子目标图像与真实未来帧的语义和像素一致性，以判定 Bridge-V2 短板的真实来源。其二，将离散 token 子目标生成替换为更高保真的解码方案（更高分辨率 token 或连续、扩散式图像头），在冻结同一骨干与动作头的条件下比较子目标质量与下游成功率，直接检验生成保真度是否为瓶颈。其三，设计子目标干预实验：推理时人为偏移或替换预测子目标，观察动作序列是否随之改变，据此确立视觉 CoT 的因果贡献而非仅相关。其四，控制无动作视频的规模与领域（EPIC-KITCHENS 厨房场景对比 Something-Something V2 通用交互），做数据消融以量化「无标注视频提升视觉推理」的增益曲线。其五，在同一 VILA-U 骨干上对文本 CoT、关键点/包围盒 CoT 与视觉 CoT 做同条件对照，并在双臂、多视角与长时序任务上检验 LIBERO-Long 所显示的增益能否迁移。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Robot Manipulation and Learning