SpatialVLM：赋予视觉语言模型空间推理能力
SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities
Boyuan Chen, Zhuo Xu, Sean Kirmani, Brian Ichter, Dorsa Sadigh, Leonidas J. Guibas, Fei Xia
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16
摘要
理解与推理空间关系是视觉问答与机器人领域的一项基础能力。尽管视觉语言模型在某些视觉问答基准测试中表现优异，但其在三维空间推理方面仍存在不足，例如无法识别物体间的距离、尺寸差异等定量关系。我们假设视觉语言模型的空间推理能力受限源于训练数据中缺乏三维空间知识，因此试图通过利用互联网规模的空间推理数据对模型进行训练来解决这一问题。为此，我们提出了一种能够实现该目标的系统。我们首先开发了一套自动化的三维空间视觉问答数据生成框架，该框架可在1000万张真实图像上生成多达20亿条视觉问答样本。随后，我们研究了训练方案中的各类因素，包括数据质量、训练流程以及视觉语言模型架构。我们的研究构建了首个互联网规模的三维空间度量推理数据集。利用此类数据训练视觉语言模型后，其在定性与定量视觉问答任务中的空间推理能力均得到显著提升。最后，我们证实凭借其定量估算能力，该视觉语言模型能够拓展链式思维空间推理及机器人领域的诸多新应用场景。相关网站：https://spatial-vlm.github.io。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：当前视觉语言模型（VLM）在3D空间推理上的欠缺并非源于模型架构，而是训练数据中缺少3D空间知识，因而可通过互联网规模的空间推理数据训练来弥补。其问题域包含两类空间问答：定性空间VQA（左右、前后、高低、宽度大小等二元谓词判断）与定量空间VQA（带数值与单位的度量距离、尺寸、高差估计）。作者提出SpatialVLM系统，先建立自动化的3D空间VQA数据生成框架，在1000万张真实图像上扩展出20亿条问答样本，构成首个互联网尺度、以公制表示的3D空间推理数据集。以该数据训练的VLM在定性与定量空间VQA上均显著提升，并因具备定量估计能力而解锁思维链空间推理与机器人学等下游应用，例如充当开放词汇的奖励标注器与成功检测器。
- 研究方法
- 方法路径由数据合成与模型训练两部分构成。数据合成端先用CLIP开放词汇分类器做语义过滤，剔除单物体或无场景背景的图像；再以开放词汇区域提议、区域描述（FlexCap）、语义分割与公制深度估计等现成专家模型提取物体中心的像素簇与开放词汇描述；随后将单目2D像素提升为公制3D点云，并通过水平面（地面、桌面）分割与坐标系变换把相机坐标系规范到大地坐标系。为消解同类多物体的指代歧义，作者放弃固定粗类别的检测器，改用可配置、长度1—6词的细粒度描述，并配合语义后处理算法增补或剔除描述；问答由模板生成，覆盖38类定性/定量空间推理问题，每类约20个问句模板与10个答案模板，另加入偏向简短回答的采样与类人数值取整，最终定性与定量问题各占50%。训练端沿用PaLM-E架构而以PaLM 2-S替换PaLM骨干，在原始PaLM-E数据与自建空间VQA数据的混合集上训练，其中5%的token用于空间推理任务；思维链实验由LLM（text-davinci-003）拆解复杂问题、调用VLM并整合结果。评测以GPT-4V（2023年11月访问）、LLaVA-1.5、InstructBLIP、PaLI-X 55B、PaLM-E 12B与PaLM 2-E为基线，并在对所有模型均不可见的WebLI子集上由人工标注331条定性、215条定量问答构成自建基准，定性题以人工评判的成功率衡量。
- 学术贡献
- 贡献集中在材料发掘与领域拓展层面：论文构建了首个互联网尺度、以公制单位表达的3D空间推理数据集（1000万图像、20亿问答对），并提供将真实互联网图像自动提升为物体中心3D点云、进而合成带3D空间监督的VQA数据的标注框架，区别于以渲染图像为主的合成数据路线。它把空间推理从场景图/路径搜索式的显式结构化推理，转为在VLM权重中隐式编码空间关系的端到端微调，补足了以往仅覆盖2D图像平面位置、缺少深度与公制尺度的问答数据空缺。训练侧系统比较了数据质量、训练流程、视觉编码器冻结与否等配方因素对学习质量的影响。结果层面，模型在二元谓词预测上达到75.2%准确率，高于GPT-4V（68.0%）、LLaVA-1.5（71.3%）、InstructBLIP（60.4%）、PaLI（60.7%）、PaLM-E（50.2%）与PaLM 2-E（50.4%），并展示出开放词汇奖励标注、机器人成功检测与思维链空间推理等下游用途。
- 存在局限
- 评测基准规模有限：自建基准仅含331条定性题与215条定量题，且定性答案由人工评测者判断对错，缺少可复现的客观判分标准；定量部分的最终指标在材料摘录中被截断，材料中未明确提及定量误差的具体数值。监督信号本身派生自现成的分割、深度与描述模型，问答答案由这些模型输出的点云与3D包围盒经函数计算得到，各环节误差如何传导至训练目标未被分离量化，作者仅称在含噪数据下仍能可靠估计，未给出噪声水平与性能的对应关系。合成问答被限制为涉及不超过两个物体（A与B）的直接空间问题，物体数量更多的关系与多跳推理不进入直接训练数据，复杂推理须依赖外部LLM编排，因此思维链场景下的表现混杂了外部语言模型的贡献。语义过滤以是否存在场景背景为准剔除单物体图像、商品图与屏幕截图，数据分布被收窄；基线之间参数量与预训练数据不对齐（如PaLI-X 55B对PaLM 2-S），该比较难以单独归因于本数据；空间推理token仅占训练混合的5%，其与通用能力的权衡在材料中未明确提及。
- 进一步研究方向
- 其一，构建可公开、带客观真值的空间推理基准：在仿真环境或经标定的真实场景中记录物体间距离、尺寸的真值，纳入三物体及以上的多元关系、遮挡与包含关系，使定量题可用绝对或相对误差而非人工判断评分。其二，开展模块级消融与噪声传播分析：分别替换或扰动深度估计、分割与区域描述模块，测量各环节误差与定量估计误差的相关性，并检验答案分桶、噪声鲁棒损失等噪声感知训练能否降低对标签精度的依赖。其三，在参数量与预训练数据严格对齐的条件下比较有无该合成数据的模型，以分离数据效应与规模效应，同时扫掠空间推理token比例（如5%上下若干档），检验空间能力提升与通用VQA性能之间的权衡。其四，把直接空间数据从两物体扩展到n元关系与多步链式样本，测试不经外部LLM编排能否完成多跳空间推理。其五，在机器人重排任务中做闭环验证，以任务成功率与奖励标注准确率衡量其作为开放词汇奖励标注器与成功检测器的实际效果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications