SpatialRGPT：视觉语言模型中的具身空间推理
SpatialRGPT: Grounded Spatial Reasoning in Vision-Language Models
An‐Chieh Cheng, Hongxu Yin, Yang Lie Fu, Qiushan Guo, Ruihan Yang, Jan Kautz, Ruihan Yang, Sifei Liu
neural information processing systems · 2024-01-01
摘要
视觉语言模型在二维视觉与语言任务中展现出卓越性能，但其在空间排列推理方面的能力仍较为有限。本研究提出Spatial Region GPT（SpatialRGPT），旨在提升视觉语言模型的空间感知与推理能力。SpatialRGPT通过两项关键创新来强化视觉语言模型的空间理解能力：其一为数据筛选流程，能够借助三维场景图实现区域表征的有效学习；其二为灵活的插件模块，可将深度信息整合至现有视觉语言模型的视觉编码器中。推理阶段，当输入用户指定的区域提议时，SpatialRGPT能够精准识别这些区域的相对方位与距离。此外，我们构建了包含室内、室外及模拟环境且带有真实三维标注的SpatialRGBT-Bench基准测试集，用于评估视觉语言模型的三维空间认知能力。实验结果表明，无论是否提供局部区域提示，SpatialRGPT都能显著提升空间推理任务的性能。该模型还具备强大的泛化能力，可有效推理复杂的空间关系，并能作为机器人任务中的区域感知型密集奖励标注器。相关代码、数据集及基准测试集已发布于https://www.anjiecheng.me/SpatialRGPT。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对视觉语言模型在二维视觉语言任务上表现突出、但对空间安排推理受限的问题，提出区域级空间推理框架 SpatialRGPT。其核心论点是有效空间推理需先准确解析对象实例区域，而多数 VLM 仅作全局图像解析，难以在图像含大量实例时指定并推理特定实例间关系。另一个支撑论断是方向与距离等空间关系不能只依赖 RGB 像素，需把深度等三维输入接入视觉编码器。论文以单张二维图像自动构建三维场景图，节点为对象实例、边为相对与度量空间关系，并转换为区域感知空间问答以训练模型。在推理时，给定用户指定的 region proposal，SpatialRGPT 可感知相对方向与距离，并兼顾区域与全局上下文，同时论文提出 SpatialRGPT-Bench 评估室内、室外和模拟环境中的三维空间认知。
- 研究方法
- 研究首先建立从单张二维图像到三维场景图的自动数据管道：先过滤图像，以开放词汇图像标注模型、GroundingDino 和分割模型提取实例掩码，再用 Metric3Dv2 估计度量深度，用 WildCamera 估计相机内参，用 PerspectiveFields 获取 pitch 与 roll 并做场景规范化，最后处理点云形成节点与边。场景图节点记录对象类别、宽度和高度，边包含 left、right、above、below、behind、front、wide、thin、tall、short、big、small 等相对关系以及 direction、direct distance、horizontal distance、vertical distance 等度量关系。问答生成同时采用模板法生成基础空间知识 QA，并用 Llama3-70B 基于语言化空间描述生成复杂推理 QA；在 OpenImages 上构建的 Open Spatial Dataset 含 100 万图像、500 万开放词汇区域、800 万模板 QA 与 70 万 LLM QA，摘要称其覆盖 870 万空间概念。模型架构由视觉编码器、区域特征提取器、RGB 与深度连接器以及 LLaMA2-7B 组成；深度插件用同一图像编码器处理深度图，深度连接器从 RGB 连接器初始化并仅在空间相关 QA 上训练，可在缺少深度输入时继续工作。训练分三阶段：CC3M 上的连接器特征对齐、MMC4 与 COYO 上的视觉语言预训练、以及在指令数据、区域级数据和 OSD 上的视觉指令微调；推理时可接受框或掩码，若只有框则调用 SAM 分割。评估包括 SpatialRGPT-Bench 上的空间推理对比、标准视觉语言基准以及机器人密集奖励标注等应用实验。
- 学术贡献
- 在框架层面，论文把三维场景图知识注入区域级 VLM，提出 SpatialRGPT 以同时处理区域与全局上下文，并论证区域解析和深度输入对空间推理的必要性。在方法层面，论文提出可插拔的相对深度模块，使预训练二维视觉编码器能可选地学习深度表征，并在无深度输入时保持功能，这为现有 VLM 增加三维感知提供了轻量路径。在数据与材料层面，论文构建可扩展数据管道并发布 Open Spatial Dataset，包含 100 万图像、500 万区域、800 万模板 QA、70 万 LLM QA，摘要称覆盖 870 万空间概念，补足了区域级空间训练数据。在评测层面，论文提出 SpatialRGPT-Bench，以 ground-truth 三维标注覆盖室内、室外和模拟环境，为 VLM 三维空间认知提供专门基准。在应用层面，论文展示 SpatialRGPT 可作为机器人任务中的区域感知密集奖励标注器，并可作为独立复杂空间推理器进行多跳推理，对区域级 VLM 与机器人空间奖励标注议题有直接价值。
- 存在局限
- 三维场景图完全由单张二维图像经开放词汇检测分割、Metric3Dv2 度量深度、WildCamera 内参和 PerspectiveFields 外参构建，任一环节误差都会传播到节点尺寸与边关系，但材料中未明确提及对这些环节的误差消融或鲁棒性分析。OSD 基于 OpenImages，图像域和对象词汇受该数据集覆盖限制，材料中未明确提及其在透明、反光、极端视角或艺术设计类对象上的代表性。LLM-based complex QA 由 Llama3-70B 生成，材料中未明确提及人工校验、偏差评估或与模板 QA 的质量对照，训练信号可能混入语言先验。推理依赖用户指定 region proposal，若分割不可用则以框调用 SAM，材料中未分析区域提案质量退化对空间推理结果的影响。在 SpatialRGPT-Bench 上，direct distance、horizontal distance、width、height 等度量任务成功率仍低于左右、上下等相对关系任务，方向误差虽降至约 9.7° 至 17.1°，说明度量空间推理仍是薄弱环节。在所列标准视觉语言基准中，POPE 与 MME 未提升（85.9→85.5，1442→1424），材料未讨论 SpatialRGPT 是否在通用能力上存在权衡。
- 进一步研究方向
- 可扩展数据管道，引入多视角或视频帧一致性约束，并对检测、深度估计、相机标定各阶段做误差传播分析，验证其对三维节点尺寸和边关系的校正效果。可对 Llama3-70B 生成的复杂 QA 建立人工校验与质量分层，系统比较模板 QA、LLM QA 及不同混合比例对多跳推理和度量估计的影响，以分离语言先验与视觉空间知识。可扩展 SpatialRGPT-Bench 的标注维度，加入遮挡、支撑、可供性、透明反光、极端视角和跨域场景，并公开每类难度与标注一致性指标。可对区域提案做受控退化实验，包括框偏移、掩码腐蚀和缺失掩码，量化推理鲁棒性，并探索无需用户提示的自动区域发现。可在机器人任务中将 region-aware dense reward annotator 接入闭环策略学习，验证奖励标注对操作或导航策略收敛与泛化的影响。可将深度插件与端到端度量深度估计联合微调，比较相对深度、度量深度和无深度三种输入，定位几何推理增益的来源。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications