GeoChat：面向遥感领域的接地型大视觉语言模型
GeoChat:Grounded Large Vision-Language Model for Remote Sensing
Kartik Kuckreja, Muhammad Sohail Danish, Muzammal Naseer, Abhijit Das, Salman A. Khan, Fahad Shahbaz Khan
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16
摘要
近年来，大视觉语言模型在自然图像领域展现出巨大潜力，能够支持用户针对给定视觉内容展开对话。然而，这类通用领域的大视觉语言模型在遥感场景中表现欠佳，面对遥感领域的特定查询时往往会产生错误信息或虚构内容。这种问题的产生源于遥感影像所特有的挑战：例如，处理包含多种类别、尺度变化多样且存在大量小物体的高分辨率遥感影像时，既需要进行区域级推理，也要完成对整体场景的解读。此外，由于缺乏遥感领域的多模态指令跟随数据以及强大的遥感专用骨干模型，模型难以使其输出结果与用户查询相匹配。为克服这些局限，我们提出了GeoChat——首个具备高分辨率遥感图像多任务对话能力的通用遥感大视觉语言模型。具体而言，GeoChat不仅能回答图像层面的查询，还能接收区域输入以开展特定区域的对话；同时它能在回应中通过空间坐标来定位相关物体。为解决遥感领域数据集匮乏的问题，我们基于现有各类遥感数据集中的图文配对数据，构建了一套全新的遥感多模态指令跟随数据集。我们建立了完善的遥感多任务对话基准测试集，并与多种基线方法进行了对比。实验表明，GeoChat在图像与区域描述、视觉问答、场景分类、视觉定位对话及指代检测等各类遥感任务上均表现出强劲的零样本性能。相关代码可在此获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- GeoChat 针对通用视觉语言模型在遥感场景中因高分辨率、跨类别尺度变化和小目标密集而出现的答案不准或幻觉问题，提出面向遥感的多任务对话式 VLM。其核心主张是遥感理解既需要全局场景解释，也需要区域级推理，因此模型同时支持图像级查询、区域输入对话，并在回复中输出目标空间坐标。为弥补领域多模态指令数据缺失，作者从现有遥感数据集的图文对扩展出约 318k 条指令跟随数据，并称 GeoChat 为首个具备 grounding 能力的遥感 VLM。模型在图像/区域描述、VQA、场景分类、视觉 grounded 对话和指代检测等任务上展示零样本性能。
- 研究方法
- 研究以 LLaVA-1.5 为基座，采用 CLIP-ViT(L-14) 作为冻结视觉编码器、MLP 跨模态适配器和 Vicuna-v1.5(7B) 作为语言模型，仅对 LLM 进行 LoRA 微调，训练中冻结 CLIP 与 MLP 适配器。为处理高分辨率遥感图像，作者将 CLIP 的 Transformer 位置编码插值到 504×504 输入，使每图 patch 数由 576 增至 1296。任务切换依靠 {grounding, identify, refer} 三类任务 token，空间框以 {bxleft, bytop, bxright, bybottom|θ} 文本形式表示，坐标归一化到 [0,100]，并允许区域框作为输入、目标坐标作为输出。数据构建整合 DOTA、DIOR、FAIR1M 构成的 SAMRS、NWPU-RESISC-45、LRBEN 与 Floodnet，经 Vicuna-v1.5 自动生成多轮对话、复杂问答和详细描述，形成 306k 训练与 12k 测试指令对。对缺失类别使用 LoveDA 预训练的 ViTAE-RVSA 生成伪标签，并用 K-Means 提取对象颜色等属性，以支撑指代表达与区域描述标注。
- 学术贡献
- 在理论/模型层面，论文把遥感视觉-语言理解从单一任务分类式 VQA 推进到统一的多任务对话框架，并首次在该领域加入视觉 grounding 与区域级推理。在方法层面，任务 token、空间坐标文本化表示和 LoRA 微调组合，使同一模型可接受图像与区域输入，并生成交错的文本与目标位置。在材料层面，构建了覆盖检测、场景分类、VQA 与洪涝识别来源的约 318k 遥感多模态指令跟随数据，以及 306k/12k 的训练-测试指令集。在评测层面，作者为遥感多任务对话建立基准和评估协议，覆盖图像/区域描述、VQA、场景分类、视觉 grounded 对话与指代检测，并报告零样本结果。这些贡献主要对遥感 VLM、遥感 VQA、区域描述和指代检测子领域有直接价值。
- 存在局限
- 数据划分方面，材料仅说明训练用 306k、测试用 12k 指令对，但未交代测试集是否按数据集、地理区域或传感器与训练集隔离，因而零样本泛化的说服力受限。指令数据由仅接触文本的 Vicuna-v1.5 生成多轮问答、复杂问答和详细描述，材料未报告对生成文本与遥感图像一致性的量化审查，可能把语言先验噪声带入训练。缺失类别由 ViTAE-RVSA 在 SAMRS 上生成伪标签，虽然作者剔除已有真实标注的预测以 refine，但未做消融说明伪标签对下游 grounding 或 VQA 指标的影响。空间表示包含旋转角 θ，但材料未明确所有评估任务是否检验角度精度，也未给出与 RSGPT 等基线的定量对比结果。因此，当前论证在数据泄漏控制、自动指令噪声、伪标签贡献和旋转框定位评测等环节仍不充分。
- 进一步研究方向
- 后续可构建按传感器、地理区域和分辨率严格隔离的遥感多模态指令测试集，用同一 GeoChat 训练流程比较随机划分与隔离划分下的图像级、区域级和 grounded 对话指标，以验证泛化边界。可对 ViTAE-RVSA 伪标签做消融：分别训练无伪标签、全量伪标签和人工校验子集版本，在 SAMRS 补充类别上的指代检测与区域描述任务中比较精度，以量化伪标签收益与噪声代价。可抽取 Vicuna-v1.5 生成的 306k 指令进行图像-文本一致性人工审核，按错误类型分层后重训，并测量 grounded captioning/VQA 中的幻觉率变化。还需扩展旋转框角度 θ 的评测协议，设计朝向导引、方向指代和旋转 IoU 指标，检验模型在含朝向目标场景中的 grounding 精度。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications