广义多模态大语言模型驱动的分割系统GSVA
GSVA: Generalized Segmentation via Multimodal Large Language Models
Zhuofan Xia, Dongchen Han, Yizeng Han, Xuran Pan, Shiji Song, Gao Ming Huang
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16
摘要
广义指代表达式分割（GRES）将传统指代表达式分割的任务范围拓展至可在一个表达式中指向多个物体，或识别图像中不存在的空目标。该任务在建模图像内实例的复杂空间关系以及识别不存在的指代对象方面存在显著挑战。近期，多模态大语言模型在这些复杂的视觉-语言任务中展现出巨大潜力。这类模型融合了大型语言模型与视觉模型，能够高效理解包含视觉输入在内的语境信息。其中，LISA作为代表性成果，采用特殊的[SEG]标记来触发分割掩码解码器（如SAM），从而助力多模态大语言模型完成指代表达式分割任务。然而，现有的广义指代表达式分割解决方案仍不尽如人意，因为当前的分割类多模态大语言模型无法妥善处理用户在同一提示中提及多个主体，或描述内容与图像中的任何目标均不匹配的情况。本文提出的广义分割视觉助手（GSVA）旨在填补这一空白。具体而言，GSVA复用[SEG]标记来引导分割模型同时支持多个掩码参考，还创新性地学习生成[REJ]标记以明确排除空目标。实验验证了GSVA在解决广义指代表达式分割问题上的有效性，其在GRES基准数据集gRefCOCO上取得了新的性能纪录，同时也证明其在各类传统指代分割与理解任务中表现优异。相关代码已开源，地址为https://github.com/LeapLabTHU/GSVA。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对Generalized Referring Expression Segmentation（GRES），将其界定为经典RES的扩展：一个表达可指代多个对象，也可指代图像中不存在的空目标。GRES的难点在于建模图像实例之间的复杂空间关系，并识别不存在的指代对象。现有分割MLLM如LISA依赖单个[SEG] token提示分割掩码解码器，当用户在一个提示中指代多个主体或给出与任何图像目标不匹配的描述时，无法正确输出多掩码或拒绝空目标。为此，作者提出Generalized Segmentation Vision Assistant（GSVA），复用[SEG] token以支持同时生成多个掩码引用，并创新性地学习生成[REJ] token以显式拒绝空目标。在gRefCOCO benchmark上，GSVA取得新记录，并在多种经典指代分割与理解任务中显示有效性。
- 研究方法
- GSVA沿用LISA的embedding-as-mask架构，由MLLM（LLaVA变体，CLIP-ViT-L/14搭配Vicuna-7B/13B或Llama2-13B）自回归生成文本响应，再由SFM（SAM ViT-H）解码分割掩码。针对多目标，GSVA在输出序列中为每个指代实体前置{obj n}，并生成多个权重共享的[SEG] token，选取全部[SEG]嵌入投影为分割query，从而突破单[SEG] token限制，被作者视为隐式In-Context Learning和动态神经网络。针对空目标，GSVA预测[REJ] token并直接赋空掩码，不送入SFM解码，以避免解码器寻找不存在的目标。实验采用gRefCOCO数据集，包含278,232个表达、80,022个多目标表达、32,202个空目标表达和19,994张图像，划分为训练、验证、test-A、test-B；训练时先将gRefCOCO训练集加入LISA混合训练数据预训练50,000步，再在gRefCOCO训练集微调10个epoch，并使用gIoU、cIoU、N-acc评价，与LISA等模型比较。评测中LISA以正像素少于50判为空目标，而GSVA以[REJ] token识别空目标。
- 学术贡献
- 方法层面，GSVA首次在LLM语境下系统研究GRES，将MLLM与分割基础模型连接以处理多目标和空目标。机制层面，论文提出非平凡的共享权重多[SEG] token，由每个referent prompt引导，用以缓解单个[SEG] token面对多目标时的空间关系建模与分割歧义。论文还提出[REJ] token作为拒绝空目标的clean solution，直接赋空掩码，并声称可无缝应用于多种模型。实验层面，GSVA在gRefCOCO GRES benchmark上取得state-of-the-art，微调后的GSVA-Vicuna-7B比finetuned LISA在gIoU上约提升4%、N-acc提升超过5%，13B模型在验证集gIoU超过70%、test-A达到73%、test-B达到65%。这些贡献对GRES、MLLM分割以及材料中提到的embodied AI（如VL navigation、human-robot interaction）具有直接价值。
- 存在局限
- 材料未设专门章节讨论局限；从实验设计看，GRES主评测集中在gRefCOCO，摘要虽称经典RES与理解任务有效，但节选未展示这些任务的完整定量结果与对比。空目标判定标准在对比中不一致：LISA以正像素少于50判空，GSVA以[REJ] token判空，两者机制不同，可能影响N-acc与gIoU/cIoU对比的公平性。多[SEG] token机制依赖前置{obj n}提示消歧，材料未报告[SEG]数量上限、提示语序、[SEG]与[REJ]混合比例、指代重叠时的失败模式或相应消融。论文将[REJ]预测视为VQA变体，其正确性依赖MLLM对指定对象和空间位置的理解，但材料未报告[REJ]在非空目标上的误拒率及其对分割召回的影响。训练需先将gRefCOCO加入LISA混合数据预训练50,000步再微调10个epoch，计算与数据依赖较重，材料未给出效率或消融代价分析。
- 进一步研究方向
- 在材料提到的embodied AI场景（VL navigation、human-robot interaction）中构造多目标与空目标指令，检验GSVA在真实空间关系下的分割与拒绝行为。对[REJ]机制做跨模型移植实验，验证其“可无缝应用于各种模型”的范围，并报告不同MLLM与SFM组合下的N-acc变化。在gRefCOCO上按多目标数量、空目标成因（不存在、属性错误、位置不准）和提示语序分层评测，并对[SEG]数量上限、共享权重、[REJ]插入位置做消融。统一空目标判定标准，例如让LISA与GSVA在同一阈值或同一[REJ]判定协议下比较，以分离架构收益与判定协议差异。补齐材料声称的经典RES与comprehension任务结果，给出与LISA各变体的分项指标，以界定GSVA的泛化边界。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications