Kosmos-2：实现多模态大语言模型与现实世界的语义对齐

摘要

主要观点

Kosmos-2 的核心主张是在多模态大语言模型中解锁 grounding（指称落地）与 referring（指称理解）两种新能力：模型既能感知对象描述（如边界框），也能把文本锚定到视觉世界。其关键表征手段是把指称表达式写成 Markdown 超链接形式「[text span](bounding boxes)」，其中边界框被表示为位置 token（location tokens）序列，与文本 token 在同一词表中统一建模。作者认为 grounding 能带来更便捷的人机交互——用户可直接以框指认图像区域，而不必输入冗长文本描述；以边界框作为视觉答案比纯文本答案更精确，并可消解共指歧义；同时 grounding 能把生成文本中的名词短语与指称表达式链回图像区域，使回答更准确、信息量更大。模型以 Kosmos-1 为基础，在保留通用模态感知、指令跟随与上下文学习等既有能力之外，将 grounding 能力整合进下游应用。论文进一步主张该工作为具身智能（Embodiment AI）奠基，并揭示语言、多模态感知、行动与世界建模的「大融合」，是通往通用人工智能的一步。

研究方法

数据侧采用自动化标注流水线构建 GrIT：以 LAION-2B 与 COYO-700M 的子集为图像-文本对来源，第一步用 spaCy 抽取名词块，经预训练落地模型（如 GLIP）得到对应边界框，施加非极大值抑制并只保留置信度高于 0.65 的配对，剔除时间、爱、自由等难以在图像中识别的抽象名词短语，若无框保留则丢弃该图文对；第二步借助 spaCy 依存关系递归遍历名词块的子节点，将其扩展为指称表达式，不作并列结构扩展，仅保留不被其他表达式包含者，并把名词块的框赋给扩展后的指称表达式，最终得到约 91M 图像、115M 文本片段与 137M 边界框，平均表达式长度 4.7。模型侧为基于 Transformer 的因果语言模型，以 next-token prediction 训练，主干为 24 层 MAGNETO（隐藏维 2048、32 注意力头、FFN 8192），视觉编码器 24 层（隐藏维 1024、FFN 4096），图像分辨率 224×224、patch 14×14，将宽高各均分 32 段共 32×32 个位置 token 加入词表，并用 <box>、</box>、<delim>、<p>、</p>、<grounding> 等特殊 token 组织「超链接」式输入，可训练参数约 1.6B；训练 batch 为 419K token（文本语料 185K、原始与落地图文对 215K、交错数据 19K），共 60k 步约 25B token，AdamW、学习率 2e-4、375 步 warm-up，在 256 张 V100 上约一天完成。指令微调混合 LLaVA-Instruct、Unnatural Instructions、FLANv2，并利用 GrIT 中的表达式-框对自建落地指令数据（以「<p> expression </p>」为输入生成位置 token，或以框为输入反推表达式）。评估以生成方式展开：Flickr30k Entities 上的短语落地采用 ANY-BOX 协议与 R@1/R@5/R@10（IoU>0.5 判对），RefCOCO/RefCOCO+/RefCOCOg 上报告准确率并取首个生成框，RefCOCOg 指称生成在零样本与 k=2、k=4 少样本设置下报告 METEOR 与 CIDEr（贪心解码），另覆盖图像描述、视觉问答以及语言理解与生成任务。

学术贡献

在方法层面，论文把连续坐标离散化为与词表统一的位置 token，并以 Markdown 超链接结构将文本片段与其边界框绑定，使 grounding 与 referring 转化为统一的序列生成问题，且不依赖对象查询或候选框等先验设计，属于建模表征与任务形式的创新。在材料层面，构建了目前规模可观的落地图文数据集 GrIT（90,614,680 图像、137,349,210 个对象、114,978,233 个文本片段），相较 Flickr Entities（31,783 图像）、RefCOCOg（26,711）、RefCOCO 与 RefCOCO+（约 19,994/19,992）及 Visual Genome（108,077 图像）在图像量级上形成数量级差异，并公开了子集与预训练模型，对视觉落地子领域的数据稀缺问题有直接价值。在能力与评估层面，零样本短语落地在 Flickr30k Entities test 上取得 R@1 78.7，远超依赖外挂检测器的 GRILL（18.9），并比微调的 VisualBert 高 7.4% R@1；指称生成零样本 CIDEr 60.3，超过带奖励模块微调的 SLR（59.2）。在交互范式层面，以边界框作为输入指认与作为输出作答的双向能力，对 grounded image captioning、grounded VQA、指称表达式理解与生成等下游议题具有直接的接口价值。

存在局限

落地精度尚未超越专用模型：在 Flickr30k Entities test 上 Kosmos-2 的 R@1 为 78.7，低于微调的 MDETR（84.3）、GLIP（87.1）、FIBER（87.4），论文未提供 Kosmos-2 微调后的对照，因此「统一生成式落地」与「专用检测式落地」的差距来源无法判定。指称理解的跨数据集表现不均衡，RefCOCO 与 RefCOCO+ 的零样本准确率（val 52.32 与 45.48）明显低于 RefCOCOg（60.57），作者归因于前者在两人博弈中产生更短的指称表达，但仅作解释而未给出验证性实验。GrIT 的标注完全由 spaCy 解析加 GLIP 检测自动生成，0.65 置信度阈值、NMS 去重、抽象名词过滤、「不扩展并列结构」「仅保留不被包含者」以及把名词块的框赋给扩展后指称表达式等规则均为启发式设定，材料中未报告标注精度或噪声率的量化评估，也未对这些设定做消融，标签偏差对训练效果的影响不明。评估细节上，图像被固定为 224×224、patch 14×14，坐标量化到 32×32 个 7×7 像素的格子，定位粒度受限；准确率仅取首个生成框并以 IoU>0.5 判定，多框情形下可能欠估。此外，材料在第 4.3 节处截断，感知-语言任务与语言任务的具体结果材料中未明确提及，摘要所称「在 Kosmos-1 所评任务上具竞争力」在本文材料范围内无法核实；摘要提出的具身智能与「语言-感知-行动-世界建模融合」论断，在材料所呈现的静态图文实验中亦无对应验证。

进一步研究方向

其一，对 GrIT 抽样做人工核验并报告框标注精度，进而系统消融置信度阈值（0.65）、NMS 策略、抽象名词过滤以及是否扩展并列结构对短语落地与指称理解指标的影响，以确认标签噪声与下游性能之间的因果方向。其二，针对 RefCOCO 与 RefCOCO+ 上短表达、去空间关系表达理解偏弱的诊断，构造以简短、无空间关系表达为主的监督落地数据（或对 GRIT 按表达式长度与关系类型重采样），在同一评估协议下检验零样本准确率是否回升。其三，消融位置 token 的网格粒度（32×32 与更细划分）与输入图像分辨率（224×224 与更高），并以 IoU 分布而非单一 IoU>0.5 阈值衡量定位精度，量化量化粒度对定位误差的贡献。其四，在相同骨干与相同图像分辨率下对 Kosmos-2 进行落地任务微调，与 MDETR、GLIP、FIBER 做受控比较，考察差距是来自预训练数据、位置 token 表征还是生成式解码方式。其五，把落地指令数据从单表达式-单框模板扩展到多框、多对象关系与交错图文样本，检验模型能否处理一对多、关系型指称，从而对摘要中的具身智能与多模态融合命题给出可检验的实验支撑。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 多模态大语言模型：综述

  2023 · 被引 10

• MME：多模态大语言模型的综合性评估基准

  2025 · 被引 145

• SEED-Bench：多模态大语言模型基准测试

  2024 · 被引 159

• 多模态大语言模型中的视觉认知

  2025 · 被引 60

• SpatialRGPT：视觉语言模型中的具身空间推理

  2024 · 被引 116

• GeoChat：面向遥感领域的接地型大视觉语言模型

  2024 · 被引 269