面向视觉任务的视觉语言模型综述

摘要

主要观点

该综述针对视觉识别依赖众包标注数据和逐任务训练 DNN 所导致的 laborious and time-consuming 范式，系统评述视觉语言模型（VLM）。其核心论断是：VLM 可从互联网上近乎无限可得的 web-scale image-text pairs 中学习丰富的 vision-language correlation，并以单个 VLM 在多种视觉识别任务上实现 zero-shot prediction，无需任务特定微调。论文将视觉识别训练范式分为五阶段：Traditional Machine Learning and Prediction、Deep Learning from Scratch and Prediction、Supervised Pre-training/Fine-tuning/Prediction、Unsupervised Pre-training/Fine-tuning/Prediction、Vision-Language Model Pre-training and Zero-shot Prediction。综述对象覆盖 image classification、object detection、semantic segmentation 等，并包括 VLM foundations、数据集、VLM pre-training、transfer learning、knowledge distillation、benchmarking 与未来方向。其概括的 VLM 发展趋势是：预训练目标从 single objective 走向 multiple hybrid objectives，框架从 multiple separate networks 走向 unified network，下游任务从 simple task 走向 complex task。

研究方法

该文采用系统性文献综述路径，对已有 VLM 视觉识别研究进行分类、归纳与比较，而非提出新模型或报告新训练实验。材料与样本由现有 VLM 文献和公开数据集构成，正文提及 CLIP、ALIGN、DeCLIP、ViLD、UniCL、SLIP、LiT、GroupViT、HiCLIP、OneR、RA-CLIP、ALIP 等工作，并称使用 VLM pre-training 与 evaluations 中广泛采用的数据集。分析维度包括五阶段训练范式演变、网络架构（CNN 的 VGG/ResNet/EfficientNet 与 Transformer 的 ViT，文本侧 Transformer 及 GPT2 式改动）、预训练目标（contrastive、generative、alignment）和下游任务。论文按 VLM pre-training、VLM transfer learning、VLM knowledge distillation 三类方法进行 review and categorization，其中迁移学习细分为 prompt tuning、feature adapter 和其他方法，知识蒸馏细分为 object detection 与 semantic segmentation。综述还设有 benchmarking、analysis and discussion 环节，并建立 GitHub 项目 VLM_survey；但提供的摘录未列出 benchmark 的具体数据集、指标与统计检验。

学术贡献

领域层面，论文自称是首个针对 visual recognition tasks 的 VLM 综述，提供该研究方向的 big picture 和对现有研究的综合总结与分类。议题界定上，它把 VLM for visual recognition 与 VLM for vision-language tasks（如 visual question answering、visual reasoning、phrase grounding）区分开，明确聚焦 image classification、object detection、semantic segmentation 等识别任务。方法分类上，它梳理 VLM pre-training 的 contrastive、generative、alignment 目标，迁移学习的 prompt tuning、feature adapter 等路线，以及面向 object detection、semantic segmentation 的 knowledge distillation。材料与基准层面，它汇总 VLM pre-training 和 evaluations 的常用数据集，并对 reviewed methods 在多个公开数据集上进行 benchmarking、analysis and discussion。方向层面，它提出 VLM 视觉识别面临的 research challenges 与 potential research directions，服务于该子领域的文献定位、方法比较与趋势判断。

存在局限

作为综述，提供的材料未显示其进行新的独立实验、统一重训练或可复现实验协议，benchmarking 主要依赖已有文献结果，可能受各方法原始实验设置差异影响。范围上明确限定为 visual recognition，材料指出其不同于面向 visual question answering、visual reasoning、phrase grounding 等 vision-language tasks 的综述，因此不覆盖这些任务的方法与评测。摘录未明确说明文献检索与纳入排除标准、数据集筛选依据、benchmark 所用具体数据集、评价指标、统计显著性检验或结果汇总方式。分类框架聚焦 pre-training、transfer learning、knowledge distillation 三条主线，材料未交代其他 VLM 视觉识别路线是否被系统覆盖，也未说明边界条件的取舍理由。对五阶段范式演变及 single→hybrid objectives、separate→unified network、simple→complex tasks 的趋势概括，摘录中未配套量化证据或反例讨论。

进一步研究方向

材料在摘要中列出若干 research challenges 与 potential research directions，但摘录未展开具体条目；可沿其提出的 zero-shot、迁移、蒸馏、统一框架、目标设计和数据问题设计可操作研究。可建立统一评测协议，在相同 image classification、object detection、semantic segmentation 下游任务上复现并比较 VLM pre-training、prompt tuning、feature adapter 与 knowledge distillation 方法，同时报告 zero-shot 指标、微调指标、参数量和训练成本。针对 multiple hybrid objectives，可做受控消融实验，分别组合 contrastive、generative、alignment 目标，检验其在 simple task 与 complex/dense prediction task 上的增益、冲突及对 unified network 的依赖。针对 web-scale image-text pairs，可构建规模、噪声和领域偏置受控的子集，验证数据质量与数量对 zero-shot prediction 以及向 object detection、semantic segmentation 迁移的影响。针对 knowledge distillation，可把从 VLM 到 object detection、semantic segmentation 的蒸馏作为独立研究路径，设计跨任务蒸馏目标与评测基准，比较不同教师模型和下游学生网络的适配方式。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 面向视觉任务的视觉语言模型：综述

  2024 · 被引 969

• VinVL：重新审视视觉语言模型中的视觉表征

  2021 · 被引 941

• 视觉语言建模导论

  2024 · 被引 47

• 多模态大语言模型中的视觉认知

  2025 · 被引 60

• 面向视觉语言模型的无遗忘学习

  2025 · 被引 51

• 面向视觉语言模型调优的任务残差方法

  2023 · 被引 121