面向视觉任务的视觉语言模型：综述
Vision-Language Models for Vision Tasks: A Survey
Jingyi Zhang, Jiaxing Huang, Sheng Jin, Shijian Lu
IEEE Transactions on Pattern Analysis and Machine Intelligence · 2024-02-26
开放获取高效训练与推理大模型与语言多模态与视觉语言被引 969被引前 10%影响因子 ≈16.2
摘要
当前大多数视觉识别研究在深度神经网络训练过程中严重依赖大众标注的数据，且通常需针对每一项视觉识别任务单独训练一个深度神经网络，这种范式不仅耗费大量人力，还耗时良久。为应对上述两大挑战，近年来视觉语言模型受到广泛关注，这类模型能够从互联网上近乎无限量的网络级图文配对数据中学习丰富的视觉-语言关联信息，进而仅凭单一模型即可实现各类视觉识别任务的零样本预测。本文系统梳理了用于各类视觉识别任务的视觉语言模型，主要内容包括：（1）介绍视觉识别范式发展背景；（2）阐述视觉语言模型的基础理论，总结广泛采用的网络架构、预训练目标及下游任务；（3）列举视觉语言模型预训练与评估中常用的数据集；（4）对现有的视觉语言模型预训练方法、迁移学习方法以及知识蒸馏方法进行梳理与分类；（5）对所评述的方法开展基准测试、分析与讨论；（6）指出未来视觉识别领域视觉语言模型研究面临的多项挑战及潜在研究方向。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对视觉识别中依赖众包标注数据、且通常为每个任务单独训练 DNN 所导致的费力耗时范式，提出以 Vision-Language Models（VLMs）作为替代路径：从互联网上近乎无限可得的 web-scale image-text pairs 中学习丰富的视觉-语言关联，并用单个 VLM 对多种视觉识别任务进行零样本预测。其核心论断是 VLM 预训练与零样本预测构成继传统机器学习、从零开始深度学习、监督预训练加微调、无监督预训练加微调之后的第五种视觉识别训练范式。论文将视觉识别任务界定为图像分类、目标检测、语义分割等，并围绕 VLM 预训练、VLM 迁移学习和 VLM 知识蒸馏三条技术路线展开综述。它还提出 VLM 发展可从预训练目标由单一走向混合、预训练框架由多网络走向统一网络、下游任务由简单走向复杂三个维度把握。
- 研究方法
- 该文采用系统性文献综述与技术分类相结合的方法，先按五个阶段梳理视觉识别训练范式的演进，再以网络架构、预训练目标、预训练框架和下游任务搭建 VLM 基础框架。在技术路线层面，它将现有研究分为 VLM 预训练方法、VLM 迁移学习方法和 VLM 知识蒸馏方法，并进一步细分：预训练目标分为对比目标、生成目标和对齐目标；迁移学习分为提示调优、特征适配器及其他方法；知识蒸馏针对目标检测和语义分割等任务。材料与样本构成为 VLM 视觉识别相关研究及用于预训练和评估的公共数据集，并在多个公共数据集上对已评方法进行 benchmarking、分析与讨论。材料中未明确提及文献检索数据库、检索式、纳入排除标准、文献篇数和时间跨度。
- 学术贡献
- 论文的贡献首先在领域拓展层面：材料称其为第一篇针对视觉识别任务的 VLM 综述，将此前多聚焦视觉问答、视觉推理、短语定位等 vision-language tasks 的综述与以 visual recognition 为中心的综述区分开。其次在分类框架层面，它给出 VLM 用于视觉识别的 typology，覆盖预训练目标、预训练框架、下游任务、预训练方法、迁移学习和知识蒸馏方法。再次在材料整合层面，它梳理 VLM 预训练与评估中广泛采用的数据集，并在多个公共数据集上对现有方法进行综合 benchmarking 和讨论。这些贡献对图像分类、目标检测、语义分割等视觉识别子领域，以及 VLM 预训练、迁移学习和知识蒸馏议题具有直接价值。
- 存在局限
- 材料中未明确提及综述的文献检索与筛选流程，包括数据库、检索式、纳入排除标准、时间范围和最终纳入文献数量，因此难以评估其覆盖的系统性与可复现性。材料中未明确提及 benchmarking 的评价协议细节，例如具体指标、统计显著性检验、运行环境和超参数配置。分类框架以预训练目标、迁移学习和知识蒸馏为主，材料中未明确说明如何处理同时跨越多个类别的方法，也未说明对负结果、失败案例或方法计算成本的系统比较。材料中未明确提及对数据偏见、伦理风险、模型安全或特定应用领域视觉任务的讨论。
- 进一步研究方向
- 材料在摘要和引言中声明将给出若干研究挑战与潜在方向，但摘录未列出具体条目；可依据其已提出的三个发展趋势设计研究。其一，设计并验证对比、生成与对齐目标的混合预训练方案，比较单一目标与多目标组合在零样本图像分类、目标检测和语义分割上的表现差异。其二，构建统一网络预训练框架，以替代双塔或多网络结构，验证其在降低 GPU 内存占用和提升跨模态通信效率方面的作用。其三，将 VLM 从图像级简单识别任务扩展到需要定位知识的密集预测等复杂任务，并在公共数据集上建立更细粒度 benchmark。还可围绕 VLM 迁移学习与知识蒸馏，具体比较提示调优、特征适配器以及面向目标检测和语义分割的蒸馏方法在不同下游任务中的适配效果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications