VinVL：重新审视视觉语言模型中的视觉表征
VinVL: Revisiting Visual Representations in Vision-Language Models
Pengchuan Zhang, Xiujun Li, Xiaowei Hu, Jianwei Yang, Lei Zhang, Lijuan Wang, Yejin Choi, Jianfeng Gao
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2021-06-01
摘要
本文针对视觉语言任务中视觉表征的优化展开深入研究，并开发出一种改进型物体检测模型，以生成以物体为中心的图像表征。与目前应用最广泛的自下而上与自上而下模型[2]相比，该新模型规模更大、针对视觉语言任务的适配性更强，且其预训练所用的训练语料库规模更为庞大，整合了多个公开标注的物体检测数据集。因此，它能够生成涵盖更丰富视觉物体与概念的表征。以往关于视觉语言的研究主要集中于优化视觉语言融合模型，而忽视了物体检测模型的改进；本研究则证明视觉特征在视觉语言模型中具有重要作用。在实验环节，我们将该新物体检测模型生成的视觉特征输入基于Transformer的视觉语言融合模型OSCAR[20]，并采用改进后的方法OSCAR+对视觉语言模型进行预训练，随后在各类下游视觉语言任务上对其进行微调。实验结果表明，新的视觉特征显著提升了所有视觉语言任务的性能，在七个公开基准测试中创造了新的最佳成绩。代码、模型及预先提取的特征已发布于https://github.com/pzzhang/VinVL。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：视觉语言任务中视觉表示的质量对模型性能具有决定性作用，而此前VLP研究主要改进跨模态融合模型，相对忽视了目标检测模型所生成视觉特征的改进。研究以object-centric视觉表示为对象，开发了比经典bottom-up and top-down模型[2]更大、更适合VL任务、并在多个公共目标检测数据集合并语料上预训练的新OD模型，可产生1848个物体类别与524个属性类别。作者将新OD模型生成的区域特征输入Transformer-based VL融合模型OSCAR，并采用OSCAR+进行预训练与下游微调，论证替换视觉特征即可在VQA、GQA、图像描述、NoCaps、图像/文本检索、NLVR2等任务上带来一致提升。表1显示，相比Anderson等[2]的视觉特征，新特征使七类VL任务指标普遍上升，并在七个公开benchmark上取得新的state-of-the-art。论文进一步指出，新视觉特征贡献了约95%的性能提升，从而把VLP两阶段中的Vision模块从黑箱提升为需要重新审视的研究对象。
- 研究方法
- 方法路径为“目标检测预训练—属性注入—区域特征提取—OSCAR+视觉语言预训练—下游任务微调”的串联实验设计。目标检测模型采用ResNeXt-152 C4（X152-C4）架构，合并COCO、OpenImagesV5、Objects365V1与Visual Genome四个公共数据集；对OpenImages和Objects365做类感知采样以获得每类至少2000个实例，并以8份COCO、8份VG、2份Objects365、1份OpenImages进行混合，利用VG词表与别名合并类别，保留至少30个实例的VG类，最终得到1848类。OD预训练从ImageNet-5K checkpoint初始化，冻结第一卷积层、第一残差块和所有BN层，使用水平翻转与多尺度训练，训练1.8M次迭代、batch size为16；随后加入属性分支在VG上微调524个属性类，属性损失权重设为1.25，并用class-agnostic NMS和无dilation卷积加速区域特征提取。VL预训练使用OSCAR+，语料包含5.65M唯一图像与8.85M文本-tag-图像三元组，来源包括COCO、Conceptual Captions、SBU、flickr30k、GQA、VQA、VG-QAs以及OpenImages子集；图像视觉表示在OSCAR+预训练中保持固定，模型以BERT-base和BERT-large初始化，损失为L_MTL与3-way Contrastive Loss（L_CL3）之和。下游适配覆盖VQA v2.0、GQA、COCO图像描述、NoCaps、COCO图像/文本检索和NLVR2，分别采用分类、seq2seq生成、二分类匹配等微调策略；消融考察物体类别多样性、视觉属性训练、训练数据规模、模型大小与模型架构等设计选择。
- 学术贡献
- 在理论/实证层面，论文以系统实验证明visual features在VL模型中具有显著作用，将VLP研究焦点从跨模态融合模型扩展到object-centric视觉表示，对视觉语言预训练中Vision模块的设计具有直接价值。在模型与方法层面，提出基于X152-C4、融合四个公共检测数据集并注入VG属性的目标检测模型，能输出1848个物体类别与524个属性类别的区域特征，同时给出class-agnostic NMS等高效区域特征提取方案和OSCAR+的3-way对比损失。在材料与资源层面，论文发布代码、模型与预抽取特征（https://github.com/pzzhang/VinVL），为复现与比较视觉特征对VL任务的影响提供可操作资源。在领域拓展层面，新视觉特征在VQA、GQA、图像描述、NoCaps、图像/文本检索和NLVR2等七项公开benchmark上取得state-of-the-art，且表1显示替换视觉特征即可获得一致提升，说明贡献落在VLP的视觉前端与下游适配交界处。论文还通过消融分析物体类别多样性、属性训练、数据规模、模型大小与架构的相对贡献，为后续选择区域特征backbone、训练数据组合和属性监督提供实证依据。
- 存在局限
- OSCAR+预训练中视觉表示保持固定，未与跨模态融合模型进行联合优化或端到端更新，因此无法判断固定区域特征是否构成视觉-语言联合表示的性能上限。四个检测数据集的规模、词表与标注量极不平衡，VG标注被论文描述为noisy且存在missing-annotation问题，属性监督又仅来自VG的524类，属性覆盖与质量受该数据集边界限制。统一语料依赖类感知采样阈值、数据集复制倍率和基于VG词表别名的类别合并规则，这些启发式设计对下游任务结果的影响未在提供材料中充分展开。预训练语料为5.65M唯一图像与8.85M三元组，作者承认可通过完整OpenImages（9M图像）和YFCC（92M图像）显著扩大，但本文未实际验证更大规模语料下的表现。评估集中在七个公开benchmark的自动指标上，材料未明确提及人工评价、偏差/鲁棒性分析、跨数据集泛化测试，也未提供“新视觉特征贡献95%”这一说法的完整实验细节。
- 进一步研究方向
- 按作者所述，利用完整OpenImages（9M图像）与YFCC（92M图像）扩展预训练语料，检验OD模型与OSCAR+在更大规模下的性能变化及视觉特征规模效应。设计视觉表征与VL融合模型联合训练或端到端微调的实验，对比固定区域特征与可更新区域特征在VQA、检索、描述等任务上的差异，以验证固定特征是否为瓶颈。在VG之外引入或弱监督学习属性标注，扩展524个属性类别，并检验更丰富属性信息对NoCaps新物体描述、VQA细粒度问答和图像-文本检索的增益。对四个数据集的采样倍率、类感知采样每类实例阈值、词表合并规则与属性损失权重做系统的敏感性分析和消融，量化数据不平衡与VG噪声标注对下游结果的影响。在组合泛化、新物体泛化、鲁棒性与偏差等维度上补充评测，并加入人工评估或更细粒度误差分析；材料中未明确这些评测，但可由其七任务自动指标评估的覆盖范围推出验证空间。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications