构建视觉-语言模型时哪些因素至关重要？
What matters when building vision-language models?
Hugo Laurençon, Léo Tronchon, Matthieu Cord, Victor Sanh
neural information processing systems · 2024-01-01
开放获取大模型与语言多模态与视觉语言被引 142被引前 10%影响因子 ≈6.4
摘要
对视觉-语言模型（VLMs）的关注日益增加，这一趋势由大语言模型和视觉Transformer的进步所驱动。尽管已有大量相关文献，我们观察到关于视觉-语言模型设计的关键决策往往缺乏依据。我们认为，这些缺乏支撑的决策阻碍了该领域的进展，因为它们使得识别哪些选择能够提升模型性能变得困难。为解决这一问题，我们就预训练模型、架构选择、数据和训练方法开展了广泛实验。我们对研究结果的整合包括开发Idefics2——一款80亿参数的高效基础视觉-语言模型。Idefics2在各类多模态基准测试中均在其参数量级别内取得最先进性能，且常常与参数量为其四倍的模型表现相当。我们开放该模型（基础版、指令版和对话版）以及为其训练创建的数据集。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文以“构建视觉语言模型时哪些设计选择真正影响性能”为核心问题，指出文献中关于预训练骨干、融合架构、连接模块与训练方法的许多决策缺乏实验论证，导致难以辨别性能来源。作者在受控条件下比较后发现：在参数量固定时，语言模型骨干质量对最终VLM性能的影响高于视觉骨干质量；跨注意力架构在冻结单模态骨干时优于全自回归架构，但解冻并训练骨干后全自回归架构反超，且后者需要LoRA等参数高效微调来避免训练发散。学习式池化（Perceiver重采样器）将每图视觉token从729降至64并平均提升8.5分，说明压缩视觉token可同时改善训练/推理效率与下游性能。保持原始长宽比与分辨率、并在指令微调阶段将图像切分为子图，分别提供计算灵活性与以推理算力换取性能的路径，后者对TextVQA、DocVQA等读图任务收益明显。基于这些发现训练的8B参数Idefics2在同尺寸类别达到state-of-the-art，并在部分基准上接近四倍规模模型；材料还报告其base模型在VQAv2、TextVQA、OKVQA、COCO上的结果。
- 研究方法
- 研究围绕预训练模型、架构选择、数据和训练方法开展受控消融：多数消融训练6000步，以VQAv2、TextVQA、OKVQA、COCO四个下游基准的4-shot平均分作为比较指标。骨干消融固定骨干规模、多模态预训练数据和训练更新次数，分别替换LLaMA-1-7B为Mistral-7B、CLIP-ViT-H为SigLIP-SO400M等。架构比较在冻结单模态骨干与使用LoRA解冻/适配两种设置下进行，并记录可训练参数量、推理FLOPs和训练稳定性；池化消融比较Perceiver 128与64个查询。长宽比与分辨率实验将图像块不经缩放或改比例送入视觉编码器，并用LoRA适配插值后的位置嵌入；图像切分实验在指令微调阶段把单图变为4个裁剪子图加原图，共5图序列。Idefics2预训练使用OBELICS交错图文文档、PMD与LAION COCO图文对（含合成标题）、OCR-IDL、PDFA和Rendered Text等数据，分两阶段将最大分辨率从384提升到980像素，报告约1.5B图像和225B文本token的训练量。
- 学术贡献
- 贡献首先在实证与方法层面：把VLM设计中常被默认的决策（语言与视觉骨干选择、跨注意力与全自回归架构、池化、长宽比/分辨率、图像切分）放入同一受控实验框架中比较，给出可复核的消融结论。其次在机制认识层面，论文提出并检验“冻结骨干限制表达力”的解释：冻结时跨注意力占优，解冻后全自回归配合LoRA显著提升（+12.9分），并指出全自回归全参训练会发散。再次在资源层面，论文给出学习式池化与长宽比保持策略的效率—性能权衡证据，以及图像切分在OCR/文档理解任务上的算力换性能路径。最后在领域拓展与材料层面，发布8B的Idefics2 base、instructed、chat模型及训练数据，并报告其同尺寸SOTA、部分基准接近四倍规模模型的结果，对开放VLM架构设计与训练实践子领域有直接价值。
- 存在局限
- 局限首先体现在消融规模与评价覆盖：多数比较仅训练6000步并以四个基准的4-shot平均分为主，材料未明确说明对更多任务类型、零/少样本、指令跟随或对话能力的系统消融。架构比较中，冻结设置下跨注意力比全自回归多约1.3B可训练参数且推理FLOPs高10%，参数与算力并不完全匹配，削弱了对架构本身的纯净归因。全自回归全参训练发散的原因仍以假设表述，LoRA稳定训练的作用机制材料未给出更细的梯度或模块级证据。视觉骨干方面，材料承认开放VLM社区缺少大型且充分训练的视觉编码器，EVA-CLIP-5B可能训练不足，使视觉骨干规模结论受限；数据过滤仅人工检查5000例NSFW样本，样本代表性有限。片段未给出instructed/chat版本的完整基准与训练细节，相关结论无法据材料核验。
- 进一步研究方向
- 可在匹配可训练参数量与推理FLOPs的条件下重跑跨注意力与全自回归架构消融，并加入梯度范数、各模块更新幅度与损失曲面的监测，以验证发散与LoRA稳定化的具体机制。可把学习式池化的token数（如64、128及更多）与训练数据量/训练步数交叉设计，检验材料提出的“无限数据与训练下更多视觉token可能提升”的假设。可围绕长宽比保持与图像切分做推理成本—精度曲线：在TextVQA、DocVQA之外加入更多文档、表格、图表与自然图像任务，分别报告分辨率、子图数量与子图分辨率的边际收益。还可构建或引入更大且充分训练的开放视觉编码器，在固定语言骨干与数据预算下重复视觉骨干规模/质量消融，检验“语言骨干质量影响更大”的结论是否随视觉编码器训练充分度改变。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications