基于视觉指令微调的改进型基准模型
Improved Baselines with Visual Instruction Tuning
Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16
摘要
近年来，大型多模态模型在视觉指令微调方面取得了令人鼓舞的进展。本文首次在LLaVA框架下的受控环境中，对大型多模态模型的设计选择展开系统性研究。研究发现，LLaVA中的全连接视觉-语言连接器竟展现出惊人的强大性能与数据利用效率。通过对LLaVA进行简单改良——即采用CLIP-ViT-L-336px作为视觉编码器并搭配多层感知机投影层，同时加入面向学术任务的VQA数据集及响应格式化提示词——我们构建了更强大的基准模型，其在11个基准测试中的表现均达到业界领先水平。我们最终训练出的130亿参数模型仅使用了120万条公开可用的数据，在单台搭载8块A100显卡的节点上约1天便可完成全部训练。此外，本文还对大型多模态模型领域的一些开放性难题进行了初步探索，包括高分辨率输入下的模型扩展、组合能力以及模型幻觉等问题。我们希望借此降低前沿大型多模态模型研究的门槛。相关代码与模型将公开发布。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 本文以 LLaVA 框架为对象，首次在受控设定下系统考察大型多模态模型（LMM）的设计选择，问题域是视觉指令微调中架构与数据配比的取舍。作者的核心论断是：LLaVA 中的全连接视觉—语言连接器（fully-connected vision-language connector）具有超出预期的表达力与数据效率。据此论文提出两处改动——以 CLIP-ViT-L-336px 搭配 MLP 投影，以及在训练中引入面向学术任务的 VQA 数据并附加响应格式提示（response formatting prompts）。由这些改动建立的基线在 11 项基准上达到最优，最终 13B 检查点仅使用 1.2M 公开数据，在单台 8-A100 节点上约 1 天完成全量训练。论文另就高分辨率输入扩展、组合能力与模型幻觉等开放问题给出初步探索。
- 研究方法
- 研究采取框架内控制变量式的对比路径：固定 LLaVA 框架，逐一变更设计要素，而非提出全新架构。架构侧的操作是将视觉编码器换为 CLIP-ViT-L-336px，并把原有连接器改为 MLP 投影；数据侧的操作是混入学术任务导向的 VQA 数据并加入响应格式提示。效能评价以 11 项基准上的成绩为主，同时以数据规模（1.2M 公开数据）与训练时长（单台 8-A100 节点约 1 天）度量数据与算力效率。对高分辨率、组合能力、幻觉三个开放问题，论文以探索性实验处理。摘要未交代消融实验的分组设计、11 项基准的具体清单以及成绩的统计检验方式。
- 学术贡献
- 贡献集中在基线建构与训练配方层面，属于方法工程与可复现基础设施的推进，而非新理论框架的提出。其具体价值落在多模态指令微调这一子议题上：把「连接器设计」与「数据配比＋响应格式提示」确认为影响性能的可操作变量。论文承诺公开代码与模型，并以 1.2M 公开数据、单节点一天的设定压低 SOTA 复现门槛，对算力受限的研究者有直接的可及性意义。对分辨率扩展、组合能力与幻觉的初步考察，则为该领域列出了一份问题清单。
- 存在局限
- 摘要对「全连接连接器异常强大且数据高效」这一核心论断未给出机制层面的解释，也未报告连接器与其他设计要素之间的交互效应。模型规模只报告 13B 单一档位，缺少跨参数量与跨数据量的受控比较，因而无法判断所得结论在更大或更小模型上是否成立。评测集中于 11 项基准，摘要未列出基准构成，也未说明是否包含开放式生成或人工评价，以基准成绩作为唯一效能证据的论证链条偏窄。训练数据虽全部为公开数据，但来源许可、清洗流程以及与评测集的重叠（去污染）处理在摘要中均未提及。高分辨率、组合能力、幻觉三部分被作者自述为初步探索，其结论的稳健性与可重复性无法从摘要判断。
- 进一步研究方向
- 其一，在固定数据与算力预算下对连接器做系统消融，比较线性投影、MLP 投影及不同投影维度与视觉 token 数量，以判定数据效率的来源是连接器容量还是视觉编码器分辨率。其二，把 1.2M 训练数据拆为学术 VQA 数据与通用指令数据两类，对两类数据的增减与响应格式提示的有无做因子设计，测量各自的边际增益及交互项。其三，保持评测集与训练配方不变，在 2B、7B、13B 等不同参数量上重复实验，检验「更强基线」是否随规模单调成立。其四，面向组合能力构造可控的属性绑定与空间关系问答集，并划分训练分布内与分布外两组，以准确率差值量化组合泛化，而非只报总体成绩。其五，针对幻觉，在相同解码策略下设置物体存在性判别式评测，比较加入学术 VQA 数据前后幻觉率的变化，判断基准提升是否以生成忠实度下降为代价。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications