基于视觉指令微调的改进型基准模型
Improved Baselines with Visual Instruction Tuning
Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee
arXiv (Cornell University) · 2023-10-05
开放获取大模型与语言多模态与视觉语言被引 66影响因子 ≈0.2
摘要
近年来，大型多模态模型在视觉指令微调方面取得了令人鼓舞的进展。本文指出，LLaVA模型中的全连接视觉-语言跨模态连接器具备惊人的强大性能与数据利用效率。通过对LLaVA进行简单修改——即采用CLIP-ViT-L-336px作为视觉编码器并搭配多层感知机投影层，同时加入面向学术任务的VQA数据集及简单的回答格式提示词——我们构建了更优的基准模型，其在11个基准测试中的表现均达到当前最优水平。我们最终得到的130亿参数模型仅使用了120万条公开可用的数据，在单台搭载8块A100显卡的节点上约1天即可完成全部训练。我们希望这一成果能降低前沿大型多模态模型研究的门槛。相关代码与模型将公开发布。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文在LLaVA框架下对大型多模态模型（LMM）的设计选择进行首个系统性受控研究，对象是视觉指令微调中的跨模态连接器、输入分辨率和训练数据配方。核心论断是LLaVA的全连接视觉-语言跨模态连接器出人意料地强大且数据高效，线性投影升级为两层MLP即可提升多模态能力。通过两项简单修改——使用CLIP-ViT-L-336px配合MLP投影，以及加入带响应格式提示的学术任务型VQA数据——论文建立LLaVA-1.5基线，并在11/12个基准上达到最优。最终13B检查点仅使用1.2M公开数据，在单节点8×A100上约1天完成训练。论文还初步探索高分辨率输入、组合能力、数据效率与数据缩放、模型幻觉等开放问题；LLaVA-1.5-HD用网格切分编码并拼接降采样全局上下文扩展到448²，改善细节感知并减少切分-合并伪影。响应格式提示（如“Answer the question using a single word or phrase.”）被用于缓解短答学术任务与长答自然视觉对话之间的多任务平衡难题。
- 研究方法
- 研究在LLaVA框架内做受控消融，从输入、模型、数据三方面逐步加入修改，并在GQA、MME、MM-Vet等代表性指标上比较。材料/样本包括公开的558K预训练图文对和665K指令微调数据，合计1.2M，具体含VQA-v2、OKVQA、A-OKVQA、OCRVQA、TextCaps、Visual Genome、RefCOCO、GQA、ShareGPT等。方法包括response formatting prompt（如A-OKVQA用“Answer with the option’s letter from the given choices directly.”）、MLP跨模态连接器、CLIP-ViT-L-336px视觉编码器，以及Vicuna 7B/13B与LLaMA-2-Chat的LLM消融。高分辨率方法为split-encode-flatten：将图像切成视觉编码器原训练分辨率的图块独立编码，合并特征图，再拼接降采样图像特征提供全局上下文，得到LLaVA-1.5-HD。评估覆盖12个基准：VQAv2、GQA、VizWiz、SQA-IMG、TextVQA、POPE、MME、MMBench、MMBench-CN、SEED-Bench、LLaVA-Bench-in-the-Wild、MM-Vet，并对开放对话用GPT-4评估正确性与有用性。数据效率消融采用随机下采样训练数据混合物最多75%的方式。
- 学术贡献
- 贡献属于方法创新、基准建立与数据配方发掘层面。论文提出简单可复现的LMM训练配方：MLP连接器、响应格式提示与学术任务型VQA数据相结合，用于平衡短答学术任务和自然视觉对话。它建立LLaVA-1.5强基线，以1.2M公开数据和约1天8×A100训练在11/12个基准达到最优，并对“LMM需要大规模视觉-语言对齐预训练”的常见看法提出疑问。高分辨率网格编码与全局上下文拼接为任意分辨率扩展提供了保持数据效率的路径，对开源LMM、视觉指令微调、多模态指令跟随、学术VQA与对话平衡、细粒度感知与幻觉等议题有直接价值。
- 存在局限
- 多个学术基准的训练图像或标注在训练中被观察，例如GQA训练图像被明确标注为训练时见过，VQAv2、GQA等结果带星号，这可能使跨方法比较中的最优结论受到数据泄露控制不足的影响。高分辨率LLaVA-1.5-HD通过切分-编码-合并实现，材料承认存在split-and-merge伪影，虽用全局上下文缓解，但未系统量化该伪影对空间关系、细粒度定位和OCR错误的影响。与GPT-4V的示例比较中，LLaVA-1.5在JSON信息抽取仍出现若干错误，材料未明确提及安全性、偏见、多语言（除MMBench-CN外）和跨架构泛化的系统评估。受控研究主要限定在LLaVA框架内，对InstructBLIP与Qwen-VL能力差异的根因归因于响应格式、是否微调LLM、Qformer容量等，但未做跨架构同数据同预算的完整对照。数据效率结论来自随机下采样最多75%，材料中未明确提及更复杂数据压缩策略的验证结果。
- 进一步研究方向
- 可在相同LLaVA框架、相同1.2M公开数据和8×A100训练预算下，系统变化MLP连接器的层数与宽度、视觉编码器类型和LLM规模，用GQA、MME、MM-Vet及完整基准验证数据效率边界。针对高分辨率split-encode-merge伪影，可设计带重叠切分、跨网格注意力或可学习位置融合的方法，在OCR、RefCOCO/Visual Genome定位和POPE幻觉基准上对比全局上下文有无，量化空间关系与幻觉改善。对response formatting prompt可做多语言、多轮对话与模板扰动实验，在VQAv2/GQA短答和LLaVA-Bench/MM-Vet对话两端同时评估，验证短长答平衡机制。可继续材料提出的数据压缩问题：比较基于难度、多样性、去重的下采样策略与随机下采样25%/50%/75%，检验相同计算下是否保持或提升基准成绩。针对组合能力，可设计长文本语言推理与短视觉推理的组合训练任务，测试多模态写作与视觉推理的泛化。针对幻觉，可结合高分辨率与全局上下文做POPE random/pop/adv消融并分类错误类型。这些路径均可在公开数据与代码基础上复现和验证。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications