InstructBLIP：基于指令微调的通用视觉语言模型研究
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, Steven C. H. Hoi
arXiv (Cornell University) · 2023-05-11
摘要
大规模预训练与指令微调在构建具备广泛能力的通用语言模型方面已取得显著成效。然而，由于视觉输入的多样性以及任务类型的繁杂，构建通用视觉语言模型仍面临诸多挑战。尽管视觉语言预训练已得到广泛研究，但视觉语言指令微调领域却鲜有探索。本文基于预训练的BLIP-2模型，对视觉语言指令微调展开了系统全面的研究。我们收集了26个公开数据集，涵盖各类任务与能力需求，并将其转化为指令微调所需的格式。此外，我们提出了一种指令感知型查询变换器，能够提取适配特定指令的有效特征。InstructBLIP在13个预留测试集上训练后，于全部13个预留测试集上均取得了顶尖的零样本性能，表现远超BLIP-2及规模更大的Flamingo模型。当针对单个下游任务进行微调时，该模型同样能取得顶尖性能，例如在含图像背景的ScienceQA测试中准确率可达90.7%。我们还通过定性分析展示了InstructBLIP相较于同期多模态模型的优势。所有InstructBLIP模型均已开源，相关地址为https://github.com/salesforce/LAVIS/tree/main/projects/instructblip。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对通用视觉-语言模型构建中因视觉输入带来输入分布丰富、任务多样，而视觉-语言指令微调仍未被充分研究的问题，提出 InstructBLIP。其核心论点是在预训练 BLIP-2 基础上进行系统、全面的视觉-语言指令微调，可使单一模型通过统一自然语言接口处理多类视觉-语言任务并提升零样本泛化。支撑性论断包括：不含指令的多任务学习对未见数据集和任务泛化不佳；将 26 个公开数据集转为指令微调格式并按 11 个任务类别组织，能改善泛化。论文提出 instruction-aware Query Transformer，把文本指令同时送入 Q-Former 与冻结 LLM，以抽取与给定任务相关的视觉特征；并提出按数据集规模平方根概率采样的平衡策略。论文断言 InstructBLIP 在全部 13 个 held-out 数据集上取得零样本 SOTA，显著超过 BLIP-2 与更大的 Flamingo 模型，并在下游微调中取得最优结果，例如 ScienceQA 图像上下文问题达到 90.7% 准确率。
- 研究方法
- 论文以 BLIP-2 为初始化，采用模块化架构：冻结 ViT-g/14 图像编码器与冻结 LLM，仅微调 Q-Former；使用 FlanT5-XL 3B、FlanT5-XXL 11B、Vicuna-7B、Vicuna-13B 四个 LLM 变体。数据构造上收集 26 个公开视觉-语言数据集，覆盖图像描述、带阅读理解的图像描述、视觉推理、图像问答、知识 grounded 图像问答、带阅读理解的图像问答、图像问题生成、视频问答、视觉对话问答、图像分类与 LLaVA-Instruct-150K，并为每个任务人工构建 10 到 15 个自然语言指令模板。训练与评估协议将 26 个数据集分为 13 个 held-in 数据集和 13 个 held-out 数据集，并整体留出视觉推理、视频问答、视觉对话问答、图像分类四类任务用于任务级零样本评估，同时避免数据污染。训练采用标准语言建模损失，对涉及场景文本的数据集在指令中加入 OCR token；采样概率与数据集规模平方根成比例，并人工降低 A-OKVQA、提高 OKVQA 的权重。推理时多数数据集直接生成回答，分类与多选 VQA 采用受限词表排序法；视频问答均匀采样四帧，分别经图像编码器与 Q-Former 后拼接视觉特征。论文还通过消融研究分别移除 instruction-aware 视觉特征与数据平衡采样，并以定性样例与 GPT-4、LLaVA、MiniGPT-4 比较。
- 学术贡献
- 在框架层面，论文把视觉-语言指令微调作为系统研究对象，给出任务分类、held-in 与 held-out 划分以及任务级留出的评估设计，推进通用多模态模型研究。在方法层面，论文提出 instruction-aware Query Transformer，使视觉特征抽取依赖给定指令；并提出按数据规模平方根加权的平衡采样策略，用于多数据集同步训练。在材料与资源层面，论文将 26 个公开数据集转换为指令微调格式，覆盖 11 个任务类别，并开源全部 InstructBLIP 模型与代码。在实证层面，论文在 13 个 held-out 数据集取得零样本 SOTA，超过 BLIP-2 和 Flamingo，显示 4B 参数的小模型在六个共享评估数据集上超过 Flamingo-80B，且下游微调在 ScienceQA 上达到 90.7% 准确率。在领域拓展层面，论文证明指令微调可提升对完全未见任务类别如视频问答的零样本泛化，对多模态指令微调、视觉问答与视觉推理等子领域有直接价值。
- 存在局限
- 研究基于 BLIP-2 架构，只微调 Q-Former 并冻结图像编码器与 LLM，未探索联合微调或其他视觉-语言连接结构。held-out 与 held-in 的划分虽做了防污染处理，但数据来源、任务模板由作者设定，指令模板数量、措辞与人工权重调整的影响未被系统分解。材料中未明确提及全部 26 个数据集的完整统计、各指令模板的逐项消融或模板敏感性分析。定性比较主要展示 InstructBLIP 在若干样例上相对 GPT-4、LLaVA、MiniGPT-4 的优势，缺乏对长回答偏好、视觉细节正确性等评价指标的量化。材料属于计算机视觉与多模态学习研究，未涉及艺术学领域的研究对象、艺术理论、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈、戏曲与曲艺等议题，因此无法从艺术学学科内部评估其贡献与局限。
- 进一步研究方向
- 在相同 held-in 与 held-out 协议下，系统改变指令模板数量、措辞长度与格式，量化模板设计对零样本迁移的影响。对 instruction-aware Q-Former 与数据平衡采样分别做更细粒度消融，例如固定采样比例、逐任务权重扰动，观察 held-out 任务级泛化变化。将四类完全留出的任务类别逐个加入 held-in 训练，检验任务级零样本向任务级少样本或全监督迁移的边界，并测量数据污染风险。对多选与分类推理中的 vocabulary ranking 与直接生成做对照实验，分析受限词表、verbalizer 扩展对 ScienceQA、IconQA、A-OKVQA 等结果的影响。在视频问答中改变采样帧数、帧间时序建模与特征拼接方式，检验时间视觉推理性能是否随帧数与时序结构变化。若进入艺术学相关场景，可用绘画、设计、影视等图像-文本语料构建指令数据并复现同一评估协议，但材料中未提供此类数据与实验，需另立研究。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications