视觉指令微调
Visual Instruction Tuning
Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee
arXiv (Cornell University) · 2023-04-17
开放获取大模型与语言多模态与视觉语言被引 682影响因子 ≈0.2
摘要
本研究首次尝试利用仅基于文本的GPT-4模型来生成多模态图文指令跟随数据。通过利用这类生成数据进行指令微调，我们推出了LLaVA：大型语言与视觉助手，这是一款端到端训练的大型多模态模型，能够将视觉编码器与大型语言模型相衔接，以实现通用的视觉与语言理解功能。初步实验表明，LLaVA展现出出色的多模态对话能力，面对未见过的图像或指令时，其表现有时可与多模态GPT-4相媲美；在合成多模态指令跟随数据集上的相对得分达到了85.1%。当在Science QA数据集上进一步微调后，LLaVA与GPT-4协同作用下的准确率达到了92.53%，创下新的最优水平。我们已将GPT-4生成的视觉指令微调数据、相关模型及代码库公开发布。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出视觉指令微调，首次尝试用仅语言的GPT-4生成多模态语言-图像指令跟随数据，把图像-文本对重构成指令格式。通过在该生成数据上指令微调，作者构建LLaVA，将CLIP视觉编码器与Vicuna语言解码器端到端连接，用于通用视觉与语言理解。论文报告LLaVA具备多模态聊天能力，在未见图像/指令上有时呈现多模态GPT-4的行为，并在合成多模态指令跟随数据集上相对GPT-4得分为85.1%。在ScienceQA上微调后，LLaVA与GPT-4协同达到92.53%的新当前最优准确率。论文还构造LLaVA-Bench两个评测基准，并公开GPT-4生成的视觉指令数据、模型和代码。
- 研究方法
- 数据生成以COCO图像为源，用caption和bounding boxes作为符号表示来提示仅语言的GPT-4或ChatGPT，并用手工设计的少量种子示例做上下文学习。生成数据分三类：对话、详细描述、复杂推理，共158K样本，其中对话58K、详细描述23K、复杂推理77K。模型以CLIP ViT-L/14为视觉编码器，输出视觉特征Zv，经可训练线性投影矩阵W映射为语言嵌入Hv，再接入Vicuna。训练分两阶段：第一阶段在过滤CC3M得到的595K图像-文本对上冻结视觉编码器和LLM、只训练投影矩阵W；第二阶段保持视觉编码器冻结，更新W和LLM，并在158K指令数据上微调多模态聊天机器人，在ScienceQA上按单轮问答、推理与答案为目标微调。实验用8×A100，预训练学习率2e-3、batch size 128、1 epoch，微调学习率2e-5、batch size 32、3 epochs。定性评估引用GPT-4论文示例并对比BLIP-2与OpenFlamingo；定量评估用GPT-4作裁判，将图像、真实文本描述、问题构成triplet，参考预测由text-only GPT-4基于问题与真实描述生成，再评价候选回答的helpfulness等指标。
- 学术贡献
- 在数据层面，提出将image-text pairs转换为instruction-following格式的数据改革视角与流水线，使用ChatGPT/GPT-4生成视觉语言指令数据，针对多模态指令跟随数据缺乏的问题。在模型层面，提出LLaVA，将CLIP开放集视觉编码器与Vicuna语言解码器连接，并在生成的多模态指令数据上端到端微调，验证了生成数据用于大视觉语言模型指令微调的有效性。论文给出构建通用指令跟随视觉智能体的实践提示，报告了多模态聊天与ScienceQA上的结果，其中与GPT-4集成在ScienceQA达到92.53%。在评测层面，构造LLaVA-Bench，包含两个基准和多样的图像、指令与详细标注配对。在资源层面，公开GPT-4生成的视觉指令微调数据、代码库、模型检查点与视觉聊天演示。
- 存在局限
- 材料中未明确提及作者自述的局限，但从方法可直接看到：生成教师仅接收caption与bounding boxes等符号表示，原图不用于提示GPT-4，数据质量受符号描述与检测框覆盖约束。指令数据总量158K、约80K唯一图像，且图像源为COCO、预训练源为过滤CC3M，对更广开放域视觉场景与真实用户指令分布的覆盖未被材料报告。模型连接采用简单线性投影，作者在正文中明确将更有效的复杂架构设计留作未来工作，因此当前投影方案与门控交叉注意力或Q-former等方案的差距未被检验。定量评测在合成多模态指令跟随数据集上由GPT-4担任裁判，材料未报告该裁判与人类评分的一致性、裁判偏差或任务类型分层结果。ScienceQA的92.53%是与GPT-4协同后的结果，材料未拆分LLaVA单模型与GPT-4集成各自贡献，也未给出协同机制的错误分析。
- 进一步研究方向
- 在同一158K数据和相同训练配置下，比较线性投影与门控交叉注意力、Q-former等连接结构，在LLaVA-Bench和ScienceQA上分别报告对话、详细描述、复杂推理得分，验证架构差异对指令跟随与视觉推理的影响。扩展数据生成流水线，纳入更多图像源、区域级描述与多轮交互样本，并引入人工校验或让生成教师接触更丰富的视觉符号，检验计数、空间关系与复杂推理错误的减少幅度。对两阶段训练做消融：分别冻结或解冻视觉编码器、仅训练投影层、联合更新投影层与LLM，并在595K预训练数据与158K指令数据上交叉组合，测量各阶段对最终性能的贡献。在LLaVA-Bench上增加人工评分，与GPT-4裁判分数做相关性分析，并按任务类型、图像域、指令复杂度分层，验证85.1%相对分数的稳健性与裁判偏差。将ScienceQA中LLaVA单独输出与LLaVA加GPT-4的集成输出分离评估，做题型级错误分析，定位协同增益来自视觉推理、答案选择还是解释生成。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications