MIMIC-IT：多模态上下文指令微调
MIMIC-IT: Multi-Modal In-Context Instruction Tuning
Li, Bo, Yuanhan Zhang, Liangyu Chen, Jinghao Wang, Fanyi Pu, Jingkang Yang, Chunyuan Li, Ziwei Liu
arXiv (Cornell University) · 2023-06-08
摘要
高质量指令与回应对于大语言模型在交互式自然语言任务上的零样本性能至关重要。对于涉及复杂视觉场景的交互式视觉-语言任务，应当迫切需要大量多样且富有创造力的指令-回应对来对视觉-语言模型（VLMs）进行微调。然而，当前在数量、多样性和创造性方面可用的视觉-语言指令-回应对依然有限，这对交互式VLMs的泛化能力构成了挑战。在此我们提出多模态上下文指令微调（MIMIC-IT），这是一个包含280万组多模态指令-回应对的数据集，其中220万条为源自图像与视频的独特指令。每一组对都附带多模态上下文信息，形成对话语境，旨在赋能VLMs的感知、推理与规划能力。该指令-回应收集流程被称为Syphus，通过结合人类专业知识与GPT能力的自动标注流程实现规模化。利用MIMIC-IT数据集，我们训练了一个名为Otter的大规模VLM。基于在视觉-语言基准上开展的广泛评估，观察到Otter在多模态感知、推理与上下文学习方面展现出卓越的能力。人类评估表明其有效契合用户的意图。我们发布MIMIC-IT数据集、指令-回应收集流程、基准以及Otter模型。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对交互式视觉语言任务中高质量指令-响应对在数量、多样性与创造性上的不足，提出 MIMIC-IT 数据集，包含约280万条多模态指令-响应对和220万条唯一指令，覆盖图像与视频。其核心论点是：面向复杂视觉场景的视觉语言模型需要大量多样且富有创造性的指令-响应对，并应引入多模态 in-context 信息，以提升感知、推理与规划能力。数据格式将查询样本表示为指令、响应、图像/视频集合及其 in-context 示例的组合，支持任意数量图像或视频以及多模态上下文。论文以 Syphus 自动标注流程扩展指令-响应采集，并基于 MIMIC-IT 训练 Otter 模型。作者声称 Otter 在多模态感知、推理与 in-context learning 上表现突出，人类评估显示其能较好对齐用户意图。
- 研究方法
- 方法路径包括数据集构建、自动标注流水线与模型训练评估：MIMIC-IT 汇集 COCO、Spot-the-diff、ScanNetV2、VIST、DenseCaption/Activity caption、TVCaption 与 Ego4D 七类来源，合计约50.2万视频片段/810万图像、220万条指令和280万实例。Syphus 以 system message、视觉标注（如边界框、图像描述、时间戳、物体信息）和 in-context examples 提示 ChatGPT/GPT-4 生成指令-响应对，先以 cold-start 策略筛选示例，再经生成、过滤与翻译步骤扩展到八种语言。数据组织采用查询样本加 in-context 示例的格式，Cψ 根据任务组织上下文示例，视频被视为有序图像序列。模型方面，Otter 基于 OpenFlamingo 训练。评估采用 MMAGIBench 上的 ChatGPT 评价、Multi-Modality Arena 上的人类 Elo 评价，以及 COCO Caption 上的 few-shot in-context learning 对比。
- 学术贡献
- 贡献首先在资源层面：构建并发布约280万条多模态 in-context 指令-响应对，材料称其为最大的视觉语言指令数据集，并称其为首个包含视频数据的指令数据集，支持多模态 in-context 与八种语言。其次在方法层面：提出 Syphus 自动指令-响应生成流水线，将 system message、视觉标注、in-context examples、cold-start、过滤与翻译组合为可扩展的标注路径。再次在模型与评测层面：训练 Otter，并在 MMAGIBench、Multi-Modality Arena 与 COCO Caption few-shot 设置中报告其感知、推理、in-context learning 与用户意图对齐表现。其领域价值集中在多模态指令微调数据集构建、视觉语言模型训练与交互式视觉问答/推理评测等议题。材料还称发布数据集、采集流水线、benchmarks 与 Otter 模型。
- 存在局限
- 局限首先体现在数据来源与分布：七个来源中 Ego4D 在实例数（2.4M/2.8M）和指令数（1.8M/2.2M）上占绝对多数，COCO、ScanNetV2、Spot-the-diff、VIST、TVC 等来源规模较小，来源分层与场景覆盖的代表性受限。其次，指令-响应的质量主要依赖 ChatGPT/GPT-4 生成与自动过滤；材料未明确给出生成数据的人工审核比例、事实性/幻觉率、指令多样性指标或翻译质量评估，因而 Syphus 的质量控制链条在文中证据不足。再次，评估以 MMAGIBench 的 ChatGPT 评价、Multi-Modality Arena 的人类 Elo 和 COCO Caption few-shot 为主，材料未呈现按数据来源、视频/图像、多模态 in-context 与语言-only in-context 的消融，难以把 Otter 的优势单独归因于 MIMIC-IT 的哪一设计。人类评估的样本量、评价标准与一致性材料中未明确提及。最后，摘要与正文宣称“最强性能”“最高 Elo”等，但摘录未给出具体分数、置信区间或统计检验，论证链条在定量比较上不完整。
- 进一步研究方向
- 可开展受控消融：以相同 OpenFlamingo 底座分别训练仅语言 in-context、多模态 in-context、去除视频、按来源均衡采样的 MIMIC-IT 子集，在 MMAGIBench 与 COCO Caption few-shot 上比较，以验证多模态上下文与视频数据对感知、推理、规划各自贡献。可对 Syphus 生成结果做分层人工审计：按七个来源与八种语言抽样，标注事实性、指令多样性、响应幻觉与翻译保真度，并比较 GPT-4 与 ChatGPT 生成、cold-start 示例质量及过滤步骤的影响。可构建来源分层评测集，分别覆盖 COCO 一般场景、Spot-the-diff 监控差异、ScanNetV2 室内、VIST 故事、TVC 社会推理与 Ego4D 自我中心视频，检验模型在不同场景与任务上的泛化边界。可设计 in-context 示例数量与模态组合的实验（语言示例、图像示例、视频示例、混合示例），测量上下文长度、示例相似度选择策略 Cψ 对少样本性能的影响。还可对八种语言版本进行平行评测，比较翻译前后指令-响应语义偏移与多语言零样本迁移效果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications