Otter：一种基于上下文指令微调的多模态模型
Otter: A Multi-Modal Model With In-Context Instruction Tuning
Bo Li, Yuanhan Zhang, Liangyu Chen, Jinghao Wang, Fanyi Pu, Joshua Adrian Cahyono, Jingkang Yang, Chunyuan Li, Ziwei Liu
IEEE Transactions on Pattern Analysis and Machine Intelligence · 2025-05-20
摘要
近期，大型多模态模型在作为视觉助手方面展现出巨大潜力。然而，现有研究大多集中于对单一指令的响应或利用过往对话进行语境理解，鲜有探讨将图像与文本同时用作上下文示例以提升模型指令遵循能力。为填补这一空白，我们提出了Otter模型，利用文本与视觉两类上下文示例开展指令微调。具体而言，Otter以采用Perceiver架构的Flamingo为基础，针对通用多模态助手场景进行了指令微调。Otter能够无缝处理多模态输入，支持文本、多张图像以及动态视频内容等多种模态。为支撑Otter的训练，我们推出了MIMIC-IT（多模态上下文指令微调）数据集，该数据集包含超过300万组多模态指令-响应配对，其中涵盖约220万条覆盖各类图像与视频的独特指令。MIMIC-IT经过精心筛选，为每个条目配备了多样化的上下文示例。全面评估结果表明，借助这些上下文示例进行的指令微调显著提升了模型的收敛速度与泛化能力。尤为值得关注的是，MIMIC-IT数据集所覆盖的广泛应用场景，使Otter模型在复杂视频及多图像理解任务中表现优异。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 该文的核心论点是：现有多模态大模型多针对单条指令或依赖先前对话进行上下文理解，缺少同时以图像和文本作为上下文示例来提升指令跟随能力的讨论。为此，作者提出 Otter，以文本与视觉 in-context examples 进行 instruction tuning，构建通用多模态助手。Otter 基于 Flamingo 与 Perceiver 架构，可无缝处理文本、多张图像和动态视频输入。支撑性论断包括：MIMIC-IT 数据集含超过300万条多模态指令-响应对、约220万条独特指令，覆盖广泛图像与视频，且每条目配置多样 in-context examples。综合评估显示这些上下文示例显著提升模型收敛与泛化，并使 Otter 在复杂视频和多图像理解任务中表现优异。
- 研究方法
- 该文的方法路径是在 Flamingo with Perceiver 架构上开展指令调优，将文本与视觉上下文示例共同纳入训练，以形成通用多模态助手。训练材料为作者构建的 MIMIC-IT，样本构成为超过300万条多模态指令-响应对，其中约220万条独特指令，覆盖广泛图像和视频，并为每条目策划多样 in-context examples。模型输入模态包括文本、多张图像和动态视频，处理方式为多模态无缝输入。评估路径为 comprehensive evaluations，用以检验上下文示例对模型收敛和泛化能力的影响，并观察其在复杂视频和多图像理解任务上的表现。材料中未明确提及具体评测基准、指标、消融实验、基线对比、模型规模、训练超参数与数据构建细则。
- 学术贡献
- 在模型层面，提出 Otter，将文本与视觉 in-context examples 用于指令调优，且支持文本、多图、动态视频输入，指向通用多模态助手。在材料层面，发布 MIMIC-IT，含超过300万条多模态指令-响应对和约220万条独特指令，覆盖广泛图像与视频，并为每条目提供多样上下文示例。在方法/议题层面，贡献于多模态指令调优和 in-context instruction tuning，特别是同时使用图像与文本作为上下文示例以增强指令跟随。摘要声称该训练方式提升模型收敛与泛化，并扩展复杂视频和多图像理解能力。
- 存在局限
- 摘要以 comprehensive evaluations 概括评估，未给出具体基准、评价指标、对比方法、消融设置或统计检验，因而上下文示例带来的收敛与泛化增益幅度及成立条件无法核验。MIMIC-IT 虽给出300万+指令-响应对和约220万独特指令的总量，但未说明数据来源、筛选标准、模态与场景分布、语言构成、标注一致性及潜在偏差，样本代表性不明确。Otter 基于 Flamingo 与 Perceiver，摘要未交代相对基座架构的具体改动、参数规模、训练成本、是否开源及复现条件，方法可迁移性缺乏信息。对复杂视频和多图像理解任务中表现优异的论断仅停留在概括表述，未展示任务类型、难度分层、错误案例或与单指令/先前对话上下文训练的对照结果，论证链条在效果归因上不完整。
- 进一步研究方向
- 可在同一基座与数据预算下设置控制实验，比较仅文本上下文、仅视觉上下文、文本+视觉上下文三组训练条件，验证二者联合对收敛速度和泛化的具体贡献。可对 MIMIC-IT 按图像、多图、视频及任务类型分层，在复杂视频和多图像理解任务上报告细粒度指标与错误类型，检验场景覆盖与性能提升之间的对应关系。可围绕每条目的 in-context examples 做消融，改变示例数量、相关性和多样性，以识别指令跟随增强的关键因素及边际效应。可对 MIMIC-IT 进行数据审计与可复现性建设，公开来源、筛选规则、语言/场景分布和标注一致性，评估样本偏差对模型泛化的影响。可将 Otter 与单指令训练和先前对话上下文训练策略在相同评测集上直接对照，以判定多模态上下文示例相较既有路径的增量收益。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications