LLaVA-Video：基于合成数据的视频指令微调
LLaVA-Video: Video Instruction Tuning With Synthetic Data
Yuanhan Zhang, Jianmin Wu, Wei Li, Bo Li, Zejun Ma, Ziwei Liu, Chunyuan Li
arXiv (Cornell University) · 2024-10-03
开放获取大模型与语言多模态与视觉语言被引 158被引前 50%影响因子 ≈1.1
摘要
视频大多模态模型（LMMs）的发展一直受到从网络上策展大量高质量原始数据难度较大的制约。为应对这一问题，我们提出一种替代方案，专门为视频指令跟随任务构建高质量合成数据集，即LLaVA-Video-178K。该数据集包含详细字幕生成、开放式问答（QA）以及选择题式问答等关键任务。通过在该数据集上训练，并结合现有视觉指令微调数据，我们推出了LLaVA-Video这一新型视频大多模态模型。实验结果表明，LLaVA-Video在各类视频基准测试中均取得了优异表现，凸显了本数据集的有效性。我们计划发布该数据集、其生成流程以及模型检查点。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对视频大型多模态模型（video LMMs）训练中高质量原始视频数据难以从网络大规模获取的问题，提出以合成数据替代真实采集的路径。核心论点是：通过构建高质量合成视频指令跟随数据集LLaVA-Video-178K（包含178K视频、1.3M指令样本，覆盖详细描述、开放式问答和多项选择问答三类任务），并结合现有视觉指令调优数据训练LLaVA-Video模型，可显著提升视频理解性能。支撑性论断包括：当前视频指令数据集存在视频静态、剪辑简化剧情、帧采样稀疏等缺陷，导致模型难以捕捉细致动作和连续剧情；采用动态未剪辑视频源、每秒一帧密集采样和递归三级描述生成管道，能生成更丰富的时序标注；实验表明LLaVA-Video在多个视频基准上表现强劲，验证了合成数据集的有效性。研究的具体对象是视频指令调优数据的合成方法及基于此的视频LMM训练，问题域涉及视频语言指令跟随数据的构建与评估。
- 研究方法
- 论文的方法路径包括：首先对40余个视频语言数据集进行溯源调查，归纳出10个主要视频源（HD-VILA-100M、InternVid-10M、VidOR、VIDAL、YouCook2、Charades、ActivityNet、Kinetics-700、Something-Something v2、Ego4d），构建视频池；随后使用PySceneDetect计算场景数并结合分辨率、时长、场景密度等过滤逻辑，从池中筛选动态未剪辑视频（时长0-3分钟），最终获得178K视频（约2K小时）。标注生成采用递归三级描述管道：以每秒一帧采样，利用GPT-4o依次生成Level-1（每10秒，结合当前帧与历史上下文）、Level-2（每30秒，结合最近三个Level-1描述与上一Level-2描述）、Level-3（视频末尾，结合最近Level-1与最新Level-2描述）的详细描述。基于描述，定义16种问题类型，提示GPT-4o生成开放式和多项选择问答对，并通过句子变换器去重和规则过滤（如去除以“does not specify”等开头的答案）。模型训练以LLaVA-OneVision单图像阶段检查点为起点，联合视频与图像数据微调，并引入LLaVA-VideoSlowFast表示技术，将视频表示为参数(V=(T, M, s, p))，对慢帧组和快帧组分别采用不同池化率以在有限GPU内存下容纳更多帧。评估在11个视频基准（如ActivityNet-QA、LongVideoBench、EgoSchema、MLVU、PerceptionTest、VideoMME等）上进行，使用LMMs-Eval标准化流程。
- 学术贡献
- 论文的贡献体现在材料发掘、方法创新和领域拓展三个层面。在材料发掘层面，构建了LLaVA-Video-178K数据集，包含178K视频和1.3M指令样本，具备四个特性：覆盖10个主要视频源的广泛来源、动态未剪辑视频选择、递归三级详细描述生成管道与每秒一帧密集采样、涵盖16种问题类型的多样化任务（开放式与多项选择QA）；该数据集在视频动态性、帧采样密度和任务多样性上区别于LLaVA-Hound和ShareGPT4Video等现有合成数据集。在方法创新层面，提出了递归三级视频描述生成管道，利用历史上下文生成任意长度视频的详细描述；同时提出LLaVA-VideoSlowFast视频表示技术，通过参数化分配不同池化率给慢帧和快帧组，在有限GPU内存下将帧数提升至传统方法的三倍。在领域拓展层面，开发了LLaVA-Video系列视频LMM，在11个视频基准上取得强性能，并开源了数据集、生成管道、模型检查点和演示，对视频语言指令调优数据构建和视频大型多模态模型子领域具有直接价值。
- 存在局限
- 材料中未明确提及局限，但依据方法设计可指出以下不足：第一，数据集仅涵盖时长0-3分钟的视频，对更长视频（如超过3分钟）的指令跟随能力未经验证，而实际应用常涉及长视频理解。第二，数据生成完全依赖GPT-4o，其固有偏差（如对某些视觉细节的遗漏或过度概括）可能传导至标注数据，且未与开源模型生成数据进行质量对比。第三，16种问题类型虽参考公开基准定义，但属于预定义集合，可能无法覆盖真实用户查询的开放性和多样性，问答对的自然度与复杂推理深度未经过人类评估验证。第四，递归描述管道中历史上下文逐级传递，可能产生误差累积，导致长视频描述的一致性下降，但论文未设计纠错或回溯机制。第五，评估虽覆盖11个基准，但主要针对短时长视频，对复杂叙事视频（如电影、长纪录片）的泛化性能缺乏专门测试。
- 进一步研究方向
- 可操作的研究路径包括：第一，针对视频时长限制，将递归描述管道扩展至10分钟以上视频，引入分层记忆压缩机制（如对Level-2描述进行周期性摘要），并在LongVideoBench等长视频基准上验证扩展效果。第二，为降低对GPT-4o的依赖，使用开源视频LMM（如LLaVA-Video自身）生成指令数据，与GPT-4o生成数据在相同视频源上对比标注质量（通过人类评分和下游任务性能），验证开源模型替代的可行性。第三，从真实用户查询日志中挖掘问题类型分布，扩充预定义问题类型集，并采用人类评估衡量生成问答的自然度和推理深度。第四，对LLaVA-VideoSlowFast表示进行消融实验，系统变化参数s（慢帧间隔）和p（池化率），在多个视频长度区间（如<1分钟、1-3分钟、>3分钟）上测量性能与计算成本的权衡，确定最优配置。第五，构建专门针对复杂叙事视频（如电影片段、多场景纪录片）的测试集，评估LLaVA-Video在剧情连贯性理解上的表现，并分析递归描述管道中的误差累积模式。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications