Qwen2-VL：提升视觉-语言模型对任意分辨率世界的感知能力
Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution
Peng Wang, Shuai Bai, Sinan Tan, Shijie Wang, Zhihao Fan, Jinze Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Ge Wen-bin, Yang Fan, Kai Dang, Mengfei Du, Xuancheng Ren, Rui Men, Dayiheng Liu, Chang Zhou, Jingren Zhou, Junyang Lin
arXiv (Cornell University) · 2024-09-18
摘要
我们推出Qwen2-VL系列，这是此前的Qwen-VL模型的进阶升级版本，重新定义了视觉处理领域传统的预设分辨率方案。Qwen2-VL引入朴素动态分辨率机制，使模型能够动态处理不同分辨率的图像，将其转化为不同数量的视觉标记。该方案让模型生成更高效、更精准的视觉表征，与人类感知过程高度契合。该模型还集成了多模态旋转位置嵌入（M-RoPE），促进文本、图像和视频三类模态间位置信息的高效融合。我们采用统一范式处理图像与视频，提升模型的视觉感知能力。为探索大多模态模型的潜力，Qwen2-VL对大视觉-语言模型（LVLMs）的缩放律展开研究。通过对模型规模——包含2B、8B和72B参数三个版本——以及训练数据量的双向扩展，Qwen2-VL系列取得了极具竞争力的性能表现。值得注意的是，Qwen2-VL-72B模型在各类多模态基准测试中取得的结果与GPT-4o、Claude3.5-Sonnet等领先模型相当，优于其他通用型模型。代码获取地址为https://github.com/QwenLM/Qwen2-VL。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文提出 Qwen2-VL 系列模型，核心主张是放弃视觉处理中「预设固定分辨率」的传统路线，改以 Naive Dynamic Resolution 机制把不同分辨率的图像动态映射为数量不等的视觉 token，从而生成更高效、更准确的视觉表征。作者进一步声称该做法「贴近人类感知过程」，但这一比对属于立论性断言，材料中未给出知觉层面的验证。模型同时引入 Multimodal Rotary Position Embedding（M-RoPE），用以在文本、图像、视频三类模态间融合位置信息，并以统一范式处理图像与视频，强化视觉感知能力。论文另一条主线是探究大型视觉语言模型（LVLMs）的缩放规律：通过将参数规模扩展至 2B、8B、72B 并同步扩大训练数据量，论证规模与数据双重扩展可带来性能提升；其中 Qwen2-VL-72B 在多模态基准上取得与 GPT-4o、Claude3.5-Sonnet 相当的结果，并优于其他通用模型。
- 研究方法
- 方法路径以架构设计与规模对照实验为主：在模型层面提出 Naive Dynamic Resolution 机制与 M-RoPE 位置编码，并以统一范式覆盖图像与视频两类输入；在实验层面采用缩放律（scaling law）研究设计，以 2B、8B、72B 三档参数规模为自变量、训练数据量为协同变量，观察多模态基准上的性能变化。对照对象为 GPT-4o、Claude3.5-Sonnet 及其他通用模型。材料中未明确提及具体基准清单、训练数据来源与配比、动态分辨率下 token 数量的取值范围，也未说明是否设置固定分辨率基线的对照消融、是否报告算力成本与方差统计。
- 学术贡献
- 贡献首先落在方法创新层面：Naive Dynamic Resolution 把「分辨率—token 数」的映射由预设改为动态生成，为视觉 token 效率与表征精度的权衡提供了一个可替换传统固定分辨率流程的架构方案，直接针对 LVLM 中输入分辨率受限这一具体议题。其次体现在位置编码设计上，M-RoPE 将旋转位置嵌入推广到文本、图像、视频的联合序列，为跨模态位置信息融合提供了统一处理方式；统一图像—视频范式亦属同一层面的整合性贡献。第三是领域拓展与经验材料层面，论文给出 2B/8B/72B 三档规模的缩放实验，为 LVLM 的缩放律讨论提供了同源多规模的对照数据点，并以 72B 模型与 GPT-4o、Claude3.5-Sonnet 的基准对比标定了开源通用模型的性能位置。代码开源亦构成可复现性方面的材料贡献。材料中未涉及艺术学各子领域的应用或评测。
- 存在局限
- 第一，评测证据的呈现不充分：材料仅笼统称「各类多模态基准」，未列出基准名称、任务类型分布与具体数值，因而「与 GPT-4o、Claude3.5-Sonnet 相当」这一论断缺乏可核查的支撑细节，也无法判断对比是否在同等 token 预算与同等推理成本下进行。第二，论证链条存在跳跃：动态分辨率「贴近人类感知过程」是从架构效率与精度结果反推的类比，材料中未见任何人类知觉实验或心理物理对照，该命题目前悬置。第三，缩放律结论的覆盖面有限：仅取 2B、8B、72B 三个跨度较大的档位，且未说明数据量与模型规模是否解耦控制，难以区分性能增益来自参数扩张还是数据扩张，曲线在中间规模上的形态亦无从判断。第四，效率主张缺少量化：既然以「更高效」为核心卖点，却未在材料中给出不同分辨率下的 token 数、推理时延或显存占用的对照数据；视频侧的时间建模与长视频表现亦未在材料中交代。
- 进一步研究方向
- 其一，做受控消融：固定同一评测基准集合与同一训练数据，分别训练固定分辨率基线与 Naive Dynamic Resolution 版本，在匹配 token 预算的条件下比较精度与推理时延，以分离动态分辨率的净效应。其二，细化缩放实验：在 2B 与 8B、8B 与 72B 之间补入中间规模，并将数据量作为独立因子做网格控制，拟合可区分参数项与数据项的缩放曲线，检验现有三点结论在插值区间是否成立。其三，针对 M-RoPE 做位置编码探针：构造需要长程时空定位的视频检索与高分辨率文档定位任务，比较 M-RoPE 与替代位置编码方案在长度外推上的衰减曲线。其四，补充效率—精度帕累托分析：系统记录不同输入分辨率下的视觉 token 数、显存占用与吞吐，绘制帕累托前沿，验证「更高效」的具体成立区间。其五，检验「贴近人类感知」这一断言：设计以人类注视或分辨率敏感度为参照的对照实验，将模型在不同分辨率下的表征或注意力分布与人类知觉数据比对，把类比命题转为可检验假设。其六，材料未提及艺术领域评测，若面向图像细节敏感的专门领域（如高分辨率图像细读、视频时序细节），可在上述受控框架下增设领域基准以检验动态分辨率的适用边界。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications