多模态大语言模型的革命：综述
The Revolution of Multimodal Large Language Models: A Survey
Davide Caffagni, Federico Cocchi, Luca Barsellotti, Nicholas Moratelli, Sara Sarto, Lorenzo Baraldi, Lorenzo Baraldi, Marcella Cornia, Rita Cucchiara
Findings of the Association for Computational Linguistics: ACL (Findings of ACL) · 2024-01-01
开放获取大模型与语言多模态与视觉语言被引 98被引前 10%影响因子 ≈3.4
摘要
达维德·卡法尼（Davide Caffagni）、费德里科·科基（Federico Cocchi）、卢卡·巴尔塞洛蒂（Luca Barsellotti）、尼古拉斯·莫拉泰利（Nicholas Moratelli）、萨拉·萨尔托（Sara Sarto）、洛伦佐·巴拉尔迪（Lorenzo Baraldi）、玛切拉·科尔尼亚（Marcella Cornia）、丽塔·库基亚拉（Rita Cucchiara）。《计算语言学协会发现：ACL 2024》。2024年。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文将视觉模态MLLM界定为以LLM为交互接口、以视觉编码器和视觉到语言适配器连接图文、具备对话与指令跟随能力的模型，核心问题是视觉与文本模态如何对齐并服务于多任务。文章从架构、训练方法、任务三条主线展开，认为主流架构由LLM backbone、CLIP系ViT视觉编码器及线性/MLP、Q-Former、附加交叉注意力等适配器构成。训练上区分单阶段与两阶段，并将大规模未精选图文对用于初始对齐、视觉指令数据用于第二阶段细化。任务面覆盖视觉定位、图像生成与编辑、视觉理解及领域应用，并强调性能与计算需求的比较。
- 研究方法
- 采用综述式文献分类与比较分析：按视觉编码器、视觉到语言适配器、单/两阶段训练、训练数据与评测基准逐项归纳近期视觉MLLM。材料包括表1汇总的generalist MLLMs及其LLM、视觉编码器、适配器、是否视觉指令调优、主要任务与能力，并对BLIP-2、Flamingo、LLaVA、MiniGPT-4、InstructBLIP、Qwen-VL、SPHINX等模型作组件级对照。数据集层面列举CC3M、LAION、COYO-700M、DataComp、WebLI、MMC4、OBELICS及LLaVA-Instruct、LRV-Instruct、LLaVAR等，区分初始预训练数据与指令微调数据。文章还声明在补充材料中报告训练数据、评测数据集、性能与计算需求，并作模型间性能与硬件要求比较。
- 学术贡献
- 贡献主要属于材料整理与领域地图层面：系统汇总视觉MLLM的LLM backbone、视觉编码器、适配器和训练范式，形成可检索的模型组件表。相较既有综述，文章明确补入视觉定位、图像生成与编辑等此前被忽略的任务面向，并把训练数据集与评测基准纳入同一综述框架。其比较视角还覆盖性能与硬件需求，对多模态对齐策略、视觉指令调优和MLLM评测等子议题提供结构化参照。表1对每个模型标注LLM训练方式（从头训练、微调、PEFT、冻结）与适配器类型，便于后续按组件开展对照。
- 存在局限
- 材料未明确提及系统检索、纳入/排除标准和文献覆盖截止规则，因而综述的样本边界与选择偏差不可核验。表1限定为vision-to-language任务的generalist MLLMs，摘要所述领域特定应用与图像生成/编辑在正文摘录中未见对应模型清单与评测细节，任务覆盖与表格样本之间存在不对称。性能与计算需求比较被置于补充材料，正文摘录未给出统一复评协议，若仅汇总原论文报告结果则跨模型可比性受限。部分模型以灰色标示为不公开，公开模型与闭源模型的训练数据、参数量和硬件条件不一致，削弱架构/适配器选择的因果归因。
- 进一步研究方向
- 可先建立可复现的系统综述协议，对视觉MLLM文献设定检索库、时间窗、纳入排除标准和组件编码表，复核表1模型覆盖与任务分类的一致性。其次，对表1中公开模型在统一基准上复评视觉定位、图像生成与编辑、视觉理解及领域应用，并记录参数量、适配器类型与硬件消耗，以检验架构选择与性能差异的对应关系。再次，对CC3M、LAION、COYO-700M、DataComp、WebLI、MMC4、OBELICS与LLaVA-Instruct、LRV-Instruct、LLaVAR作数据构成审计，按单阶段/两阶段训练比较数据规模、精选程度与幻觉/指令跟随表现。最后，可围绕线性/MLP、Q-Former、附加交叉注意力三类适配器做控制变量对照，验证视觉编码器冻结与否、适配器容量和训练阶段划分对视觉定位与生成任务的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications