多模态大语言模型：多模态大语言模型的最新研究进展
MM-LLMs: Recent Advances in MultiModal Large Language Models
Duzhen Zhang, Yahan Yu, Jiahua Dong, Chenxing Li, Dan Su, Chenhui Chu, Dong Yu
Findings of the Association for Computational Linguistics: ACL (Findings of ACL) · 2024-01-01
开放获取大模型与语言多模态与视觉语言被引 260被引前 10%影响因子 ≈3.4
摘要
过去一年中，多模态大语言模型取得了显著进展，通过成本可控的训练策略对现有大语言模型进行扩展，使其能够支持多模态输入或输出。这类模型不仅保留了大语言模型固有的推理与决策能力，还能胜任各类多模态任务。本文旨在为推进多模态大语言模型相关研究提供全面梳理。我们首先概述了模型架构与训练流程的通用设计范式，随后介绍了涵盖126种多模态大语言模型的分类体系，每种模型均对应特定的设计方案。接着，我们评估了部分代表性多模态大语言模型在主流基准测试中的表现，总结了提升其性能的关键训练方法。最后，我们探讨了多模态大语言模型颇具前景的发展方向，同时维护了一个实时更新该领域最新进展的网站以供参考。我们希望本综述能为多模态大语言模型领域的持续发展贡献力量。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将MM-LLMs界定为以现成LLM为认知核心、通过低成本训练策略接入其他模态编码器与生成器，从而支持多模态输入或输出的模型族。其核心判断是：该路线在保留LLM推理、决策、零样本迁移、上下文学习与指令跟随能力的同时，可赋能图像-文本、视频-文本、音频-文本及任意模态转换任务。论文以模型架构与训练流程的一般设计公式为组织框架，提出覆盖126个MM-LLM的分类体系，并强调MM PT与MM IT两阶段对齐是连接不同模态的关键。论文还通过主流基准上的性能评述与训练配方总结，勾勒该领域从多模态理解向多模态生成及any-to-any转换扩展的趋势。
- 研究方法
- 论文采用综述式文献梳理与分类学建构，而非单一案例或实验研究。具体路径是先拆解一般模型架构为Modality Encoder、Input Projector、LLM Backbone、Output Projector、Modality Generator五个组件，并逐一列举实现选项；再将训练流程划分为MM PT与MM IT两阶段，整理Image-Text、Video-Text、Audio-Text等数据集及SFT、RLHF数据。材料层面，作者建立126个SOTA MM-LLMs的功能分类与设计分类，并以表格汇总43个主流模型的输入输出模态、编码器、投影器、LLM骨干、生成器及PT/IT数据规模。性能部分选取部分MM-LLMs在主流基准上进行比较，并给出训练配方总结与领域时间线。
- 学术贡献
- 贡献首先在理论/框架层面：论文给出MM-LLMs的通用架构公式与训练管线公式，把分散模型纳入可比较的五组件与两阶段框架。其次在分类学层面：以功能划分（I+T→T、V+T→T、A+T→T、Many→T、I+T→I+T、Many→Many等）与设计划分（Tool-using与End-to-end）组织126个模型，形成该子领域的模型谱系。再次在材料整理层面：汇总43个主流模型的组件配置与PT/IT数据规模，并整理PT/IT数据集表、时间线和实时更新网站。其价值集中于多模态大语言模型的架构综述、模型谱系梳理与训练配方归纳，而非提出新模型或新算法。
- 存在局限
- 作为综述，论文未报告作者自行设计的对照实验或统一复现实验，性能评述依赖“selected MM-LLMs”与“mainstream benchmarks”的选择，材料未说明选择标准与基准覆盖范围。126个模型的分类虽给出功能/设计维度，但材料未说明各类目是否互斥、是否覆盖全部相关模型，也未给出分类编码的一致性检验。训练配方总结来自已有模型的配置汇总，材料未交代不同数据规模、指令模板与RLHF反馈之间的消融比较，因而难以判断各组件对性能的独立贡献。材料中未明确提及艺术学对象或艺术创作场景，若用于艺术学讨论需另行建立问题域。
- 进一步研究方向
- 材料仅说明论文在Section 6讨论promising directions，未给出具体条目；以下路径依据其五组件与两阶段管线提出。路径之一：选取同一LLM Backbone，固定其他组件，仅替换Modality Encoder与Input Projector（Linear、MLP、Q-Former、P-Former、MQ-Former等），在相同benchmark上做受控消融，验证投影器类型与编码器规模对多模态理解性能的影响。路径之二：将126模型分类扩展为可复核的编码表，补充分类互斥性检验与跨时间更新，利用作者维护的网站做纵向追踪，分析Tool-using与End-to-end两类设计在不同模态输出任务中的分布变化。路径之三：围绕MM PT+MM IT管线，使用材料所列Image-Text、Video-Text、Audio-Text及SFT/RLHF数据表构建统一实验协议，比较数据规模、指令模板与RLHF反馈对零样本迁移和指令跟随的作用。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications