多模态大语言模型：综述
Multimodal Large Language Models: A Survey
Jiayang Wu, Wensheng Gan, Zefeng Chen, Shicheng Wan, Philip S. Yu
arXiv (Cornell University) · 2023-11-22
开放获取大模型与语言多模态与视觉语言被引 10影响因子 ≈0.2
摘要
多模态语言模型的探索涉及图像、文本、语音及其他异构数据等多种数据类型。尽管最新一代大语言模型在基于文本的任务中表现优异，但往往难以理解和处理其他类型的数据。多模态模型通过整合多种模态来弥补这一缺陷，从而实现对多样化数据的更全面理解。本文首先界定了多模态的概念，并梳理了多模态算法的发展历程；随后介绍了各类多模态产品，重点探讨了主要科技企业的相关布局。文中还提供了实用的技术指南，深入解析多模态模型的技术要点；同时汇总了最新的算法与常用数据集，为研究人员的实验与评估工作提供重要资源。最后，本文探讨了多模态模型的应用场景，并分析了其发展面临的挑战。通过阐述上述内容，本文旨在帮助读者更深入地理解多模态模型及其在各领域的应用潜力。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 本文的核心论点是：纯文本大语言模型（如GPT-3、BERT、RoBERTa）虽在文本生成与编码任务上表现优异，却缺乏对其他数据类型的理解与处理能力，而多模态模型通过整合图像、文本、语言、音频等异质数据弥补了这一缺陷。作者将多模态界定为通过多种模态表达或感知复杂事物，并区分同质模态（如两台相机拍摄的图像）与异质模态（如图像与文本语言），同时给出语义感知（视觉、听觉、触觉、嗅觉输入的整合）与数据（图像、数值、文本、符号、音频、时间序列及集合、树、图等复杂结构的组合）两种界定视角。文章进一步主张多模态感知是实现通用人工智能的基础组件，对知识获取和与真实世界交互至关重要，且跨模态迁移使多模态模型在常识推理上优于单模态模型，其高价值应用集中于多模态机器人、文档智能、机器人技术、人机交互、图像搜索与语音生成等领域。作者以四阶段（单模态1980—2000、模态转换2000—2010、模态融合2010—2020、大规模模型2020—？）勾勒多模态算法的历史演进，并指出将大语言模型能力迁移到图文多模态领域仍是活跃的研究领域。
- 研究方法
- 本文采用综述性的文献梳理与分类比较路径，而非实验或实证研究。具体做法包括：一是概念界定与历史分期，按四个时间阶段择取代表性成果（PCA/Eigenfaces人脸识别、HMM语音识别、AMI会议数据项目、CALO聊天机器人、SSP社会信号处理、Ngiam多模态深度学习算法、深度玻尔兹曼机、语义注意力图像描述、CLIP、DALL-E 2、BEiT-3、KOSMOS-1、PaLM-E）构建演进脉络；二是围绕知识表示、学习目标选择、模型结构构建、信息融合与提示使用五个技术要点给出实用指南，并援引UNITER、METER、VLMO、CLIP、Visual ChatGPT等具体模型作为论据；三是分类汇编基础模型（Transformer、ViT、BEiT）与大规模多模态预训练模型（Visual ChatGPT、MM-REACT、Frozen、BLIP-2）及相关数据集。作者以Summaira等按模态分类、Wang等汇编算法与数据集、Yin等分类多模态算法三类既有综述为参照，说明本文从多模态基本定义切入、补充发展历程与应用概览的定位。材料中未明确提及文献检索数据库、检索式与纳入排除标准。
- 学术贡献
- 贡献主要落在材料发掘与领域脉络整理层面，而非理论建构或方法创新。相较于既有综述多以大模型介绍为起点、缺乏对多模态模型发展过程与实际应用的概览，本文从多模态的基本定义切入，补充了四阶段历史演进的梳理与应用场景的归纳，并以实用指南形式将知识表示、学习目标、模型结构、信息融合、提示五项技术要点系统化，对多模态预训练的技术入门与技术要点教学有直接用处。算法与数据集的汇编为研究者的实验设计与评估提供了基础资源清单。文章还整理出fusion encoder适配推理任务、dual encoder适配检索任务的对应关系，并梳理了主要科技公司的多模态产品布局，对多模态模型选型与产业态势追踪有用。
- 存在局限
- 其一，作为一篇篇幅约十页的会议综述（IEEE Big Data, pp.1–10），材料中未明确提及文献检索策略、覆盖时间范围与纳入排除标准，四阶段分期的划分依据与各阶段代表性成果的选取准则也未交代，综述覆盖的完备性无法核验。其二，若干关键论断的证据支撑单薄：优化视觉特征侧对结果的影响远大于优化文本侧，仅援引METER一项数据；使用过多学习目标未必有利，同样只以METER的实验为据，缺少跨模型、跨数据集的交叉验证。其三，技术要点部分的模型样本集中于CLIP、UNITER、METER、VLMO等少数几例，论证以举例说明为主，未对不同架构在统一基准下的性能差异作系统比较。其四，论文列出的挑战部分在提供材料中仅见章节标题与概述性交代，具体内容未展开。
- 进一步研究方向
- 材料中未明确列出可操作的研究路径，但据其自述的未决问题可提出若干具体方向。其一，材料称将大语言模型能力迁移到图文多模态领域仍是活跃研究领域，可选取Frozen与BLIP-2为对象，在冻结LLM、仅训练视觉编码器与Qformer的设定下，用同一组下游任务比较两者在零样本与少样本情境中的迁移效率及语言建模能力的保持程度。其二，作者提出结合不同模型架构或信息融合方法以增强能力是多模态统一的实现机制，可以VLMO的三专家预训练为基线，设计单流/双流与fusion encoder/dual encoder的交叉对照实验，量化推理任务与检索任务上的性能—速度权衡。其三，针对METER关于学习目标数量的观察，可对ITC、MLM、MVM、TM四种目标做系统消融，检验其组合效应随模型规模与数据规模变化的规律。其四，Visual ChatGPT的Prompt Manager迭代机制目前限于语言与图像，材料称其具备纳入视频或语音模态的可能，可将该机制扩展至视频或语音模态，并检验迭代终止条件对生成结果的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications