多模态检索增强生成综述
A Survey of Multimodal Retrieval-Augmented Generation
Lang Mei, Siyu Mo, Zhihan Yang, Chong Chen
arXiv (Cornell University) · 2025-03-26
开放获取大模型与语言多模态与视觉语言检索增强与智能体被引 44被引前 50%影响因子 ≈1.1
摘要
多模态检索增强生成（MRAG）通过将多模态数据（文本、图像、视频）整合至检索与生成流程中，对大语言模型（LLMs）进行增强，克服了仅基于文本的检索增强生成（RAG）的局限性。尽管RAG通过引入外部文本知识提升了响应准确性，但MRAG将该框架拓展至包含多模态检索与生成，利用来自多元数据类型的上下文信息。该方法通过将响应锚定于事实性的多模态知识，减少了幻觉现象并优化了问答系统。近期研究表明，MRAG的表现优于传统RAG，在需要视觉与文本双重理解的场景中尤为突出。本综述梳理了MRAG的核心组成、数据集、评估方法与局限性，为其构建与优化提供洞见。同时明确了当前面临的挑战与未来研究方向，凸显了MRAG在革新多模态信息检索与生成方面的潜力。通过提供全面视角，本研究鼓励对该前景广阔的范式展开进一步探索。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该综述将多模态检索增强生成（MRAG）界定为在传统文本RAG基础上，把检索与生成的对象从纯文本扩展到文本、图像、视频等多模态数据，并以多模态大语言模型（MLLM）为生成核心，通过外部多模态知识对回答进行事实锚定，从而降低幻觉并提升问答质量。作者提出MRAG1.0（伪MRAG，将多模态数据转写为字幕与文本块）、MRAG2.0（保留原始多模态数据、引入跨模态检索与MLLM生成）、MRAG3.0（保留文档页面截图、支持端到端多模态输出、增设多模态搜索规划与检索增强组合）的三阶段演进论断，并围绕基本组件与技术、数据集、评估方法与指标、现有局限四个维度展开问题域。其支撑性论断包括：MRAG在视觉与文本信息同等关键的场景中优于纯文本RAG；但多模态检索精度仍低于文本检索，模态转换会造成细粒度信息损失。
- 研究方法
- 采用系统性综述与架构演进分期相结合的方法路径，以“组件与技术—数据集—评估方法与指标—局限”四维框架组织文献。通过三阶段架构图示（图1至图3）对MRAG1.0、2.0、3.0进行类型学比较，逐模块拆解文档解析与索引、检索、生成、多模态搜索规划及检索增强组合等环节。材料与样本为现有MRAG研究文献及系统架构描述，节选部分展示了各阶段的模块构成、信息流转路径与局限分析。材料中未明确提及文献检索的数据库、时间范围、纳入与排除标准、文献编码流程及样本量。
- 学术贡献
- 在理论建构层面提出MRAG三阶段演进框架，将“伪MRAG”到“真多模态”的转变锚定在文档解析、检索与生成三个模块的信息保留程度上，为多模态检索增强生成研究提供了可比较的架构谱系。在领域拓展层面把RAG研究从纯文本知识库推进到图像、表格、视频与页面截图并存的多模态知识库，并明确将VQA与文生图、文生视频生成任务纳入统一框架。对多模态信息检索、多模态问答系统评估以及MLLM应用等子领域具有架构梳理价值；材料中未提及对艺术学或数字艺术具体议题的讨论。
- 存在局限
- 三阶段划分的依据主要落在架构模块的有无与信息保留方式上，但材料中未明确提及划分标准的操作性定义与阶段边界的判定规则，MRAG2.0与3.0的区分尤其依赖图示而非可检验指标。对MRAG3.0的论述以架构图与场景描述为主，节选中未见对其搜索规划模块、截图索引策略的定量实验或消融验证，论证链条在“提出架构—验证效能”之间留有缺口。评估部分（第4、5节）在节选中未展开，数据集覆盖范围与指标选取的合理性无法核验；多模态定义包含音频，但材料中未明确提及音频模态在架构中的具体处理模块。对多模态生成场景（文生图、文生视频）仅作场景罗列，材料中未明确提及生成结果的质量评估维度。
- 进一步研究方向
- 针对MRAG2.0“多模态检索能力低于文本检索”的论断，可设计同一知识库上的对照实验，比较跨模态检索与文本检索的召回率及下游QA准确率，验证模态差距的来源。针对MRAG3.0的搜索规划模块，可做消融实验：分别关闭“是否需要搜索”判断与查询重写，测量无关检索比例与答案忠实度的变化。针对文档截图保留策略，可构建配对评估集，比较截图检索与字幕检索在VQA任务上的信息损失程度与回答准确率。针对多模态输出场景，可建立面向检索增强文生图、文生视频的评估指标，检验检索到的多模态知识对生成内容事实一致性的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications