图检索增强生成（GRAG）
GRAG: Graph Retrieval-Augmented Generation
Yuntong Hu, Zhihan Lei, Zheng Zhang, Bo Pan, Chen Ling, Liang Zhao
Findings of the Association for Computational Linguistics: NAACL · 2025-01-01
开放获取大模型与语言检索增强与智能体推理与思维链被引 93被引前 10%影响因子 ≈7.0
摘要
传统的检索增强生成（RAG）方法在检索阶段仅针对单个文档进行处理，因此难以应对引文图谱、社交媒体数据及知识图谱等应用中极为常见的网络化文档。为突破这一局限，我们提出了图检索增强生成（GRAG）方法，该方法致力于解决文本子图的检索难题，并将文本信息与拓扑结构信息有机结合后输入大型语言模型（LLM），以提升其生成能力。为实现高效的文本子图检索，我们提出了一种新颖的分而治之策略，能够在线性时间内检索出最优的子图结构。为了实现基于图上下文的生成，我们通过文本视图与图视图两种互补的视角将文本图谱融入大型语言模型，从而帮助模型更有效地理解并利用图结构中的上下文信息。在各类图推理基准测试上的大量实验表明，在需要针对文本图谱进行多步推理的场景中，我们的GRAG方法显著优于当前最先进的RAG技术。GRAG的相关数据集与代码已开源，网址为https://github.com/HuieL/GRAG。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对 naive RAG 在检索时仅关注单个文档、难以处理引文图、社交媒体和知识图谱等网络化文档的问题，提出 Graph Retrieval-Augmented Generation（GRAG）。其核心论点是 GRAG 需在检索与生成两个阶段同时考虑文档的网络关系，检索与查询最相关的文本子图并将文本与拓扑联合信息注入 LLM。检索端，论文主张用分治策略先检索重要节点的 ego-graph，再经图软剪枝与合并，以线性时间近似最优文本子图，避免穷举子图的 NP-hard 问题。生成端，论文通过文本视图的硬提示（层次化文本描述）和图视图的软提示（图 token）两个互补视角，使 LLM 理解实体间关系并生成符合图上下文的回答。在 GraphQA 的 WebQSP 与 ExplaGraphs 多跳图推理任务上，GRAG 显著优于当前 SOTA RAG 方法，且冻结 LLM 加 GRAG 超过微调 LLM，软剪枝和跨数据集迁移被报告为有效。
- 研究方法
- 论文先将文本图形式化为 G=(V,E,{Tn},{Te})，并将 GRAG 目标定义为检索最优文本子图 ^g 后以 pθ(Y|[q,^g]) 生成答案。检索阶段采用分治策略：用 SentenceBERT 离线编码节点与边的文本属性，经 mean pooling 得到每个 K-hop ego-graph 的图嵌入，并以查询嵌入的余弦相似度排序 top-N 子图。随后用两个 MLP 依据节点/边文本与查询的元素级距离学习缩放因子，对 top-N 子图做软剪枝并合并为近似最优子图。生成阶段先用 BFS 将 ego-graph 拆为树 Tg 与额外边集 Eg，再以先序遍历和关系模板生成层次化文本描述作为硬提示；同时用 GNN 编码拓扑并经 MLP 对齐为 LLM token 空间的软提示。实验在 GraphQA 基准的 WebQSP（4700 个图，平均 1370.89 节点、4252.37 边、100627 token）和 ExplaGraphs（2766 个图，平均 5.17 节点、4.25 边、1396 token）上进行，指标为 F1、Hit@1、Recall 与 Accuracy。对比方法包括 BM25、MiniLM-L12-v2、LaBSE、mContriever、E5、G-Retriever，以及冻结 LLM 和 LoRA 微调 LLM 基线；另做 100 样本人工幻觉评估、子图大小 K 与 ego-graph 数量变化实验及跨数据集迁移实验。
- 学术贡献
- 理论建构上，论文形式化了 Graph Retrieval-Augmented Generation（GRAG）问题，将文本子图检索与联合文本—拓扑生成纳入统一目标。方法创新上，提出分治式文本子图检索与图软剪枝机制，把原本 NP-hard 的穷举子图搜索转化为先检索 ego-graph 再精炼合并的线性时间近似方案。提示方法上，提出将文本图无损转换为层次化文本描述的算法，将 K-hop ego-graph 拆为树与额外边并通过遍历和关系模板生成硬提示。生成机制上，构建文本视图硬提示与图视图软提示的双视角注入方式，用 GNN 编码拓扑并经 MLP 对齐 LLM 的文本向量空间。实证与材料上，在 GraphQA 的 WebQSP 和 ExplaGraphs 上系统比较多种 RAG 检索器、G-Retriever 与 LLM 基线，公开数据集和代码，对图多跳推理、知识图谱问答和 LLM 图上下文利用等议题有直接价值。
- 存在局限
- 检索近似建立在“重要子图由重要节点及其部分邻居构成”的假设上，并用 max Vkey Σ f(ego-graph) 替代原全局子图优化，可能无法保证逼近真正最优子图。实验仅覆盖 WebQSP 与 ExplaGraphs 两个 GraphQA 数据集，虽在引言列举引文图、社交媒体、产品评论等网络化文档，但未在这些图类型上验证，样本代表性有限。生成模型主要基于 Llama2 系列，材料虽比较 7B 与 13B 在无检索时的表现，但未明确 GRAG 在其他规模或架构 LLM 上的稳健性。人工幻觉评估仅随机抽取 100 个样本，并主要检查输出引用的节点和边是否存在于图中，未系统评估答案的事实一致性、多标注者一致性或其他幻觉类型。子图检索存在超参数敏感：材料显示检索 ego-graph 数量从 15 增至 20 时性能下降，且 2-hop 一致优于 1-hop，但未给出自动选择 K 与数量的机制。跨数据集迁移方向不对称，WebQSP→ExplaGraphs 提升 33.77%，而 ExplaGraphs→WebQSP 的 Hit@1 仅提升 2.15%，说明迁移能力受源数据规模与图结构差异影响。
- 进一步研究方向
- 将 GRAG 扩展到引文图、社交媒体帖文图、知识图谱和产品评论图等多领域文本图，构建或采用跨领域 GraphQA 基准，验证不同拓扑密度与文本属性下的检索与生成表现。针对分治近似的全局最优缺口，可研究直接优化子图组合的选择模型，例如用强化学习或可微分子图选择替代 Σ f(ego-graph) 近似，并在更大 K 与更多 ego-graph 场景验证精度—效率权衡。对软剪枝机制做系统消融，比较不同距离度量、MLP 结构与门控函数，检验能否缓解 ego-graph 数量从 15 增至 20 时的性能下降。对层次化文本描述算法开展控制实验，比较 BFS/先序/其他遍历、额外边 Eg 插入方式与关系模板设计对拓扑保留度和问答准确率的影响。在 Llama2 之外的多类开源与闭源 LLM 上复现 GRAG，特别测试 13B 及更大模型在引入检索后是否改变“更大 LLM 无检索不一定更强”的结论。将人工评估扩大到多标注者、多数据集，并设计区分实体有效性与答案事实性的幻觉标注协议；同时针对 ExplaGraphs→WebQSP 的低迁移提升，研究领域自适应或元学习方法。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling