混合专家语言模型可作为高效且性能优异的检索器
Mixture-of-Experts Language Models Can Be Strong and Efficient Retrievers
Anima Shrestha, Safal Shrestha, Minwu Kim, Torsten Suel, Keith Ross
arXiv (Cornell University) · 2026-09-11
摘要
近期研究表明，针对检索任务对仅解码器架构的大型语言模型进行微调后，可得到性能出色的一阶段检索器，且随着模型规模的扩大其效果还会进一步提升。但由于每个查询和文档都需经过整个模型处理，因此编码成本会随模型规模增大而增加。混合专家语言模型在生成每个词元时仅激活部分参数，虽已被广泛用于扩展生成式模型的规模，但将其应用于检索器的研究仍相对匮乏。我们采用统一流程，对多个系列的混合专家模型与密集型大型语言模型进行检索相关训练，随后在多种数据集上对其性能进行评估，并在相同的服务配置下测量查询编码时间，从而系统探究混合专家模型在检索任务中的应用潜力。研究结果显示，在活跃参数数量相近的情况下，混合专家检索器在BEIR数据集上的nDCG@10指标可比密集型检索器高出多达3.0个点。我们性能最优的混合专家检索器之一，仅需使用参数量仅为8B密集型检索器59%的活跃参数，就能实现与之相当的检索效果，且查询编码时间还缩短了18%。我们还发现，无需重新训练或重建索引，仅需减少用于查询编码的专家数量，即可保留超过99%的检索效果，同时使查询编码时间缩短多达26%。近期出现的重排模型相较于性能出色的混合专家一阶段检索器，所能带来的增益十分有限，而我们评估的重排配置效果往往与混合专家一阶段检索器相当甚至更优。综上这些结果证明，混合专家语言模型能够成为高效且性能优异的一阶段检索器。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心问题是预训练MoE LLM能否在与稠密模型可比激活参数量下成为更强的首阶段检索器，并在更低查询编码成本下匹配更大的稠密检索器。作者在BEIR-13上发现，MoE检索器相对同家族激活参数量匹配的稠密对照提升1.4–3.0 nDCG@10分；Qwen3-MoE以少59%的激活参数量和低18%的查询编码时间基本匹配Qwen3-8B。论文还指出，查询侧使用的专家数可在不重训、不重建索引的条件下减少，保留超过99%的检索效果并将查询编码时间最多降低26%。此外，近期重排器对强MoE首阶段的增益有限，最强MoE首阶段可匹配或超过所评估的重排配置。作者据此论证，激活参数量并非运行时间的可靠代理，MoE LLM可作为强且高效的首阶段检索器。
- 研究方法
- 论文采用受控训练与评测：从OLMo、LFM2、Qwen3、DeepSeek、Gemma五个家族选取MoE与稠密decoder-only LLM，将OLMoE-1B-7B、LFM2-8B-A1B、Qwen3-30B-A3B分别与同家族激活参数量接近的稠密模型配对，DeepSeek-V2-Lite与Gemma-4 26B-A4B作为描述性比较。全部检索器使用同一流程：在Tevatron中用LoRA微调，适配器覆盖专家参数而预训练路由器冻结；训练数据为RLHN，每条查询配一个相关文档与15个硬负例，全局批大小32，使每条查询对比512个候选文档，查询和文档截断至192 token，温度τ=0.01，bf16精度并启用梯度检查点。检索表示遵循RepLLaMA式做法，在输入末尾附加EOS token并取最后一层隐藏状态，经L2归一化后用点积打分，训练目标为结合硬负例与批内负例的InfoNCE损失。评测在13个BEIR数据集上以精确搜索计算nDCG@10，查询和文档截断至512 token；编码时间在单张NVIDIA H100上测量，查询用NQ的1000条样本、批大小128，文档用NQ语料1000篇、批大小64，采用bf16与torch.compile。重排实验用mxbai-rerank-large-v2、Qwen3-Reranker-0.6B和RankLLaMA-v1-7B三个pointwise重排器对首阶段top 200重排；查询侧专家削减实验仅用小专家数k重新编码查询，检索时使用按训练专家数构建且不变的语料索引。
- 学术贡献
- 在理论层面，论文将MoE架构的激活参数优势从生成模型迁移到首阶段检索问题，提出并验证了“MoE检索器可在激活参数匹配时超过稠密对照、并在更低查询编码成本下匹配更大稠密模型”的论点。在方法层面，论文提出查询侧专家数削减这一无需重训与重建索引的推理时效率手段，利用查询与文档独立编码的非对称性，在固定语料索引下减少查询侧激活参数并测量延迟。在材料与实证层面，论文对五个模型家族、多个MoE与稠密骨干在统一训练流程和统一服务配置下进行BEIR-13比较，补充了此前公开证据狭窄且结论混杂的缺口。在领域拓展层面，论文关于强MoE首阶段使重排增益有限的结果，对LLM稠密检索中的“首阶段—重排”流水线设计与效率评估有直接价值。
- 存在局限
- 受控对照仅覆盖OLMo、LFM2、Qwen3三个家族，DeepSeek与Gemma因模型代际或架构差异被归为描述性比较，因此MoE相对稠密优势的因果性证据未扩展到全部五个家族。评测集中于BEIR-13的nDCG@10，训练截断至192 token、评测截断至512 token，材料未明确涉及多语言、长文档、领域外迁移或端到端检索延迟等设置。编码时间仅在单张H100、固定批大小和服务配置下测量，未给出内存占用、索引构建成本或在其他硬件与批大小下的波动。效率削减实验只操作查询侧专家数，文档侧专家数、索引构建所用专家数以及索引大小变化均未被研究。微调统一采用LoRA且冻结路由器，未比较全参数微调、路由器可训练或不同LoRA配置对MoE检索优势的影响。重排实验仅使用三个pointwise重排器并只重排top 200，且摘录中Gemma-4-MoE的重排结果不完整；论文也未分析路由权重或专家专业化与检索效果之间的机制关系。
- 进一步研究方向
- 可为DeepSeek-V2-Lite与Gemma-4 26B-A4B补做同代、同架构的稠密对照，并沿用同一RLHN训练流程与BEIR-13评测，检验MoE相对稠密对照的增益是否在更多家族中稳定存在。可系统扫描文档侧专家数、索引构建时的专家数以及查询侧与文档侧同时削减的组合，测量检索效果、文档编码时间、索引大小与召回变化，以判断效率收益能否从查询侧扩展到全流程。可开展路由器冻结与解冻、LoRA适配范围、全参数微调及不同温度与负例配置的消融实验，测量这些训练选择对MoE与稠密检索器差距的影响。可在不同GPU型号、批大小、服务框架与并发负载下重复编码时间测量，并报告内存与吞吐，以验证“激活参数量不是运行时间可靠代理”的适用范围。可提取并比较查询与文档编码时的路由权重、专家激活分布与专家专业化程度，关联BEIR-13逐数据集效果，检验检索微调是否改变预训练路由模式。可在重排实验中引入listwise或cross-encoder重排器、扩大候选集规模并纳入摘要中缺失的Gemma结果，测定强MoE首阶段下重排收益的上界与适用条件。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Information Retrieval and Search Behavior