专家何时会被错误路由？混合专家语言模型中的反事实路由分析
When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models
Youngsik Yoon, Siwei Wang, Wei Chen, Jungseul Ok
arXiv (Cornell University) · 2026-05-08
摘要
混合专家（MoE）语言模型会将每个词元路由至少数几个专家模块，但经过训练的Top-$k$路由器所选的路由是否最优却很少被直接评估。在模型参数固定的前提下，我们将每个标准路由与针对同一词元生成的同等计算量替代路由进行比对，并根据这些路由在已验证的推理路径中对实际生成词元的下一个词元概率来打分。结果显示这种差异具有显著的词元依赖性：对于置信度较高的词元，标准路由器与路由效用高度契合；但对于推动复杂推理的脆弱词元，标准路由则无法提供有效信息——在固定模型内部其实存在损失更低的同等计算量替代路由，却未被选中。这一现象在Qwen3-30B-A3B、GPT-OSS-20B、DeepSeek-V2-Lite和OLMoE-1B-7B等模型中均普遍存在，其根源在于标准Top-$k$训练机制对路由决策的评估方式：语言建模损失仅针对已执行的路由打分，而负载均衡仅依据整体路由统计数据判定。仅需对最后一层路由器进行极小的更新，同时保持所有专家模块及其他路由器参数不变，就足以提升Qwen3-30B-A3B和GPT-OSS-20B在AIME 2024+2025及HMMT 2025测试集上的pass@K指标——这一结果表明，此类性能不足至少部分源于路由器可触及范围内的资源错配，而非单纯由专家模块容量不足导致。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文直接追问MoE语言模型中训练好的top-k路由器所选路由是否是好路由。作者在冻结模型参数的前提下，将每个token的标准top-k路由与采样的等计算量替代路由比较，并以该路由在已验证正确推理轨迹中赋予真实下一token的概率作为路由效用评分。核心发现具有显著token条件性：在置信token上标准路由器与路由效用对齐，但在驱动困难推理的脆弱token上路由器几乎无信息，冻结模型内部持续存在更低损失的同计算量路由却未被选中。该模式在Qwen3-30B-A3B、GPT-OSS-20B、DeepSeek-V2-Lite和OLMoE-1B-7B上一致，并可从标准top-k训练只评估已执行路由、负载均衡只依赖聚合路由统计的结构性盲点解释。仅更新最后一层路由器而冻结全部专家与其他路由器即可在AIME 2024+2025和HMMT 2025上移动Qwen3-30B-A3B与GPT-OSS-20B的pass@K，表明至少部分失败属于路由器可达的误分配。
- 研究方法
- 论文提出反事实路由分析协议：对每个token与MoE层，从训练路由器给出的m=32个最高分专家构成候选池，用Gumbel-top-k采样G=32条与标准路由等计算量的替代路由，形成包含标准路由在内的33条候选路由集合。对每条候选路由在位置(t,ℓ)替换标准路由、重算门控权重，并冻结其余参数前向计算，以真实下一token概率、标准路由概率、最佳路由概率、二者gap以及Top-1/Top-5/Top-10率衡量路由质量。分析按路由平均概率将token分为Confident、Ambiguous与Fragile三层，并在Qwen3-30B-A3B的MATH Level-5已验证轨迹上做主分析，再扩展到L0/L24/L47层、AIME/HMMT/GPQA-Diamond基准及四个MoE模型。理论部分通过梯度指示项与Switch-style负载均衡损失梯度，形式化语言建模损失只评估已执行路由、负载均衡仅依赖聚合统计的反事实盲点。恢复实验提出Expert Preference Optimization，仅更新最后一层路由器，以CE大于τ=0.1的困难token为对象，用Gumbel-top-k采样更低CE的替代路由作为偏好路由，并以CE-gap加权的DPO式目标训练，训练数据来自MATH Level-5约2K条已验证轨迹。
- 学术贡献
- 论文在理论建构层面提出并形式化MoE标准top-k训练中的反事实盲点，指出语言建模损失只对已执行路由给出梯度，而负载均衡损失只依赖聚合路由统计，无法提供token级等计算量替代路由的损失信号。方法上，论文将反事实路由比较与等计算量采样结合，给出可复用的路由质量评估协议，并以EPO仅更新最后一层路由器来检验误分配是否在冻结模型内可达。经验材料上，论文在Qwen3-30B-A3B、GPT-OSS-20B、DeepSeek-V2-Lite和OLMoE-1B-7B，以及MATH Level-5、AIME、HMMT、GPQA-Diamond和多层设置中报告了Fragile token上标准路由Top-1率接近均匀基线与最佳路由gap扩大的模式。领域拓展上，论文把路由质量从MoE稀疏化的实现细节提升为训练目标层面的议题，并给出pass@K随路由器更新而移动的证据。
- 存在局限
- 作者自述EPO带来的pass@K移动幅度小，并将其定位为最小存在性检验而非路由改进方法；EPO只更新最后一层路由器，且pass@K实验只覆盖Qwen3-30B-A3B与GPT-OSS-20B。路由质量分析仅在已验证正确的自生成轨迹的助手回复token上进行，并以真实下一token概率作为局部代理，未覆盖失败轨迹或需要多步回溯的情形。候选替代路由来自每token每层最高分的m=32个专家池，并以G=32的Gumbel-top-k采样生成，并非全部等计算量路由；材料未明确报告该采样规模对Top-K率与gap估计稳定性的影响。第4节指出高损失token混合了内在难度与路由失败，第5节只部分分离二者，未通过专家重训练或容量干预来彻底分解。材料未明确提及不同随机种子、不同解码温度或更长推理链下的重复性。
- 进一步研究方向
- 后续可把token级反事实路由损失作为训练信号，与Switch-style等聚合负载均衡项联合优化，检验能否在预训练或持续训练中降低Fragile token上的标准路由与最佳路由gap。可将EPO从最后一层扩展到全部MoE层或分层路由器，在更多MoE家族与规模上报告pass@K、专家利用率和路由熵，以判断收益是否来自特定层。可扩大候选池m与采样数G，甚至对k较小的模型做穷举或重要性采样，以校准Top-1/Top-5/Top-10率的偏差并估计反事实效用估计的方差。可用固定路由、只更新专家、只更新路由器、路由器加专家联合更新等对照，分离内在难度与路由失败对高损失token的贡献。可将分析推进到未验证轨迹、代码与多语言推理、长链思维链，检验Fragile token分布与路由盲点是否随领域和推理长度变化。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling