跳到主内容
人工智能

专家的反击：在专家层面解读混合专家语言模型

The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level

Jeremy Herbst, Stefan Wermter, Jae Hee Lee

arXiv (Cornell University) · 2026-04-02

开放获取高效训练与推理大模型与语言影响因子 ≈0.2

摘要

混合专家（MoE）架构已成为扩展大型语言模型的主流选择，其仅会针对每个词元激活部分参数。尽管采用MoE架构主要出于计算效率考量，但关于其稀疏性是否使其比密集前馈网络更易于解读，仍是一个未解之谜。我们利用$k$-稀疏探测方法对MoE专家模块与密集前馈网络进行比较，发现专家神经元的多义性始终较低，且随着路由机制的进一步稀疏，这种差异会更加显著。这一结果表明，稀疏性会促使单个神经元乃至整个专家模块趋向单义性。基于这一发现，我们将分析单位从神经元层面提升至专家层面，认为后者是更有效的分析单元。我们通过自动解读数百个专家模块来验证这一方法的可行性。此类分析有助于厘清关于模型专业化的争议：这些专家既非涵盖广泛领域的专家（如生物学领域），也并非简单的词元级处理器；实际上，它们属于细粒度的任务专家，专门负责语言操作或语义任务（如在$\LaTeX{}$中闭合括号）。我们的研究证实，MoE模型在专家层面具备固有的可解读性，这为大规模模型的可解读性研究开辟了更清晰的道路。相关代码可在https://github.com/jerryy33/MoE_analysis获取。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于摘要生成
主要观点
论文以混合专家（MoE）语言模型的专家为研究对象，追问稀疏化是否使MoE比稠密前馈网络（FFN）在可解释性上更具优势。作者通过k-sparse probing发现，专家神经元的polysemantic（多义）程度持续低于稠密FFN神经元，且路由越稀疏、差距越大，据此提出稀疏性对单个神经元乃至整个专家施加了趋向单义性（monosemanticity）的压力。基于这一发现，作者主张把分析单元从神经元上移到专家层级，并通过自动化解释数百个专家验证该层级的有效性。在专家特化性质的争论上，论文给出第三种答案：专家既非生物学之类的宽泛领域专家，也非简单的词元级处理器，而是细粒度的任务专家，专门承担诸如LaTeX中闭合括号一类的语言操作或语义任务。作者由此认为MoE在专家层级上具有内在可解释性，为大规模模型可解释性提供了更清晰的路径。
研究方法
以k-sparse probing为核心测量工具，在同一探针框架下对比MoE专家与稠密FFN神经元的单义/多义程度，并把路由稀疏程度作为自变量考察两者差距的变化。在专家层级，作者对数百个专家实施自动化解释，以此检验专家作为分析单元的有效性。样本由MoE专家与稠密FFN两类对象构成，并覆盖不同稀疏度的路由条件；材料中未明确提及具体的模型名称、层数、训练语料以及自动化解释所依赖的生成或标注流程。分析代码开源于https://github.com/jerryy33/MoE_analysis。
学术贡献
贡献分布在实证发现与方法路径两个层面。在发现层面，给出专家神经元多义性低于稠密FFN、且差距随路由稀疏化扩大的对照结果，把MoE的稀疏性从纯粹的计算效率议题转化为可解释性议题。在方法层面，提出并验证以专家而非神经元作为分析单元，借助对数百个专家的自动化解释使该单元具备可操作性。在议题层面，对专家特化性质的既有争论作出回应，将专家刻画为细粒度任务专家，为机制可解释性中“专家是否等同于领域模块”这一问题提供了新的经验证据，并以开源代码支撑复现与延伸分析。
存在局限
k-sparse probing所测量的是探针可解码性意义上的多义程度，论文未报告该指标与专家实际功能之间因果关联的验证，因而“稀疏性压力导致单义性”仍属相关性推断。对比所用模型族、层数、语料构成及专家总数在摘要中未明确，专家数量虽称数百，但其占所研究模型全部专家的比例不明，代表性难以判定。自动化解释数百个专家的具体流程缺少人工评估或一致性检验的说明，解释结论的可靠性无法从材料中确认。将结论概括为MoE“内在可解释”，由有限模型与有限专家样本推及整体架构，外推跨度偏大。
进一步研究方向
可在多个MoE模型族与不同路由稀疏度梯度上重复k-sparse probing，并引入因果干预（屏蔽或替换特定专家、人为改变路由分配）以检验单义性是否随稀疏度发生因果变化。可对自动化生成的专家解释开展人工标注与一致性评估，量化解释准确率，并与稠密FFN神经元解释作同口径比较。可将细粒度任务专家的分类（如LaTeX括号闭合类操作）扩展至多语言、代码与多模态输入，检验其边界与稳定性，并尝试以专家为单元进行模型编辑或行为调控，以验证其功能定位是否成立。

本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Explainable Artificial Intelligence (XAI)