基于陈述-程序框架的双语混合专家语言模型中的专家路由机制研究
A Declarative-Procedural Perspective on Expert Routing in Bilingual Mixture-of-Experts Language Models
Amrit Gopinath, Raghul, D. Thenmozhi
arXiv (Cornell University) · 2026-08-15
摘要
本研究探讨了混合专家（MoE）语言模型在双语习得过程中是否会形成具有语言学结构的专家路由机制。受陈述-程序框架的启发，我们分析了在顺序语言输入条件下训练的仅解码器结构的英德双语MoE Transformer模型在词汇、语法及句法层面的处理过程。我们构建了基于探针的验证集，并提取词元级别的路由分布，借助互信息、路由熵以及詹森-香农距离等指标来量化类别依赖的专业化程度。该按课程训练的模型在第5层展现出0.1148的峰值互信息值，表明不同语言类别间的路由分布存在类别依赖性差异。令人惊讶的是，在混合英德数据上训练的无课程基准模型表现出更强的整体专业化程度，同一层的峰值互信息值达到0.2599。这些结果提示，即便没有顺序语言输入，MoE模型的路由模式中也会呈现出可解读的语言学组织结构。在另一组训练种子上的重复实验显示，无课程条件下的专业化程度集中于某一特定语言，且具体语言种类取决于训练种子；而按课程训练则能产生稳定且语言均衡的路由模式——分阶段双语输入并非单纯增强专业化程度，反而能削弱单一语言的主导性。官方GitHub仓库：https://github.com/Amrit828/DP-Theory-MOE-Interpretability-Research
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文考察双语 MoE 语言模型在顺序性英—德语言暴露下是否形成与语言学类别对应的专家路由结构，问题域是内部路由机制而不是最终任务准确率，概念工具来自声明性—程序性框架。作者把探针分为词汇、语法、句法三类，以 token 级路由分布为分析对象，用互信息、路由熵与 Jensen–Shannon 距离量化类别依赖特化。课程训练模型在第 5 层取得最高互信息 0.1148，说明类别与路由分布之间存在可测关联，且词汇、语法、句法探针的路由方式不同。无课程基线在混合英德数据上反而取得更高聚合特化，第 5 层互信息达 0.2599，第 1 层为 0.1945，第 7 层为 0.0739，说明顺序暴露并非类别化路由出现的必要条件。第二个训练种子的复制显示，无课程条件的特化集中于单一语言且该语言身份随种子变化，课程条件则稳定给出语言均衡的路由轮廓，分阶段双语暴露的作用是降低单语支配而非单向提高特化。类别间路由分布按 Jensen–Shannon 距离排序为词法—句法最远（0.1218）、语法—句法 0.1147、语法—词法最近（0.0788），语法探针熵最低、句法探针熵最高，条件互信息 I(R;C|L) 非零表明类别效应不能被英德语言区分完全解释。
- 研究方法
- 训练语料由 FineWeb-Edu 英文部分与 mC4 德文部分构成，用 Stanza 按附录 A 的分类体系把词标注为词汇、语法、句法，每句—类别对标注一个探针 token，句子可在多类别间重复。数据集规模为英语词汇 460,250、语法 650,000、句法 650,000，德语分别为 138,127、175,000、175,000，词汇探针提取因计算限制未达到目标规模。诊断用 held-out 验证集为 12,000 条样本，每语言 6,000 条、每语言每类别 2,000 条，采用最小对照对结构 S+/S−，S+ 由 GPT-5.1 按附录 E 提示词合成并经自动后验校验，S− 由规则确定性地改写探针 token 使其不合法。模型为 8 层 decoder-only MoE Transformer，前馈维度 2048、嵌入 512、8 个注意力头、mBERT 分词器词表 119,547、总参数 86.4M，MoE 位于第 1、3、5、7 层，每层 8 个专家，top-k=3，负载均衡系数 0.01。训练条件对比采用顺序 L1–L2 课程（第 1–8 轮纯英语，第 9–16 轮按 λ_s=0.20+0.05(s−9) 渐进引入德语，整体英语 81.56%、德语 18.44%）与固定 80:20 英德混合的无课程基线，两者训练样本总量相同。分析从路由器抽取 top-k 掩码前的 post-softmax 完整分布，逐路由层计算专家—类别互信息、类别条件熵、JSD 的平方根 JS 距离，并用 1,000 次句级置换检验（各层 p=0.000999）、冻结未训练路由器与随机路由对照，另以 I(R;C|L) 控制语言身份。
- 学术贡献
- 在方法层面，论文提出路由级分析框架，把声明性—程序性知识研究从数据集与模型输出层面推进到专家概率分配层面，并以互信息、熵、JSD 与句级置换检验构成可复核的统计组合。在材料层面，构建了英德双语、词汇/语法/句法三类标注的探针数据集与最小对照验证集，并在词汇探针子集未达目标规模的情况下仍报告了固定 held-out 验证集上的分析。在机制发现层面，给出类别特化的层间分布证据，即第 5 层峰值、第 7 层显著回落，以及语法探针低熵、句法探针高熵、词法—句法路由距离最大的类别排序。对 MoE 可解释性与双语习得两个议题，论文用课程/无课程对照说明课程影响的是语言间特化的分布而非特化总量，并用第二种子复制指出无课程单语集中对种子的依赖。通过条件互信息 I(R;C|L) 区分语言身份与语言学类别，限制了把路由特化直接等同于语言分离的替代解释。
- 存在局限
- 模型规模与结构受限：仅 8 层、86.4M 参数、4 个 MoE 层、每层 8 专家、top-k=3，且只覆盖英语—德语一对语言，材料无法支持对其他深度、专家数或语系的推论。两个训练条件的双语组成并非严格等同，课程条件为英语 81.56%/德语 18.44%，无课程为固定 80:20，作者据此指出总体暴露量只是大致相似。行为评估的诊断力有限：课程模型困惑度 111.19 低于无课程的 117.01，但 token 级下一词准确率 28.99% 低于 29.65%，且该准确率并非 S+/S− 成对选择准确率，绝对分数偏低。词汇探针子集在英德两侧都因计算限制提前终止，未达到与语法、句法相同的 650,000/175,000 规模，三类探针在样本量上不对等。第二训练种子仅提供一个复制，无课程条件的单语集中身份随种子变化这一结论缺乏更多种子与跨种子统计检验的支撑。效应量与基线对照显示，第 5 层 0.1148 的互信息中冻结未训练路由器已达 0.0274、随机路由约 0.002，约四分之一效应不能归于路由学习；验证句 S+ 由 GPT-5.1 合成、S− 由规则改写，材料未报告人工标注一致性等外部效度检验。
- 进一步研究方向
- 在至少 5 个随机种子下同时重跑课程与无课程条件，用相同的互信息、熵、JSD 与句级置换检验，检验无课程条件单语集中身份的种子分布是否接近随机，以及课程条件的语言均衡是否稳定。纳入训练过程中的多个检查点，按 epoch 特别是第 9–14 轮课程切换区间做时间序列分析，检验单语支配下降发生在引入德语的哪个 λ_s 区间。把条件互信息分析扩展为控制句法位置、词频、句长等混杂变量的分层或回归分析，检验 I(R;C|L) 的非零值是否由这些因素贡献。将词汇探针补齐到与语法、句法同规模并重新提取，检验三类探针样本量对等后第 5 层峰值与类别间 JSD 排序是否改变。用母语者人工标注或第二个生成模型交叉校验 S+ 与 S−，并报告探针类别的标注一致性，以检验当前合成验证集带来的偏差。在更多语言对与更大模型（例如更多 MoE 层与专家数）上重复同一分析管线，检验第 5 层峰值是否随网络深度按比例移动，以及类别特化强度能否预测同类别行为表现。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Natural Language Processing Techniques