专家参数绑定——混合专家语言模型中的共享专家层
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
Martin Jaggi
arXiv (Cornell University) · 2026-06-15
开放获取大模型与语言影响因子 ≈0.2
摘要
混合专家（MoE）架构通过仅激活每个词元对应的少量专家来高效扩展大型语言模型，但由于专家参数占据了模型参数的绝大部分，训练与推理阶段仍需存储全部参数。为解决这一问题，我们提出了专家参数绑定技术，该技术可在相邻Transformer层间共享专家参数，同时保留各层独立的路由与注意力机制。我们在OLMoE、Qwen3以及DeepSeek风格的MoE等主流前沿架构上对该方法进行了验证。预训练实验表明，采用专家参数绑定技术可使内存占用减少近一半，且几乎不会造成困惑度或下游任务性能的下降。该方法利用MoE路径中固有的参数冗余特性，实现了极佳的计算资源与内存需求平衡，为下一代大型语言模型的高效训练与扩展提供了新思路。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对 MoE 语言模型中专家参数主导的显存占用问题，提出 Expert Tying：在连续若干 transformer 层之间共享专家的 gate/up/down 投影权重，同时保留逐层独立的 router、注意力与归一化，从而在不改变稀疏激活所带来的低 per-token 计算的前提下提高每个唯一参数的计算量。其核心论断是，维持跨深度层间区分度的不是路由而是逐层注意力——即便专家权重完全相同，在不同 token 位置混合上做注意力仍会产生不同的变换。在 OLMoE、Qwen3-MoE、DeepSeekMoE 三种架构（最多 7B 参数）上的预训练显示，四层一组绑定可使总参数减少最多 52%、内存占用降低近 2 倍，而困惑度与下游质量几乎不退化，墙钟训练加速最高 23.7%。作者把该方法定位为一种“部分循环”（partial loop）——只循环 MoE 的 FFN 子块，并指出首尾各 2 层不参与绑定（2+2 untied prelude/coda）是消融中最大的单项架构收益。论文进一步提出异构宽度扩展，把绑定节省的参数再投入被绑定中间层的更多专家，在同参数预算下一致优于未绑定基线，由此把专家绑定重述为深度—宽度设计轴而非单纯的压缩手段。在与既有工作的关系上，材料将其与共享 router 而保留独立专家的 PathMoE、扩大邻层候选专家池而不共享权重的 ReXMoE、以及全局共享单一专家池的 MoUE 相区分，定位于 group-wise 共享这一中间区间。
- 研究方法
- 研究采用小规模受控消融与大规模预训练验证相结合的两段式设计。受控架构为深度 32 的 decoder-only transformer，d_model=512、n_heads=8、序列长度 512，采用细粒度 MoE FFN（32 专家、top-k=8、d_ff,expert=128），并配 pre-norm、RMSNorm、RoPE 与 QK-norm。作者沿三条正交轴扫描：绑定模式（ALL-TIE / ATTN-TIE / EXPERT-TIE 构成的单调链条）、拓扑（28 个中间层划分为 k 个绑定组，含 1(group of 2)14×、2(group of 2)7×、3(group of 2)(5,4,5)×、4(group of 1)7×、7(group of 1)4×，另加 MoEUT 全栈单组参照），以及专家粒度（细粒度 32 专家 top-8 对粗粒度 8 专家 top-2，后者按比例放大单专家 FFN 宽度以匹配激活计算）。训练目标为 next-token 交叉熵加上系数 1e-2 的负载均衡辅助损失与系数 1e-4 的 router z-loss，报告 10,000 步的验证损失。论文另设计 cross-loop agreement 这一路由诊断指标，统计同一绑定组内层对之间 top-1（argmax）专家选择一致的 token 比例，在留出验证集前 3 个 batch 上平均，32 专家与 8 专家情形下的随机基线分别为 0.031 与 0.125。大规模部分在三种 production 架构（OLMoE、Qwen3-MoE、DeepSeekMoE）上做预训练并配合负载均衡与 Muon/AdamW 优化，实现上只需在 HuggingFace transformers 中做一次 Python 层指针赋值，但优化器须正确累积被绑定参数多个使用点的梯度。
- 学术贡献
- 在方法层面，论文给出一个即插即用的架构改动，使 MoE 在保持低 per-token 计算的同时削减唯一参数，且不需改动注意力与路由结构。其机制层面的贡献最为具体：受控消融把“路由多样性”与“损失收益”解耦——解除 router 绑定使 cross-loop agreement 下降 4–7 倍（2-group 处 0.733→0.160，4-group 处 0.831→0.126），MoEUT 配置中下降约 10 倍，但损失变化在任一格中不超过 0.009 且符号不一致；解除注意力绑定则在每种拓扑下稳定降低损失 0.030–0.058，即注意力的质量代价比路由高出一个数量级。由此论文给出组件代价排序（专家绑定约 +0.037、注意力绑定约 +0.043，router 可在二者已绑定的基础上无代价地一并绑定），并确认专家池是参数最多、代价适中、最具杠杆的共享对象。实证范围上，细粒度与粗粒度两套设置给出相同的组件排序，而 EXPERT-TIE 下拓扑选择只影响省参比例（k∈{2,3,4,7} 的损失极差仅 0.019），tie-group size 由此被确立为参数效率旋钮。设计空间上，异构宽度扩展与 2+2 不绑定的 prelude/coda 分别推进了 MoE 稀疏效率与 looped/recurrent-depth 参数共享两条脉络，作者同时指出 Megrez2 虽生产化了相近配置，却未做受控分解；代码开源于 github.com/epfml/looped-moe。
- 存在局限
- 组件消融全部在 d_model=512、32 层的小模型上完成，production 架构实验只验证最终质量与参数节省，未在 7B 规模重跑三模式消融，故小模型得出的组件排序能否外推缺少同规模的直接证据。消融矩阵缺失“仅绑定注意力”这一格，因此 +0.043 的注意力代价是专家已绑定条件下的条件代价，四个组件的代价无法得到完整、可加的分解释。cross-loop agreement 仅统计 top-1 路由的一致比例，忽略低排名专家选择的重叠，且只在验证集前 3 个 batch 上测量，对路由行为差异的敏感度有限。端到端验证止于 7B 参数与 g≤4，更激进的分组只在 488M 量级的小模型上试过（最大 g=7），且材料未报告推理阶段的内存与延迟实测数字，训练收益以墙钟加速一项指标呈现。实现说明提到优化器需处理被绑定参数多使用点的梯度累积，但材料中未明确提及分布式训练下的参数分片与通信开销是否因此改变。此外，与 MoEUT、Megrez2、MoUE 的对比基于既有文献的结论引用，材料中未明确提及是否在统一预算下重跑这些基线。
- 进一步研究方向
- 其一，在 OLMoE、Qwen3-MoE、DeepSeekMoE 上原样重跑 ALL-TIE / ATTN-TIE / EXPERT-TIE 三模式与 cross-loop agreement 诊断，检验“注意力而非路由决定层间区分度”这一结论能否在 7B 规模复现。其二，补做仅绑定注意力、仅绑定 router、仅绑定归一化增益的配置，使四类组件的代价可完整分解，并检验注意力代价与专家代价是否近似可加。其三，把组大小从 4 扩展到 8、16 乃至全栈 MoUE 式共享，在多个模型规模与 token 预算上拟合“组大小—参数节省—验证损失”曲线，定位收益衰减的临界点，并与全循环模型的 scaling law 结果相互印证。其四，做交叉组合实验：将专家绑定分别与 ReXMoE 的邻层候选专家池扩张、PathMoE 的路由器共享、MoUE 的全局专家池在同等激活计算预算下组合，检验参数削减与路由多样性两条路径是否叠加。其五，系统扫描异构宽度扩展的深度—宽度配置空间，检验在固定唯一参数预算下“绑定更深＋中间层更宽”是否存在稳定最优配比。其六，补测推理侧指标（prefill/decode 吞吐、显存峰值、专家预取行为）与分布式训练下的分片和通信开销，确认近 2 倍内存收益在部署条件下的实际落点。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling