混合专家语言模型中的高阶专家剪枝
Higher-order pruning of experts in mixture-of-experts language models
Alex M. Tseng, Prannay Kaul, Luca Zancato, W. Xia, Stefano Soatto
arXiv (Cornell University) · 2026-09-16
摘要
混合专家（MoE）语言模型存在参数量庞大的问题，这会造成严重的内存瓶颈。专家剪枝是减少参数量最直接的方法，但现有方法在剪枝时独立决策每个专家的取舍，且假定专家的贡献具有纯粹的叠加性。实际上，MoE中的专家使用方式具有内在的协作性。我们提出了HOPE（混合专家的高阶剪枝）算法，这是一种二阶剪枝目标函数，能够严格保证剪枝所产生的误差上界最小化。研究表明，REAP（一种先进的一阶剪枝方法）实际上是忽略了交互项的HOPE算法的特例。我们在三种前沿的MoE模型（参数量最高达1220亿）、两组不同的校准数据集以及多个基准测试任务（涵盖数学运算、指令遵循、编程及智能体相关任务）中对HOPE的性能进行了验证，结果显示HOPE能比现有方法做出更优的剪枝决策，且在高剪枝率和复杂的智能体工作负载场景下优势更为显著。在50%的剪枝率下，HOPE的表现优于所有基线方法，在五种方法中平均排名达到1.58（仅次于它的REAP方法平均排名为2.42），在智能体编程任务上的性能提升高达6.1%。在所有测试条件下，HOPE均取得最佳平均排名，且在多数两两对比中均优于其他方法。通过保留一阶方法所忽略的专家协作结构，HOPE能够在实现高度压缩的同时将性能损耗降至最低，尤其在需要调用多种专家组合处理长序列的复杂任务中表现突出。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对MoE语言模型的显存瓶颈（Qwen3.5-122B的1220亿参数中1160亿为专家MLP，约占240GB），主张现有专家剪枝方法（Frequency、EAN、MAN、REAP）都是「一阶」的：它们为每个专家独立打一个标量重要性分数，并默认专家贡献可加。作者指出MoE推理本质是组合性的：每个token由路由选中top-K专家并联合聚合其输出，专家对存在远高于随机水平的共选，因而形成协作回路；一旦剪掉专家A，它参与的回路即被打断，与其频繁共选的伙伴专家不再能连贯组合，损失超出单独移除A的预期，在40%–50%剪枝率下多个协作对被同时切断、损伤叠加。据此提出HOPE，一个二阶剪枝目标：把剪枝误差分解为替换误差与重归一化误差，聚焦前者，以Z=（Σ_{j∈P∩T(x)} g_j(x)‖f_j(x)‖₂）²作为可处理的上界（定理1给出‖·‖²≤(1+ρ)²Z），平方展开即显露出成对交互项。论文进一步证明REAP是HOPE在忽略非对角交互项时的特例，因此HOPE相对REAP的任何增益都可直接归因于这些二阶项。核心论断是：保留一阶方法丢弃的协作结构，可以在激进压缩下以最小退化换取显存，且优势在需要长序列调用多样专家组合的agentic任务上最突出。
- 研究方法
- 工作由理论推导与大规模对照实验两部分构成。理论上，对每层E个专家在剪枝集P下重写层输出，将剪枝集选择形式化为二进制二次规划 min_p pᵀFp s.t. p∈{0,1}^E、Σp_k=|P|，其中F矩阵由校准集单次前向统计得到：对角项为E[(g_k‖f_k‖)²]，非对角项F_{i,j}为专家i、j共激活时门控加权输出范数乘积的条件平均（以|X_{i,j}|替代无条件平均N），再用连续松弛求解并取top-|P|舍入，每层额外开销约1–2秒。实验覆盖3个架构族的前沿MoE模型（Qwen3.5-122B-A10B，256专家top-8、48个MoE层；Qwen3.5-35B-A3B，256专家top-8、40层；GLM-4.5-Air，128专家top-8加1个不参与剪枝的共享专家、45层），2个校准集（Evol-CodeAlpaca-v1编码向与SWE-Bench verified轨迹agentic向），6档剪枝率（10%、20%、25%、30%、40%、50%，SWE-Bench Pro仅测10%、25%、50%），基准为Tulu3 Dev套件（GSM8K、MATH、IFEval、MMLU、BBH、TruthfulQA、PopQA、LiveCodeBench）与SWE-Bench Pro，共54种配置。基线为REAP、EAN、MAN、Frequency，评价指标包括平均排名、头对头胜率、剪枝集Jaccard重叠度、3次随机试验与跨校准集的稳定性，另在Qwen3.5-122B的剪枝检查点上做LiveCodeBench轨迹的10亿token SFT以检验与下游训练的兼容性。
- 学术贡献
- 理论建构层面，论文给出首个直接计入成对专家交互的专家剪枝目标，并证明其最小化替换误差平方的一个可处理上界（定理1、定理2），同时把REAP纳入为忽略非对角项的特例，从而把既有一阶方法统一解释为二阶目标的退化形式。方法层面，它把逐专家标量打分改造为逐层二次规划，校准仅需一次前向且求解开销可忽略，剪枝为一次性、无需重训，并可与量化正交组合，对MoE压缩这一子领域有直接的方法价值。实证与材料层面，它在最大122B参数、三个架构族、54种配置上给出系统对照（全条件下平均排名2.07、头对头平均胜率73%；50%剪枝时平均排名1.58，对比REAP的2.42；agentic编码最高增益+6.1%；LiveCodeBench +19.6%、BBH +11.7%），并给出F矩阵的块状聚类结构证据（非对角项平均幅度为对角的33%）及机制分析：HOPE与一阶方法分歧时，优先保留的是与存活专家交互分数更高、而非自身重要性更高的专家。领域拓展层面，它把此前仅在路由增强（Flame-MoE、Nguyen-Nhat等的专家共选图）中被利用的专家协作性质，首次引入剪枝决策，对MoE部署中的显存—上下文—并发权衡议题有具体价值。
- 存在局限
- 理论保证偏松：上界中的(1+ρ)²因子以层内专家输出范数最大值与最小值之比ρ构造，假定替换专家的输出范数取层内最坏情形，作者自承实践中Z与真实误差的差距远小于该界，因此「可证明最小化」对应的只是一个较保守的替代量。目标函数经过两处近似：优化的是平方替换误差而非原始误差，且显式忽略重归一化误差（仅以附录论证其通常很小），论证链条在此依赖近似而非等价变换。F矩阵与二次规划逐层独立求解，剪枝后路由的重新分配与层间交互未进入目标，跨层协调缺失。样本与条件覆盖有限：校准集仅两个，跨校准集剪枝集一致性仅0.60（REAP为0.61），说明结论对校准域存在依赖，而基准重心偏向agentic与编码，简单召回任务（如PopQA）上二阶优势较小；剪枝率上限为50%，更高压缩区间未测；三个模型虽跨架构族但均属Qwen与GLM系列，材料中未提及DeepSeek-V3等其他架构的验证。此外，剪枝模型偶尔略优于未剪枝基线，作者以「校准作为隐式特化」解释，但未设计受控实验加以验证。
- 进一步研究方向
- 其一，把逐层独立求解改为跨层联合优化，以多层耦合的二次规划或跨层贪心协调替代现有做法，在相同参数预算下检验agentic基准与困惑度能否进一步改善。其二，收紧上界：用校准集统计出的替换专家实际输出范数分布替代最坏情形(1+ρ)²，推导更紧的界，并检验更紧的界是否会导出不同剪枝集与更好的高剪枝率表现。其三，把Z的展开推广到三专家共激活项，构造三阶张量并求解相应高阶规划，同时把剪枝率区间扩展到60%–75%，检验高阶项在极端压缩下是否仍带来增益。其四，设计校准—任务匹配的控制实验：固定模型与剪枝率，比较数学、多语、长上下文等多个领域校准集所产生的F矩阵及其在下游任务上的交叉表现，量化校准域对二阶优势的调节幅度。其五，在HOPE剪枝检查点上叠加不同位宽量化，测量显存—性能的前沿曲线，以实证二者是否如论文所主张的那样正交。其六，对「校准即隐式特化」做受控检验，比较剪枝前后专家在目标任务上的激活分布变化，以判定基线反超未剪枝模型的现象究竟源于特化还是评测噪声。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Advanced Neural Network Applications