面向重构优化的混合专家语言模型专家剪枝方法
Reconstruction-Optimized Expert Pruning for Mixture-of-Experts Language Models
Jelena Markovic-Voronov, Petros Prastakos, Kayhan Behdin, Jincheng Cao, Zhipeng Wang, Shayan Mohajer Hamidi, Yuanda Xu, Zhengze Zhou, Wenhui Zhu, Rahul Mazumder
arXiv (Cornell University) · 2026-10-19
摘要
混合专家（MoE）模型通过稀疏的专家激活机制来降低计算量，但部署时仍需存储大量的专家参数。我们将训练后的专家剪枝问题视为利用任务领域校准数据进行子集选择的问题：针对预训练的MoE层，选取固定数量的专家以最大程度地重构其原始输出。由于精确的子集搜索属于组合优化问题，对于每层包含大量专家的现代MoE模型而言，该问题难以求解。我们开发了OptEP算法，这是一种可扩展的连续松弛方法，能够直接优化可微分的专家选择变量，随后对保留的专家权重进行轻量级的基于重构的更新。在涵盖数学推理与代码生成的多种MoE架构和任务中，该方法的表现均优于现有的最优专家剪枝基准方法：在Qwen3-30B-A3B模型上，准确率绝对提升达15.05%；在Qwen3-235B-A22B模型上提升14.55%；在GLM-4.5-Air模型上提升11.06%；在Mixtral-8x7B模型上提升16.20%。在激进剪枝条件下，这种优势更为显著，这表明基于重构的专家选择与权重适配策略，能够在减少保留专家数量的同时，更大程度地维持原模型的性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文将MoE语言模型部署中的专家参数存储负担作为问题起点，提出在训练后利用任务域校准数据进行专家剪枝，并把剪枝刻画为给定MoE层中选取固定数量专家以最优重构原始层输出的子集选择问题。作者指出，按激活频率、路由概率或输出幅值逐专家打分再取Top-s的常规做法只优化个体重要性，未优化保留子集整体重构质量；高分数专家可能贡献重叠，低分数专家可能提供互补信息。为此提出OptEP两阶段框架：先以可微连续松弛联合优化专家选择变量，避免组合枚举；再在固定保留子集后以层输出重构为目标更新保留专家权重。该文还引入按专家激活频率倒数加权的重构目标，使稀有激活专家在选择中获得更大影响，并保持GLM-4.5-Air的共享专家不变、仅剪枝路由专家。在Qwen3-30B-A3B、Qwen3-235B-A22B、GLM-4.5-Air与Mixtral-8x7B的数学推理和代码生成任务上，OptEP(w)+EWU在激进剪枝下相对最强基线取得最高15.05%、14.55%、11.06%和16.20%的绝对准确率提升。
- 研究方法
- 方法采用逐层剪枝：对每个MoE层，以完整未剪枝模型前向得到的校准激活为输入，校准集由提示与模型生成完成（含推理轨迹）构成，并仅保留完整模型答对且未截断的样本。专家选择将二值保留变量z_e∈{0,1}松弛为[0,1]，用对全部专家归一化的软路由替代Top-K剪枝层输出，在固定预训练路由与专家权重下最小化层输出重构损失，再按z_e最大者离散化保留s个专家。重构损失取L(u,v)=||u-v||_2^α（α∈{1,2}），并按序列长度1/T_m归一化；OptEP(w)进一步以w(x)=Σ_{e∈T_K(a(x))}1/n_e对token加权，n_e为校准集中路由到专家e的token数。专家权重更新（EWU）在固定所选子集与路由、按层顺序前向剪枝模型所得激活上，仅优化保留专家权重，目标为重构损失加Frobenius范数正则项λ||θ'_e-θ_e||_F^2。实验覆盖四种MoE架构，Qwen与GLM每层128个路由专家、Top-8路由，Mixtral每层8专家、Top-2路由；数学与代码分别用OpenR1-Math-220k/Codeforces或GSM8K/MBPP校准，并在MATH-500、LiveCodeBench、GSM8K、MBPP上以mean pass@1评估。基线包括随机剪枝、路由频率剪枝、EASY-EP、REAP、NAEE（仅Mixtral因组合枚举可行）、M-SMoE与DiEP（仅Mixtral因实现和扩展性限制），所有方法在同一校准数据、token预算和评估协议下比较。
- 学术贡献
- 理论/问题建构层面，该文把专家剪枝明确表述为联合重构驱动的子集选择问题，并给出可扩展的可微连续松弛优化，使每层128专家规模下的联合选择不必枚举C(E,s)个子集。方法层面，提出inverse-frequency token-weighted重构目标，将token级重构转化为专家均衡目标，以缓解频繁激活专家主导选择的问题，并给出附录中的理论解释。方法层面还提出剪枝后的重构式专家权重更新，将“选哪些专家”和“剪后如何补偿”作为两个相连的层重构优化问题，区别于仅保留子集或仅做常规微调。材料与实证层面，在Qwen3-30B-A3B、Qwen3-235B-A22B、GLM-4.5-Air、Mixtral-8x7B四种架构及数学推理、代码生成任务上系统比较多种剪枝基线，覆盖不同保留比例。领域贡献在于推进MoE语言模型压缩中的专家剪枝子领域，尤其证明激进剪枝下重构驱动选择加权重适应能保留更多原模型性能；例如Qwen3-235B-A22B剪除75%专家并做EWU后仍保留未剪枝数学基准97%的性能。
- 存在局限
- 剪枝预算采用逐层统一的保留专家数，未像DiEP那样允许层间非均匀预算；材料虽说明这是为与基线可比，但也限制了按层敏感度分配压缩率的空间。专家选择阶段各层独立进行，选择时使用完整未剪枝模型前向的层输入，前层剪枝决策不影响后续层选择；只有EWU按层顺序使用剪枝模型激活，选择与权重更新未联合端到端优化。连续优化未强制基数约束Σz_e=s，而是在优化后取z_e最大的s个专家离散化，离散化误差及该误差对激进剪枝的影响材料未明确给出界或分析。校准样本仅取完整模型答对且未截断的序列，且数学/代码任务分别使用域内校准；这种筛选可能使选择偏向成功轨迹的激活分布，对失败样本、截断样本或跨域校准的稳健性未评估。最强组合搜索基线NAEE仅在每层8专家的Mixtral上可运行，Qwen/GLM的128专家层无法与精确或穷举重构选择比较；DiEP也仅报告Mixtral结果，跨架构基线覆盖不完整。评估集中于数学推理与代码生成两类任务，未报告其他能力维度；更激进的剪枝比例因性能显著退化而未纳入，因此方法在更低保留率下的行为材料中未明确提及。
- 进一步研究方向
- 将逐层统一预算扩展为层自适应预算：在同一连续重构框架中为每层引入预算变量或拉格朗日乘子，在全局专家数约束下优化各层s，并在Qwen3与GLM的128专家层上与DiEP式非均匀剪枝比较。把专家选择与EWU联合为顺序或交替优化：选择后续层时使用已剪枝并更新权重的前层输出，比较该顺序选择与当前独立层选择的性能差，以量化跨层交互影响。在Mixtral-8x7B上以NAEE穷举结果为参照，系统比较连续松弛离散化与精确子集搜索的差距，并测试混合策略（连续松弛筛选候选子集后再小规模穷举）在更大专家池上的可扩展性。设计校准数据消融：分别纳入失败轨迹、截断序列、跨域数据和不同token预算，检验OptEP(w)的专家均衡加权与EWU正则系数λ、α对激进剪枝稳健性的影响。将评估扩展到材料未覆盖的任务域，并检验GLM共享专家是否参与剪枝或适配，以验证仅剪路由专家、共享专家不变这一设定在不同架构上的适用边界。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Advanced Neural Network Applications