每位专家都至关重要：面向混合专家语言模型的高效知识蒸馏方法
Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
Gyeongman Kim, Gyouk Chu, Eunho Yang
arXiv (Cornell University) · 2025-02-18
开放获取高效训练与推理大模型与语言影响因子 ≈0.2
摘要
随着混合专家（MoE）架构的出现，模型规模的高效扩展推动了近年来大语言模型的发展。然而，这类模型较高的内存需求限制了其在资源受限环境中的应用。尽管知识蒸馏已被证实是有效的模型压缩手段，但将其应用于MoE教师模型的研究仍相对匮乏。通过研究我们发现，MoE模型中未被激活的专家同样蕴含对学生模型有益的重要知识。我们进一步指出，现有知识蒸馏方法在压缩MoE模型时并非最优选择，因为它们无法有效利用这类知识。针对这一问题，我们首次提出了两种针对MoE的直观知识蒸馏方法：知识增强（KA）与学生感知路由器（SAR），二者旨在从所有专家中提取有效知识。具体而言，KA通过多次采样专家来扩充知识库，而SAR则利用全部专家，并通过路由器训练调整专家权重以实现最优知识传递。大量实验结果表明，我们的方法优于传统知识蒸馏方法，充分证明了其对MoE教师模型的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文研究面向Mixture-of-Experts（MoE）教师模型的知识蒸馏，指出MoE因大量非激活参数导致高显存需求，限制其在资源受限环境中的部署。作者通过门控概率分析发现，非激活专家仍含有对学生模型有益的知识，而现有知识蒸馏方法主要依赖Top-k激活专家，未能有效利用这些分布式知识。为利用全体专家知识，论文提出两种MoE专用知识蒸馏方法：Knowledge Augmentation（KA）和Student-Aware Router（SAR）。KA通过按门概率采样或选择Top N−1专家并多次前向，向学生提供多样化的增强知识；SAR则激活所有专家，并在蒸馏前利用学生反馈训练教师路由器，调整专家权重以聚合全体专家知识。在五个指令跟随数据集上，KA和SAR优于常规知识蒸馏基线，表明针对MoE教师的路由与专家分布进行蒸馏设计是压缩MoE模型的关键。
- 研究方法
- 论文先开展门控概率分布分析，统计Llama-MoE教师各层激活专家与非激活专家的门概率之和，发现多数层中激活专家的门概率和低于50%。随后进行激活专家数干预实验，以Llama-MoE-3.5B（4/16）为教师，将k从4逐步增至16，在五个指令跟随数据集上测量教师和学生的平均ROUGE-L，观察到学生性能随k增加而提升但教师性能未必提升。实验采用三个Llama-MoE教师（3.5B 4/16、3.5B 2/8、3.0B 2/16）、Sheared-Llama-2.7B密集教师和Sheared-Llama-1.3B密集学生；训练集为databricks-dolly-15k的14k样本，验证集和测试集各500样本，另在SelfInst、Vicuna、S-NI、UnNI上评估，指标为ROUGE-L，结果取五个随机种子平均。基线包括SFT、KD（前向KL）和GKD（学生生成输出与反向KL），并设置ALL作为激活所有专家但不更新路由器的对照。KA使用λ=0.05、M=2并进行M消融；SAR分路由器更新与知识蒸馏两阶段，只更新教师路由器的Wg和Wnoise，辅助损失系数β=0.01，学生生成伪目标并采用反向KL。
- 学术贡献
- 论文在方法创新层面首次提出针对MoE教师的知识蒸馏方法KA和SAR，填补了既有知识蒸馏研究主要面向密集模型、对MoE教师缺乏专门设计的空白。在实证发现层面，论文通过门控概率与激活专家数干预实验证明非激活专家含有可迁移知识，且现有Top-k蒸馏方式无法充分利用这些知识。在方法设计层面，KA将专家选择随机化与多次采样结合，SAR将学生反馈引入教师路由器更新，扩展了知识蒸馏中教师端知识聚合与学生端反馈机制的交互方式。在领域拓展层面，论文将MoE架构特性（专家路由、负载均衡、专家间分布式知识）纳入模型压缩议题，对资源受限环境下的MoE语言模型部署有直接价值。在实验验证层面，论文在五个指令跟随数据集上显示KA和SAR优于SFT、KD、GKD和ALL，说明利用全体专家知识比仅使用Top-k或简单激活所有专家更有效。
- 存在局限
- 实验中的学生模型仅采用密集Sheared-Llama-1.3B，材料明确说明采用dense student rather than a MoE student，因此未验证MoE-to-MoE蒸馏或MoE学生场景下的表现。教师模型仅覆盖Llama-MoE系列，路由机制限定为noisy Top-k gating，材料未明确提及对其他路由机制或更大规模MoE教师的适用性。评估指标仅使用ROUGE-L，五个数据集均为指令跟随数据，材料未明确提及对推理能力、事实性、安全性或生成多样性的评估。基线仅包括SFT、KD、GKD和ALL，材料未明确提及与更多MoE压缩方法或专家剪枝、专家合并等路径的比较。KA的采样数M需随教师模型不同而变化，且M过大时所有模型性能下降，材料未明确给出M与λ的自动选择机制。SAR仅报告路由器更新会引起gate值的细微变化并增强知识蒸馏，材料未明确提及该更新带来的训练成本、显存节省量或推理延迟变化。
- 进一步研究方向
- 可在相同训练数据和ROUGE-L评估下开展MoE-to-MoE知识蒸馏，将Sheared-Llama-1.3B学生替换为不同专家数与Top-k配置的MoE学生，验证KA和SAR在MoE学生路由上的收益与失效条件。可将KA和SAR迁移到材料提及的Mixtral、Deepseek-MoE等MoE教师，考察专家总数、激活专家数和路由机制变化对两种方法的影响。可设计自适应KA，根据教师门控概率分布和验证集ROUGE-L自动搜索M与λ，用固定随机种子比较M=1、2、4、8、16时的性能曲线，验证最优M是否可由门控熵或专家利用率预测。可对SAR做因子消融，分别关闭学生反馈与负载均衡辅助损失，测量路由器Wg和Wnoise更新后gate值变化、学生ROUGE-L以及训练吞吐和显存占用，以分离收益来源。可在材料已有的五个指令跟随数据集之外，增加更多指令跟随数据并同时报告ROUGE-L与生成效率指标，检验KA和SAR在更大评测面上的稳定性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Advanced Neural Network Applications