DeepSeekMoE：迈向混合专家语言模型中极致的专家专业化
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
Damai Dai, Chengqi Deng, Chenggang Zhao, Xu, R. X., Huazuo Gao, Chen, Deli, Jiashi Li, Wangding Zeng, Xingkai Yu, Yihong Wu, Xie, Zhenda, Y. K. Li, Panpan Huang, Fuli Luo, Chong Ruan, Zhifang Sui, Liang, Wenfeng
arXiv (Cornell University) · 2024-01-11
摘要
在大语言模型时代，混合专家架构是扩展模型参数规模时控制计算成本的重要方案。然而，诸如GShard这类传统混合专家架构仅激活$N$个专家中的前$K$个，难以实现专家专业化，即每个专家获取互不重叠且高度聚焦的知识。针对这一问题，我们提出了旨在实现极致专家专业化的DeepSeekMoE架构，该架构包含两项核心策略：其一，将专家细分为$mN$个，从中激活$mK$个，从而实现更灵活的激活专家组合；其二，指定$K_s$个专家作为共享专家，用以提取通用知识并减少路由专家间的冗余。我们从20亿参数的较小规模模型入手，验证了DeepSeekMoE 2B的性能可与拥有2.9亿参数、专家参数及计算量为其1.5倍的GShard 2.9B相媲美；此外，DeepSeekMoE 2B的性能几乎可与其总参数数相同的稠密模型持平，而稠密模型正是混合专家模型性能的上限。随后，我们将DeepSeekMoE的规模扩展至160亿参数，发现其性能可与LLaMA2 7B相当，但仅需约40%的计算量。我们初步尝试将DeepSeekMoE扩展至1450亿参数，结果一致表明该架构相较于GShard具有显著优势，其性能可与DeepSeek 67B相媲美，而所需计算量仅为后者的28.5%（甚至可能低至18.2%）。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对传统MoE（如GShard的top-K/N路由）难以保证专家专业化的问题，指出知识混杂与知识冗余会阻碍每个专家获得不重叠且聚焦的知识。其核心论点是DeepSeekMoE通过细粒度专家分割和共享专家隔离两项策略提升专家专业化水平。细粒度专家分割将FFN中间隐藏维缩小为1/m，使专家数变为mN并激活mK个专家，以维持参数与计算不变；共享专家隔离固定激活Ks个专家以捕获跨上下文共性知识并缓解路由专家冗余。论文用组合数示例支撑该论断：N=16时top-2仅有120种组合，拆成4份后64选8可达4,426,165,368种组合，从而提升知识分解与定向获取的灵活性。实验层面，DeepSeekMoE 2B接近同总参数量稠密模型的上界，16B以约40%计算与LLaMA2 7B/DeepSeek 7B相当，145B以28.5%（甚至18.2%）计算与DeepSeek 67B相当。
- 研究方法
- 研究采用架构设计加验证实验与消融分析的路径：在通用MoE层公式上引入细粒度专家分割与共享专家隔离，并加入专家级与设备级负载均衡损失。验证实验从DeepSeek-AI大规模多语言语料中抽取100B tokens子集，用BPE训练8K词表分词器。模型设置9层Transformer、隐藏维1280、10个注意力头（每头128维），所有FFN替换为MoE层，专家总参数量为标准FFN的16倍，激活专家参数量（含共享与激活路由专家）为标准FFN的2倍，形成约2B总参数、约0.3B激活参数。基线包括0.2B稠密模型、Hash Layer、Switch Transformer和GShard，DeepSeekMoE配置为1个共享专家与63个路由专家，每个专家为标准FFN的0.25倍。评估使用Pile交叉熵损失，以及HellaSwag、PIQA、ARC-easy/challenge、RACE-middle/high、HumanEval、MBPP、TriviaQA、NaturalQuestions等基准，指标含准确率、Pass@1和EM。训练基于HAI-LLM框架，结合张量并行、ZeRO数据并行、PipeDream流水并行和专家并行，并使用CUDA/Triton核；放大实验在2T tokens上训练16B模型并进行SFT，另对145B做初步扩展。
- 学术贡献
- 理论/架构层面，论文提出细粒度专家分割与共享专家隔离两种机制，把专家专业化的目标具体化为知识分解与共性知识压缩，属于MoE语言模型架构设计贡献。方法/工程层面，论文给出与负载均衡损失结合的MoE层公式，并区分专家级平衡损失与设备级平衡损失，对路由塌陷与跨设备计算瓶颈议题有价值。材料与实证层面，论文在2B规模进行多基准验证，报告DeepSeekMoE 2B超过GShard 2B并匹配1.5倍专家参数和计算的GShard 2.9B，同时接近同总参数量稠密模型的上界，支撑专家专业化假设。领域拓展层面，论文将架构扩展到16B并在2T tokens上训练，显示约40%计算下与DeepSeek 7B、LLaMA2 7B相当，且SFT后Chat 16B与DeepSeek Chat 7B、LLaMA2 SFT 7B相当，对高效MoE语言模型的可扩展性与对齐议题有价值。公共发布层面，论文公开DeepSeekMoE 16B检查点，并指出其可在单张40GB显存GPU上无需量化部署，对MoE模型的可复现与部署研究有直接价值。
- 存在局限
- 验证实验的2B模型仅9层、隐藏维1280、8K词表，且所有参数包括专家参数部署在单GPU，因此未启用设备级平衡损失也不丢弃token，这使设备级平衡损失与跨设备路由瓶颈的结论在材料中未获实验检验。16B与145B扩展的细节在材料中不完整：145B被表述为初步尝试，其训练数据规模、路由配置、负载均衡设置及稳定性均未明确提及。材料虽提到进行精细消融与专家专业化分析，但未给出共享专家数量Ks、分割粒度m、专家级平衡因子α1等超参数的系统消融结果，削弱了对两项策略各自贡献的因果识别。评估基准集中在Pile、HellaSwag、PIQA、ARC、RACE、HumanEval、MBPP、TriviaQA和NaturalQuestions，材料未报告多语言生成、长上下文、安全性或事实性等维度的结果。与LLaMA2 7B、DeepSeek 7B、DeepSeek 67B的比较以激活参数与计算量为主线，材料未明确说明训练数据、tokenizer、SFT数据与解码设置是否完全对齐，可能影响可比性。共享专家隔离的原型被归功于Rajbhandari et al. (2022)，论文主张从算法角度区别于其工程角度，但材料未展开该区别对负载均衡与部署效率的具体影响。
- 进一步研究方向
- 可在固定总参数量、激活参数量与训练FLOPs条件下，系统扫描分割粒度m与共享专家数Ks，在100B tokens子集上以Pile loss和12项基准为因变量，验证细粒度分割与共享专家隔离的边际贡献及交互效应。可在16B或145B规模上启用设备级平衡损失与专家并行，测量各设备token负载方差、通信开销、吞吐与基准性能，验证设备级平衡损失能否在不损害专家专业化的前提下缓解计算瓶颈。可对共享专家捕获共性知识的假设做因果检验：统计共享专家与路由专家的激活频率、参数相似度及路由token的任务/语言分布，并移除或替换共享专家后观察路由专家冗余指标与性能变化。可利用材料所述多语言、数学、代码、文献等多源语料，按语言与任务分层评估DeepSeekMoE 16B/145B，验证细粒度专家是否分别承载不同语言或不同知识类型。可比较SFT前后路由分布与专家专业化程度，检验Chat 16B的对齐过程是否改变共享专家与路由专家的分工，并测试对齐后基准性能与专家冗余之间的关系。可复现DeepSeekMoE 16B在单张40GB GPU上的部署，测量不同批大小、序列长度与量化策略下的显存占用和延迟，验证材料所述无需量化部署结论的边界条件。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling