DeepSeekMoE：迈向混合专家语言模型中的极致专家专业化
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
Damai Dai, Chengqi Deng, Chenggang Zhao, R.x. Xu, Huazuo Gao, Deli Chen, Jiashi Li, Wangding Zeng, Xingkai Yu, Y. Wu, Zhenda Xie, Y. K. Li, Panpan Huang, Fuli Luo, Chong Ruan, Zhifang Sui, Wenfeng Liang
Annual Meeting of the Association for Computational Linguistics (ACL) · 2024-01-01
摘要
戴大迈（Damai Dai）、邓承启（Chengqi Deng）、赵成刚（Chenggang Zhao）、徐R.X.（R.x. Xu）、高华佐（Huazuo Gao）、陈德利（Deli Chen）、李家石（Jiashi Li）、曾王鼎（Wangding Zeng）、于星凯（Xingkai Yu）、吴Y.（Y. Wu）、谢振达（Zhenda Xie）、李Y.K.（Y.k. Li）、黄盼盼（Panpan Huang）、罗富丽（Fuli Luo）、阮冲（Chong Ruan）、隋志芳（Zhifang Sui）、梁文峰（Wenfeng Liang）。第62届计算语言学协会年会论文集（第1卷：长文篇）。2024年。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对大规模语言模型中MoE架构在扩展参数时计算成本高的问题，提出DeepSeekMoE，目标是实现终极专家专业化，即每个专家获得不重叠且聚焦的知识。作者将传统GShard式top-K路由的缺陷归结为知识混合与知识冗余：专家数量有限时单个专家被迫容纳多样知识而难以同时利用，不同专家又会重复学习公共知识而造成参数冗余。核心策略包括细粒度专家分割与共享专家隔离：前者在保持专家参数和计算量不变的前提下把FFN中间隐藏维切成m个小专家并激活mK个，以提升激活专家组合的灵活性；后者隔离Ks个始终激活的共享专家来压缩跨语境公共知识，降低路由专家冗余。验证实验显示，DeepSeekMoE 2B在12个基准上超过GShard 2B，并匹配GShard 2.9B（后者专家参数与计算量为1.5倍），还接近同等总参数的稠密模型这一MoE理论上界。16B模型用2T token训练后，以约40%计算量达到DeepSeek 7B和LLaMA2 7B的可比性能，消融与专家专业化分析支持两种策略的有效性。
- 研究方法
- 研究采用架构设计、对照实验、消融实验与专家专业化实证分析相结合的方法路径。训练材料为DeepSeek-AI构建的中英文大规模语料，验证实验从中采样100B token，并用HuggingFace工具训练8K词表的BPE分词器。模型配置为9层Transformer、隐藏维1280，所有FFN替换为MoE层，总专家参数为标准FFN的16倍，激活专家参数为2倍，总参数约2B、激活参数约0.3B；训练使用AdamW，最大学习率1.08×10−3，batch size 2K，序列长度2K，每批4M token，共25000步，平衡因子0.01。评测覆盖Pile语言建模交叉熵、HellaSwag/PIQA/ARC准确率、RACE准确率、HumanEval/MBPP Pass@1以及TriviaQA/NaturalQuestions EM，对照模型包括Dense 0.2B、Hash Layer、Switch Transformer、GShard与DeepSeekMoE。消融中，共享专家隔离在GShard上隔离1个共享专家，细粒度分割将专家切成2或4份得到32（1共享+31路由）或64（1共享+63路由）个专家；专业化分析通过遮蔽一定比例最高路由概率的专家并观察Pile test loss变化来评估路由专家冗余，16B模型则在2T token上扩展训练。
- 学术贡献
- 在理论建构层面，论文提出细粒度专家分割与共享专家隔离两种MoE专家专业化策略，并给出完整MoE层公式、共享专家与路由专家的组合形式以及专家级负载均衡损失。在方法创新层面，它把专家参数与激活参数解耦，通过m倍细分与mK激活、Ks共享专家隔离，在固定计算量下改变专家组合空间，为MoE参数效率提供可验证架构方案。在材料与基准层面，论文在12个基准上系统评估语言建模、语言理解与推理、阅读理解、代码生成、闭卷问答，并报告2B与16B两档规模的对照结果。在领域拓展层面，它直接面向MoE语言模型的专家专业化议题，提出并公开DeepSeekMoE 16B的代码与模型checkpoint，对MoE路由设计、专家冗余抑制和计算效率研究有具体价值。
- 存在局限
- 验证实验的主结果建立在2B总参数、100B token和9层、隐藏维1280的配置上，16B模型虽在2T token上训练，但材料未明确报告百B级参数或更长token规模下的系统结果，因此专业化优势是否随规模持续需材料之外的信息判断。评测任务以中英文语言建模、理解推理、阅读理解、代码生成和闭卷问答为主，未涵盖多模态、长上下文或中英之外的多语言场景，样本任务代表性有限。专家专业化分析主要依赖遮蔽最高路由概率专家后的Pile test loss和路由冗余观察，未明确给出专家知识重叠的细粒度量化指标，也未展示路由决策的可解释性分析。与稠密模型对比时，DeepSeekMoE 2B的Pile test loss为1.808，稠密对照为1.806，论文表述为接近而非超越；16B对比中仅说明约40%计算量下与7B稠密模型可比，未报告同计算量稠密模型或同总参数稠密模型的严格对照。负载均衡仅采用式(12)-(14)的专家级平衡损失并将平衡因子设为0.01，材料未明确讨论该损失在更大规模或不同路由策略下的替代方案与鲁棒性。
- 进一步研究方向
- 可在本文配置之外训练百B级参数、万亿token级DeepSeekMoE，沿用Pile、HellaSwag、ARC、HumanEval等基准与2B/16B消融协议，检验细粒度分割倍率m与共享专家数Ks的收益是否随规模保持。可构建专家知识重叠的量化指标，例如统计路由分布相似度、专家参数余弦相似度或激活模式聚类，并联合m、Ks与平衡因子α做网格搜索，验证共享专家是否确实吸收跨语境公共知识。可在16B模型上设置同计算量稠密模型、同总参数稠密模型和GShard×1.5等对照组，报告训练FLOPs、推理延迟、吞吐与全部12个基准，复核“约40%计算量可比7B稠密模型”的结论边界。可将评测语料扩展到多语言、长上下文和特定领域文本，使用与本文相同的评测流程或新增任务，检验路由专家冗余降低是否在域外分布上稳定。可研究动态调整Ks、m与负载均衡系数的训练调度，通过消融观察路由崩溃概率、专家激活熵和下游性能，形成可操作的MoE专家专业化配置规则。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling