DeepSeek-V2：一款强大、经济且高效的多专家混合语言模型
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
DeepSeek-AI, Liu, Aixin, Feng, Bei, Wang, Bin, Wang, Bingxuan, Liu, Bo, Zhao, Chenggang, Dengr, Chengqi, Ruan, Chong, Dai, Damai, Guo, Daya, Yang, Dejian, Chen, Deli, Ji, Dongjie, Li, Erhang, Lin, Fangyun, Luo, Fuli, Hao, Guangbo, Chen, Guanting, Li, Guowei
arXiv (Cornell University) · 2024-05-07
摘要
我们推出的DeepSeek-V2是一款性能强劲、训练成本低且推理效率高的多专家混合（MoE）语言模型。该模型总参数规模达2360亿，但每个词元仅激活210亿参数，能够支持长达12.8万词元的上下文处理。DeepSeek-V2采用了多头潜层注意力（MLA）与DeepSeekMoE等创新架构：MLA通过将键-值（KV）缓存大幅压缩为潜层向量来保证高效的推理过程，而DeepSeekMoE则借助稀疏计算机制以较低成本训练出高性能模型。相较于DeepSeek 67B，DeepSeek-V2的性能显著提升，同时训练成本降低42.5%，KV缓存占用减少93.3%，最大生成吞吐量更是提升至5.76倍。我们使用包含81万亿词元的高质量多源语料对DeepSeek-V2进行预训练，随后通过监督微调（SFT）与强化学习（RL）进一步释放其潜力。评估结果表明，即便仅激活210亿参数，DeepSeek-V2及其聊天版本在开源模型中仍展现出顶尖的性能水平。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出DeepSeek-V2，一个以经济训练和高效推理为特征的MoE语言模型，总参数236B，每token激活21B，支持128K上下文。其核心论断是MLA通过将KV cache压缩为潜在向量来保证推理效率，DeepSeekMoE通过稀疏计算以经济成本训练强模型。与DeepSeek 67B相比，DeepSeek-V2在性能更强的同时节省42.5%训练成本、减少93.3% KV cache、将最大生成吞吐提升至5.76倍。模型在8.1T token高质量多源语料上预训练，经1.5M多领域会话SFT和GRPO强化学习后，在开源模型中达到顶级表现，中文AlignBench上甚至超越多数闭源模型。
- 研究方法
- 采用架构设计与对照消融，具体为在Transformer框架内以MLA替换标准MHA，使用低秩键值联合压缩与解耦RoPE，并以DeepSeekMoE替换FFN，采用细粒度专家分割、共享专家隔离、设备受限路由、专家级/设备级/通信平衡辅助损失及token-dropping策略。预训练材料为8.1T token多源语料，使用与DeepSeek 67B相同的BBPE分词器、100K词表；模型设为60层、隐藏维度5120、128个注意力头、每头维度128，MoE每层2个共享专家与160个路由专家，每token激活6个路由专家。对齐方法包括收集1.5M会话进行SFT，并沿用DeepSeekMath的GRPO进行RL。评估方法为在英文与中文多基准上比较开源模型，并报告MMLU、AlpacaEval 2.0、MT-Bench、AlignBench等结果；同时以MHA/GQA/MQA消融和KV cache对比支撑MLA设计。
- 学术贡献
- 在理论/方法层面，提出MLA的KV cache公式(dc+dRh)l，使其KV cache约等于仅2.25组的GQA，却报告性能强于MHA；提出DeepSeekMoE在相同激活与总专家参数下优于GShard等传统MoE架构。在系统与效率层面，给出与DeepSeek 67B对比的量化结果：训练成本节省42.5%、KV cache减少93.3%、最大生成吞吐提升至5.76倍。在材料与开源层面，构建8.1T token预训练语料并增加中文数据，发布模型checkpoints及15.7B总参数、2.4B激活参数的DeepSeek-V2-Lite。在应用与评测层面，展示了SFT+RL后的聊天模型在英文开源模型中的顶级表现及中文AlignBench上超越所有开源模型并击败多数闭源模型的结果。
- 存在局限
- 材料仅含摘要、目录与部分正文，未给出Conclusion, Limitation, and Future Work一章的具体内容，因此作者自述局限无法依据材料判断。从可见设计看，效率对比以DeepSeek 67B为单一基线，未在材料中提供不同硬件、batch size或序列长度下的细分效率数据。MLA与DeepSeekMoE的消融主要对照MHA/GQA/MQA和GShard，未列出与其他MoE路由或长上下文注意力变体的系统比较。SFT的1.5M会话仅列出数学、代码、写作、推理、安全等领域类别，未说明语言分布、标注质量控制或偏好数据规模；中文token约比英文多12%，但未报告中英文分项基准成绩。
- 进一步研究方向
- 可对MLA做受控消融，逐一改变KV压缩维度dc、解耦查询/键每头维度dRh、查询压缩维度d'c，在128K序列长度下测量KV cache、吞吐与MMLU等基准精度，以验证压缩率与性能的权衡曲线。可对DeepSeekMoE控制共享专家数Ns、路由专家数Nr、激活路由专家数Kr与设备受限路由参数M，并调节三组辅助损失权重α1、α2、α3及token-dropping比例，检验负载均衡、通信开销与任务表现的敏感度。可利用DeepSeek-V2-Lite作为较小规模平台，与同激活参数量的dense模型在相同token数下比较训练成本-性能曲线，验证MLA与DeepSeekMoE的规模外推。可扩展评测到128K长上下文检索、多轮对话、数学与代码任务，并按中文、英文分别报告，以检验中文token多约12%与中文AlignBench优势之间的关系。可公开或详细描述8.1T语料的构建、过滤、去偏与中英文构成，并通过数据消融检验质量过滤和contentious content移除对基准结果的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling