OpenMoE：开源混合专家语言模型的早期探索
OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models
Fuzhao Xue, Zian Zheng, Yao Fu, Jinjie Ni, Zangwei Zheng, Wangchunshu Zhou, Yang You
arXiv (Cornell University) · 2024-01-29
摘要
为帮助开源社区更深入地理解基于混合专家架构的大型语言模型，我们训练并发布了OpenMoE系列完全开源且可复现的仅解码器混合专家大型语言模型，其参数规模涵盖6.5亿至340亿，训练数据量超过1万亿词元。我们的研究证实，相较于稠密型大型语言模型，基于混合专家架构的模型在成本效益方面更具优势，这一发现凸显了其在未来大型语言模型开发中的应用潜力。本研究的另一重要贡献是对OpenMoE模型内部的路由机制展开了深入分析，最终得出三项关键结论：上下文无关的专业化、早期路由学习以及末端丢弃现象。我们发现，混合专家模型中的路由决策主要依据词元ID，与上下文的相关性极低；词元到专家的分配关系在预训练阶段便已确定，且后续基本保持不变。这种不完善的路由机制可能导致性能下降，尤其在多轮对话等序列任务中，序列中靠后的词元更有可能被丢弃。基于上述观察与分析结果，我们重新调整了相关设计。为推动未来混合专家大型语言模型的进一步发展，我们提出了若干潜在策略，旨在缓解所发现的问题并进一步优化现有混合专家大型语言模型的设计。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- OpenMoE研究旨在帮助开源社区理解基于MoE的大语言模型，训练并发布从650M到34B参数、在最多超过1T token上训练的完全开源且可复现的decoder-only MoE LLMs。其核心论断是MoE-based LLMs相比dense LLMs能提供更有利的cost-effectiveness trade-off。研究重点在于对OpenMoE路由机制的深入分析，提出Context-Independent Specialization、Early Routing Learning、Drop-towards-the-End三个发现。具体而言，路由决策主要基于token IDs而与上下文相关性很小，token-to-expert分配在预训练早期确定并基本不变。这种不完美路由会导致性能退化，尤其在多轮对话等顺序任务中，序列后部token更易被丢弃。作者据此反思设计并提出缓解问题和改进现有MoE LLM设计的潜在策略。
- 研究方法
- 工作训练并发布OpenMoE-Base/16E、OpenMoE-8B/32E、OpenMoE-8B/32E-Chat和OpenMoE-34B/32E，并释放8B/32E的5个中间检查点。模型采用decoder-only ST-MoE架构，使用umT5 tokenizer（256K vocab）、token-choice routing、top-2选择、Residual MoE以及每4或6层插入MoE的interleaved方式，并加入load balance loss与router z-loss。预训练数据采用RedPajama与The Stack等构成的三个版本data mixture，早期代码比例高达52.25%，训练目标在UL2与CasualLM之间切换。监督微调使用WildChat中GPT-4的instruction-response pairs，包含58K conversations、平均1.8 turns。消融实验在OpenMoE-Base/16E上以零样本TriviaQA检验MoE、UL2、代码数据和tokenizer等设计。路由分析按domain、language、task、token等分类进行，评测覆盖TriviaQA、HumanEval、WMT16 En-Ro、BigBench-Lite、lm-evaluation-harness的13个任务和MT-Bench，训练使用data、tensor、expert parallelism及64至512块TPU v3。
- 学术贡献
- 在材料层面，该研究开源了可复现的decoder-only MoE LLMs系列，参数覆盖650M至34B，训练token可达1T以上，并提供中间检查点。在实证层面，它比较MoE与dense LLMs的成本效益，为MoE LLM开发提供了cost-effectiveness证据。在机制分析层面，它把路由行为拆解为Context-Independent Specialization、Early Routing Learning与Drop-towards-the-End，推进了对MoE路由可解释性与失效模式的认识。在训练策略层面，它探索了高代码比例data mixture、UL2与CasualLM切换、umT5 tokenizer等对MoE LLM的影响，并记录UL2饱和与回退过程。在应用关联层面，它指出token drop对多轮对话和instruction-tuning的损害，并提出缓解策略与off-the-shelf MoE LLM设计改进方向。
- 存在局限
- 消融实验只在OpenMoE-Base/16E上进行，受算力限制无法确认这些结论能否推广到更大模型。OpenMoE-34B/32E仅训练200B tokens，未完成更充分训练，其scalability验证有限。OpenMoE-8B/32E在5-shot MMLU上约26.2%，接近四选一随机猜测；在lm-evaluation-harness的13个任务上，OpenMoE与TinyLLaMA均低于OpenLLaMA。作者将文本基准表现受抑归因于早期代码数据采样率过高，但材料未给出系统性的比例控制实验来分离该因素。UL2在8B/32E后期出现饱和，模型从UL2回退到CasualLM，并伴随token prediction accuracy下降，说明训练目标切换本身会引入新的波动。路由三发现均基于OpenMoE自身模型与特定数据混合，材料中未明确提及这些现象在其他MoE架构或数据配比中的适用边界。
- 进一步研究方向
- 按作者提出的路径，在算力允许时训练更大规模OpenMoE并增加训练token数，以检验其scalability及cost-effectiveness结论。在更大模型上复制OpenMoE-Base/16E的消融，分别控制MoE、UL2、代码数据比例与tokenizer，以验证这些设计在模型尺度变化下的效应。系统操纵MoE层间隔、top-K、expert容量、load balance loss与router z-loss，测量路由决策、token drop和MT-Bench多轮表现之间的因果关系。针对instruction-tuning数据与预训练数据的domain gap，测试调整expert容量、路由正则或上下文感知路由等策略能否缓解Drop-towards-the-End。对code/text混合比例与UL2到CasualLM的课程做控制实验，跟踪C4、GitHub等domain的验证损失与准确率，并观察HumanEval、TriviaQA、WMT16 En-Ro和lm-evaluation-harness的同步变化。利用已释放的5个8B/32E中间检查点，追踪Context-Independent Specialization与Early Routing Learning在训练过程中的形成时刻与稳定性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling