大型语言模型专家混合模型的升级缩放规律
Scaling Laws for Upcycling Mixture-of-Experts Language Models
Seng Pei Liew, Takuya Kato, Takase, Sho
arXiv (Cornell University) · 2025-02-05
开放获取大模型与语言影响因子 ≈0.2
摘要
预训练大型语言模型需要耗费大量资源，即便借助高端GPU集群，也往往需耗时数月才能完成训练。为缓解此类计算需求，现有两种路径：一是利用较小规模的模型来训练更大规模的模型（即升级再造），二是训练计算效率更高的专家混合模型。本文聚焦于大型语言模型的升级再造为专家混合模型这一过程，而该领域的缩放行为此前尚未得到充分研究。通过大量实验，我们总结出描述模型性能与数据集规模及模型配置之间关系的经验性缩放规律。研究发现，尽管扩大这些因素的规模能够提升模型性能，但密集训练数据集与升级再造训练数据集之间存在一种新颖的交互项，会限制在高计算预算下升级再造的效率。基于上述发现，我们为升级再造的实施提供了指导，并明确了在预算受限条件下升级再造优于从头训练的具体条件。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文以将预训练稠密语言模型升级为混合专家模型（upcycling）为研究对象，问题域是交叉熵测试损失如何随稠密模型预训练 token 数 D1、upcycled MoE 训练 token 数 D2 以及模型配置变化。核心论点是 upcycled MoE 的性能可用幂律 scaling law 描述，且数据规模项中存在 novel interaction term：L=AD1^-α1 D2^{-α2+α3 log D1}+E。该交互项表明，增加 D1 会降低 upcycled MoE 的初始损失，但使损失随 D2 下降的指数变为 α2−α3 log D1，从而在大计算预算下削弱 upcycling 的效率。模型配置方面，论文以稀疏度 P=Ntotal/N2 与 active parameters N2 刻画 MoE，发现提升稀疏度和 active parameters 可改善性能且未观察到明显权衡；在固定 8x2 Mixtral-like 架构下进一步给出含 N1^-β 项的联合 scaling law。论文还定义阈值 D*，指出当 D2 低于该阈值时 upcycling 比从零训练 MoE 更高效，超过阈值后从零训练更高效，且 D* 随模型规模增大而下降。
- 研究方法
- 论文采用受控训练实验与经验拟合相结合的方法：训练 15M、44M、0.1B、0.2B、0.5B、1B 的稠密模型，并将其 upcycle 为不同 nexpert 与 nTopK 配置的 MoE，训练 token 规模达到数百 B。upcycling 的具体操作是复制稠密模型 MLP 权重 nexpert 次形成专家、直接复制其他模块权重、随机初始化 router，再以交叉熵损失加系数 10^-3 的负载均衡辅助损失继续训练。实验使用 Slimpajama-DC 的 CommonCrawl 部分 368B token 作为训练集、0.3B token 验证集，并采用 warmup-stable-decay 学习率调度复用中间 checkpoint 以模拟不同 token 预算，减少独立训练次数。scaling law 拟合使用 Huber loss（δ=10^-3）、BFGS 与 LogSumExp 技巧，以 leave-one-out RMS 误差比较函数形式；数据规模拟合基于 0.1B 稠密模型 upcycle 到 nexpert={4,8}、nTopK={1,2} 的 5×5 D1、D2 网格，模型配置拟合固定 D1=D2=2.3B 并变化稠密模型 15M—0.2B、nexpert={4,8,16,32}、nTopK={1,2,4}。联合 scaling law 分别拟合 dense、MoE、upcycled 三组规律，并先由 dense 与 MoE 联合拟合固定不可约损失 E，再拟合 upcycling 规律；D* 通过数值求解并用解析式近似。
- 学术贡献
- 论文在理论建构层面提出带交互项的 upcycling 数据规模 scaling law，将 D1 的 sunk cost 对 D2 边际收益的抑制作用量化为 α3 log D1 项，补充了 upcycling 效率随训练预算变化的条件性认识。其模型配置层面的贡献在于用稀疏度 P 与 active parameters N2 建立经验幂律，并报告在所考察范围内提升二者未出现明显性能权衡，这对 MoE 架构选择与 upcycling 配置具有直接价值。论文进一步给出固定 8x2 架构下数据规模与模型规模联合 scaling law，并以 D* 阈值把 upcycling 与 from-scratch MoE 训练的预算效率比较转化为可计算的决策规则。方法层面，warmup-stable-decay 调度与 checkpoint 复用降低了多 token 预算扫描的实验成本，leave-one-out RMS 比较乘法式、加法式及无交互特例的做法也使函数形式选择有明确依据。材料所属为机器学习中的 LLM 训练效率与 MoE 扩展议题，材料中未明确提及艺术理论、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈、戏曲与曲艺等艺术学子领域。
- 存在局限
- 模型配置 scaling law 的拟合受计算约束，论文明确表示无法生成更多数据点以精确估计更广模型配置范围内的指数，β1=1.87、β2=0.34 的估计及外推可靠性受实验网格限制。联合 scaling law 固定采用 nexpert=8、nTopK=2 的 Mixtral-like 架构，并仅以 N1 表征模型规模，未将稀疏度 P 与 active parameters N2 同时纳入统一规律，论文也明确说明未构建覆盖所有模型配置的统一 scaling law。数据规模拟合主要在 0.1B 稠密模型上完成，模型配置拟合的稠密模型上限为 0.2B，而整体实验模型总参数上限约 7B、token 规模为数百 B，向更大模型与更长 token 预算外推时缺少同尺度验证点。联合拟合先将 E 由 dense 与 MoE 规律联合拟合后固定，再拟合 upcycling 规律，这一两步估计会把前序拟合误差带入 upcycling 参数；D* 虽给出解析近似，但原方程需数值求解，阈值精度未在材料中给出独立误差评估。材料中未明确提及任何艺术学对象、艺术数据集或审美评价指标，因此不能由本文直接推出艺术学结论。
- 进一步研究方向
- 可在更大参数规模上复现 5×5 的 D1、D2 网格，例如将稠密模型扩展到数 B 至数十 B、训练 token 扩展到 T 级，检验 α3 log D1 交互项是否仍成立以及 D* 解析近似的偏差。可将稀疏度 P 与 active parameters N2 作为独立变量加入联合律，拟合 L(D1,D2,N1,P,N2) 的统一形式，并用未参与拟合的 nexpert、nTopK 组合做留出验证。可在同一 scaling 框架下比较论文附录提及的替代 upcycling 方法、router 初始化方式与负载均衡系数，估计不同实现下的指数差异及阈值移动。可在 CommonCrawl 之外系统替换为日语、源代码及其他领域语料，检验数据分布变化对 α1、α2、α3 与 D* 的影响。可利用拟合后的联合律做固定 FLOPs 下的 compute-optimal 分配实验，验证 upcycling 与 from-scratch 的最优 token 分配策略；若面向艺术学语境，则需另行采集艺术文本或艺术图像数据并定义评价指标，材料中未明确提及此类数据与指标。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling