参数与FLOPs：混合专家语言模型最优稀疏性的缩放律
Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models
Samira Abnar, Harshay Shah, Dan Busbridge, Ali, Alaaeldin Mohamed Elnouby, Josh Susskind, Vimal Thilak
arXiv (Cornell University) · 2025-01-21
开放获取高效训练与推理大模型与语言被引 17被引前 50%影响因子 ≈1.1
摘要
语言模型容量的扩展已被反复证明是提升性能与释放新能力的一种可靠方法。容量主要可由两个维度定义：模型参数数量与每个样本的计算量。尽管扩展通常涉及同时增加这两类维度，但这些因素之间的精确相互作用及其对总容量的联合贡献仍尚未得到充分理解。我们在稀疏混合专家模型的语境下探究这一关系，该类模型允许在参数数量扩展时并不按比例增加每个样本的FLOPs。我们研究改变稀疏性水平——即未激活参数所占比例——如何影响模型在预训练阶段及下游小样本评估中的表现。我们发现，在不同约束条件（如参数规模与总训练计算量）下，均存在一种最优稀疏性水平，能够同时提升训练效率与模型性能。这些结果深化了对混合专家模型缩放律中稀疏性影响的理解，对该领域现有研究形成补充，为设计更高效的架构提供了启示。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文以稀疏Mixture-of-Experts语言模型为对象，把模型容量拆成总参数N与每样本FLOPs两个维度，并用激活参数Na作为FLOPs的代理，以稀疏度S=(E−K)/E刻画非激活专家比例。核心论点是：在固定训练compute下存在最优稀疏度；若不约束总参数，更稀疏且总参数更大的模型预训练loss更低，而compute最优模型的激活参数随稀疏度上升而下降。固定总参数N时，L(S;N,C)沿稀疏度呈抛物线，最优稀疏度S*随N增大而上升并趋近1，随训练compute预算C增大而下降。下游few-shot评估中，语言理解、常识推理和世界知识任务的上游loss与下游误差强相关且该关系不随稀疏度改变，但阅读理解任务上同等预训练perplexity的更稀疏模型迁移更差。Chain-of-Thought增加推理期compute时，MoE相对同激活参数dense模型获益更多。
- 研究方法
- 采用大规模实证扫描：在多个总参数规模（约294M至26B）、稀疏度（0%至98%/99%）和训练compute预算（3e19至1e21 FLOPs）上训练MoE Transformer并记录预训练loss与下游指标。核心分析是拟合三维IsoFLOP曲面，用多项式映射log N、log S及其交互项到loss，通过网格搜索选定(2,2,2)阶并在交叉验证误差最低处确定模型。进一步按固定S变N、固定N变S切片分析最优N*、Na*与S*，并在不同C下重复。缩放律部分在Kaplan/Hoffmann形式中引入(1−S)及其与N的乘性项，用L-BFGS和δ=10−3的Huber loss拟合系数，并以排除S=0.98的数据点做样本外验证。下游评估使用llm-foundry的in-context few-shot套件，覆盖语言理解（LAMBADA-OpenAI 0-shot）、阅读理解（SQuAD 10-shot）、常识推理（PIQA 10-shot）和世界知识（BIG-bench QA-Wikidata 10-shot）。
- 学术贡献
- 在理论建构上，论文把稀疏度显式写入MoE缩放律，提出含(1−S)λ、d(1−S)δNγ等项的L(N,D,S)参数形式，使总参数与每样本FLOPs的交互可在统一方程中估计。在方法上，它以单一三维IsoFLOP曲面替代按固定稀疏度或模型规模分别拟合二维曲线的做法，并给出固定N求S*、固定S求N*的可操作切片分析。在材料发掘上，论文构建了跨总参数、稀疏度和训练compute的网格实验，并报告了上游loss与多类下游few-shot误差的关系。其结论对MoE缩放律、compute-optimal架构设计和推理期动态compute分配三个具体议题有直接价值，尤其指出固定compute下增大总参数并提高稀疏度可同时降低预训练loss与每样本FLOPs。
- 存在局限
- 实验对象限定为语言建模中的稀疏MoE Transformer，下游评估仅覆盖llm-foundry四类任务，阅读理解结论主要依赖SQuAD 10-shot一个任务，作者对更稀疏模型迁移更差的解释仅为“可能由于推理期compute更低”，材料中未明确给出验证。缩放律拟合的样本外验证只排除了S=0.98的数据点，未展示对其他稀疏度区间或更大模型规模的系统外推误差。讨论中关于更大更稀疏模型更优的判断明确以忽略内存和通信开销为前提，因此不能直接等同于实际架构设计结论。作者还提示“稀疏度除预训练效率外无额外收益”可能是实验规模造成的伪影，说明结论受限于当前compute与模型规模网格。
- 进一步研究方向
- 第一，按论文提出的规模伪影疑点，在更高训练compute和更大总参数上重复固定N变S的IsoFLOP切片，检验S*随N趋近1、随C下降的趋势是否保持，并报告外推到未训练稀疏度区间的预测误差。第二，针对阅读理解和推理任务，设计控制上游loss与激活参数Na匹配的对照实验，分别改变稀疏度与推理期CoT长度，以分离每样本FLOPs对迁移性能的独立影响。第三，把内存占用、通信开销和专家粒度纳入IsoFLOP曲面与式6的拟合，检验忽略这些因素时得到的最优稀疏度是否偏移。第四，将含(1−S)项的缩放律扩展到权重稀疏等非MoE稀疏机制，并用相同网格协议做样本外验证。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling