训练计算最优的大型语言模型
Training Compute-Optimal Large Language Models
Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Y. Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Hennigan, Tom, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae
arXiv (Cornell University) · 2022-03-29
摘要
我们研究了在给定计算预算下训练Transformer语言模型时的最优模型规模与训练词元数量。研究发现，当前的大型语言模型存在明显的训练不足问题，这一现象源于近期在保持训练数据量不变的前提下一味追求模型规模扩张的做法。通过在50亿至5000亿词元的数据集上训练参数规模从7000万到超过160亿的400多个语言模型，我们发现要实现计算最优的训练效果，模型规模与训练词元数量需同步扩展：模型规模每扩大一倍，训练词元数量也应相应翻倍。为验证这一假设，我们训练了预测中的计算最优模型Chinchilla，该模型与Gopher采用相同的计算预算，但参数规模达到700亿，且训练数据量是Gopher的4倍。在各类下游评估任务中，Chinchilla的表现均显著优于参数规模为2800亿的Gopher、参数规模为1750亿的GPT-3、参数规模为1780亿的Jurassic-1以及参数规模达5300亿的Megatron-Turing NLG。这也意味着Chinchilla在微调与推理阶段所需的计算资源大幅减少，极大便利了其后续应用。值得一提的是，Chinchilla在MMLU基准测试中的平均准确率达到了67.5%的业界领先水平，较Gopher提升了超过7%。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文研究在给定 FLOPs 计算预算下，transformer 语言模型应如何权衡模型参数量 N 与训练 token 数 D。作者指出当前大语言模型严重训练不足，原因是近期研究持续扩大模型规模，却将训练数据量基本固定在约 300B tokens。基于 400 多个模型、覆盖 70M 至 16B 以上参数和 5B 至 400B 以上 tokens 的经验结果，论文认为计算最优训练时模型规模与训练 token 数应等比例缩放：模型规模每翻倍，训练 token 数也应翻倍。与 Kaplan et al. (2020) 建议的模型规模指数 0.73、token 指数 0.27 不同，本文三种估计方法均得到约 a≈0.50、b≈0.50。作者以 Chinchilla 验证该假设：70B 参数、1.4T tokens，使用与 Gopher 相同的计算预算但模型小 4 倍、数据多 4 倍，在大量下游评估任务上显著优于 Gopher (280B)、GPT-3 (175B)、Jurassic-1 (178B) 和 Megatron-Turing NLG (530B)。
- 研究方法
- 论文采用三种经验估计路径回答固定 FLOPs 下 N 与 D 的最优分配问题。Approach 1 固定一组模型规模（70M 到 10B）并改变训练步数，每个规模训练 4 个不同 cosine cycle 长度，从训练曲线中提取每个 FLOP 下最低 loss，再拟合幂律 N_opt∝C^a 与 D_opt∝C^b，得到 a=0.50、b=0.50。Approach 2 在 9 个固定训练 FLOPs 预算（6e18 到 3e21）下变化模型规模（最高 16B），绘制 IsoFLOP 曲线并用抛物线定位 loss 最低点，再拟合幂律，得到 a=0.49、b=0.51。Approach 3 将最终 loss 参数化为 L̂(N,D)=E+A/N^α+B/D^β，使用 Huber loss（δ=1e-3）和 L-BFGS 拟合参数，并在 FLOPs(N,D)≈6ND 约束下求 efficient frontier，得到 a=0.46、b=0.54。样本由 400 多个模型构成，参数从 70M 到 16B 以上，训练 tokens 从 5B 到 400B 以上，每个配置训练多个不同 horizon，并在 C4 和 GitHub code 上复现 IsoFLOP 分析。Chinchilla 与 Gopher 使用相同架构和训练设置，但改用 AdamW、修改 SentencePiece tokenizer 以取消 NFKC 归一化、调整 MassiveText 子集分布，并采用 bfloat16 前向/反向与 float32 权重副本，在 TPUv3/TPUv4 上以 JAX 和 Haiku 训练。
- 学术贡献
- 在理论建构上，论文重新估计 compute-optimal scaling，提出模型参数量与训练 token 数应等比例增长，修正了 Kaplan et al. (2020) 偏向优先扩大模型规模的结论。在方法上，三种独立拟合路径给出带 bootstrap 分位数的幂律指数，形成对 scaling law 估计的交叉验证，对语言模型缩放规律研究有直接方法价值。在模型验证与材料层面，Chinchilla 以 70B/1.4T tokens 在同计算预算下超过 280B 的 Gopher 和 530B 的 MT-NLG，证明较小模型配合更多训练数据可以更优，推动大模型预训练预算分配从单纯增大参数转向数据与参数平衡。该结论对下游微调与推理效率议题有直接价值：Chinchilla 比 Gopher 小 4 倍，微调和推理计算显著更低。论文还指出进一步缩放需要更大规模高质量数据集，对 LLM 预训练数据收集、模型规模选择和效率评估等子领域具有明确意义。
- 存在局限
- 三种估计方法均以幂律关系为假设，正文明确说未来工作可能需要纳入大模型规模下的曲率；同时作者承认外推多个数量级存在显著不确定性。Approach 1 只使用最高 10B 参数的模型，Approach 2 最高 16B，而验证模型 Chinchilla 为 70B，因此对更大模型的最优前沿结论仍依赖外推。Approach 3 在低训练 FLOPs（C≤1e21）处残差较大，Huber loss 将这些低计算预算点视为离群点，导致其预测的 N_opt 比另外两种方法更低。Chinchilla 与 Gopher 的对比并非单一变量实验：优化器由 Adam 改为 AdamW、tokenizer 取消 NFKC 归一化、MassiveText 子集分布也不同，材料虽提及 Appendix G 展示优化器相关改动的影响，但节选未给出这些因素与规模/token 比例效应的分离细节。分析主要围绕密集自回归 transformer，材料中未明确提及对 MoE、检索增强模型或非文本模态的同等比例缩放验证；相关工作中 Clark et al. 对 MoE 的分析采用固定训练 token 数，未纳入本文的等比例缩放结论。
- 进一步研究方向
- 可在 70B、175B、280B 以上等更大模型区间训练多组模型，保持 cosine schedule 与训练 token 数匹配，用 IsoFLOP profiles 拟合抛物线并检验幂律指数是否仍满足 a≈b≈0.5，或在 L̂(N,D) 中加入曲率项以检验外推偏差。可将三种估计方法扩展到 MoE 与检索增强模型，固定 FLOPs 变化专家数和检索 token 数，检验参数与训练 token 等比例缩放是否仍成立，并回应 Clark et al. 关于路由收益随模型增大而递减的观察。可在 C4 和 GitHub code 之外选取数学、化学、多语言等对 tokenizer 敏感的数据集，固定 FLOPs 训练模型并比较 NFKC 等分词器设置对最优 D 的影响，以验证 Chinchilla 分词器改动的收益来源。可对 Chinchilla 与 Gopher 的差异做消融实验：固定 70B/1.4T，分别切换 Adam/AdamW、NFKC 开关、MassiveText 子集分布，测下游任务与 MMLU，分离架构外因素对性能的贡献。还可设计统一端到端预算实验，比较不同 N-D 组合在微调、推理延迟、显存占用和下游准确率上的表现，量化小模型加多 token 在部署阶段的收益，并据此估计高质量数据收集的边际价值。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling