训练计算最优的大型语言模型
Training Compute-Optimal Large Language Models
Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Thomas Anthony Hennigan, Eric Noland, Katherine Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Oriol Vinyals
neural information processing systems · 2022-01-01
摘要
我们研究了在给定计算预算下训练Transformer语言模型时的最优模型规模与训练词元数量。研究发现，当前的大型语言模型存在明显的训练不足问题，这一现象源于近期在保持训练数据量不变的前提下一味追求模型规模的扩张。我们使用5至5000亿个词元，训练了参数规模从7000万到超过160亿不等的400多个语言模型，结果表明：为实现计算最优的训练效果，模型规模与训练词元数量应同步扩展——模型规模每扩大一倍，所需的训练词元数量也需相应翻倍。为验证这一假设，我们训练了名为Chinchilla的预测性计算最优模型，其计算预算与Gopher相当，但参数规模达到700亿，且训练数据量是其4倍。在各类下游评估任务中，Chinchilla的表现均显著优于参数量达2800亿的Gopher、1750亿参数的GPT-3、1780亿参数的Jurassic-1以及5300亿参数的Megatron-Turing NLG。这意味着Chinchilla在微调与推理阶段所需的计算资源大幅减少，更便于实际应用。值得一提的是，Chinchilla在MMLU基准测试中的平均准确率达到了67.5%的业界领先水平，较Gopher提升了超过7%。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文追问在给定 FLOPs 预算下，transformer 语言模型的参数量 N 与训练 token 数 D 应如何权衡，并将问题形式化为在 FLOPs(N,D)=C 约束下最小化预训练损失 L(N,D)。核心论断是：当前大语言模型严重训练不足，根源在于近年只扩大模型规模而将训练数据固定在约 300B token 量级。作者训练 400 余个模型（70M 至 16B 以上参数、5B 至 500B token）后发现，计算最优训练要求模型规模与训练 token 数等比例缩放，即模型规模每翻一倍、训练 token 也应翻一倍；三种方法估计的指数为 a≈0.46–0.50、b≈0.50–0.54，与 Kaplan 等（2020）的 0.73/0.27 形成直接对立。据此预测 Gopher 计算预算下的最优模型应比 Gopher 小 4 倍而数据多 4 倍，并以 70B 参数、1.4T token 的 Chinchilla 验证：其在广泛下游任务上一致且显著优于 Gopher(280B)、GPT-3(175B)、Jurassic-1(178B) 与 Megatron-Turing NLG(530B)，MMLU 平均准确率达 67.5%，较 Gopher 提升逾 7%。作者进一步指出，更小的模型同时降低了微调与推理开销，而更大规模的高质量数据集将成为继续扩展的关键。
- 研究方法
- 研究沿三条并行路径估计 N_opt(C) 与 D_opt(C)。路径一固定模型规模（70M–10B），对每个规模以 4 种训练 token 数运行、学习率按 10× 衰减的 cosine schedule 设置，将训练曲线平滑插值后在 1500 个对数间隔的 FLOP 值上取最低损失点，再拟合幂律；路径二（IsoFLOP profiles）固定 9 个 FLOP 预算（6e18 至 3e21），在预算约束下变化模型规模（最高 16B），对每条 IsoFLOP 曲线拟合抛物线定位损失谷底，并把 cosine schedule 长度设为匹配 token 数；路径三将全部最终损失拟合为参数化形式 L̂(N,D)=E+A/N^α+B/D^β，用 Huber 损失（δ=10⁻³）与 L-BFGS 最小化、以初始化网格规避局部极小，再在 FLOPs≈6ND 约束下求闭式最优解。作者还在 C4 与 GitHub 代码两个额外数据集上复现 IsoFLOP 分析，以检验结论对数据分布的稳健性。Chinchilla 与 Gopher 构成同 FLOPs 预算的对照实验，两者架构与训练设置相同，差异仅在于改用 AdamW、使用不做 NFKC 规范化的 SentencePiece 分词器、在分布式优化器状态中保留 float32 权重副本等若干项。
- 学术贡献
- 在理论建构层面，该文修正了 Kaplan 等（2020）的计算最优缩放经验律，提出参数量与训练 token 数等比例增长的结论，并揭示了对手结论的方法论根源：固定训练 token 数与固定学习率 schedule 会使中间损失被高估，从而低估在较少数据上训练的效果。在方法层面，它给出 IsoFLOP 剖面与参数化损失拟合两种可复用的预算分配估计工具，并通过在 C4、GitHub 代码上的复现说明结论不局限于单一语料。在材料层面，400 余个跨规模模型的训练曲线构成大语言模型缩放研究中规模可观的实证数据集。其结论对预训练预算分配、数据集采集策略以及下游微调与推理的成本核算具有直接的操作价值，表 3 给出了各目标规模对应的最优 FLOPs 与 token 数。
- 存在局限
- 作者自承幂律跨多个数量级外推存在显著不确定性，未界定结论的稳健区间。三条路径并不完全一致：路径三因低计算预算点残差较大而被 Huber 损失当作离群点，加之前沿存在负曲率，其预测的最优模型规模系统性小于前两条路径，文中未给出统一的折衷方案。拟合所用模型规模上限仅为 16B（路径一更低至 10B），而部署验证只有 Chinchilla（70B）单点，预测的 40B–70B 区间仅上端被检验，缩放律在更大规模是否成立缺乏证据。分析对象限于 dense transformer，仅将参数量与训练 token 数作为变量，学习率、batch size、优化器与宽深比均沿用既有工作与经验启发式，MoE 与检索增强架构被明确排除在建模之外。
- 进一步研究方向
- 其一，将拟合规模上推至数百亿参数区间，在固定 FLOPs 下密集采样多个模型规模并各自匹配 cosine schedule 长度，检验 FLOP–loss 前沿的负曲率在大规模端是否持续，从而判定路径三的偏低预测是否源于小规模残差。其二，把专家数、检索 token 数作为独立自变量纳入 L̂(N,D) 的参数化形式，在 MoE 与检索增强模型上复现 IsoFLOP 剖面，验证“预算等比例分配给规模与数据”在条件计算架构中是否仍成立。其三，以 batch size、学习率 schedule 长度、宽深比为自变量做联合扫描，检验“schedule 长度匹配训练 token 数最优”这一前提在极长训练 horizon 下的稳健性。其四，将优化目标由训练 FLOPs 改为含微调与推理成本的端到端预算，重新导出最优前沿，量化小模型方案在全生命周期成本口径下的优势幅度。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling