大型语言模型的新兴能力
Emergent Abilities of Large Language Models
Wei, Jason, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H., Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, W. Fedus
arXiv (Cornell University) · 2022-06-15
开放获取大模型与语言被引 1,263影响因子 ≈0.2
摘要
随着语言模型规模的扩大，其在各类下游任务中的表现及样本利用效率均会呈现出可预测的提升。本文则探讨了一种不可预测的现象，我们将其称为大型语言模型的新兴能力。若某种能力在较小规模的模型中不存在，却在更大规模的模型中显现，便可将其定义为新兴能力。因此，仅凭对小规模模型性能的推断无法预测这类新兴能力的出现。这种新兴现象的存在意味着，进一步扩大模型规模有望拓展语言模型的能力范畴。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出并界定大语言模型的「涌现能力」：某能力在小模型中不存在、在大模型中存在，因此不能仅由小模型性能外推预测。作者以训练计算量FLOPs和模型参数量为尺度轴，将涌现可视化为缩放曲线：性能在临界阈值前接近随机，越过阈值后跃升至显著高于随机，呈现相变。论文在few-shot prompting与augmented prompting两类设置中检视涌现，涉及算术、IPA转写、单词重排、波斯语问答、TruthfulQA、MMLU、WiC、chain-of-thought、instruction following、scratchpad、calibration等任务与策略。作者强调涌现阈值并非能力的固定属性，可受数据质量、架构、训练目标等因素影响，并追问继续扩大规模是否带来新能力。
- 研究方法
- 该文是综述或调查性工作，汇总既有文献中的模型评估结果，而非提出新模型或统一实验。作者以训练FLOPs为x轴、任务性能指标（accuracy、BLEU、exact match、ECE等）为y轴绘制缩放曲线，每个数据点代表一个独立模型，并在附录同时以模型参数量为x轴重绘。样本覆盖GPT-3、LaMDA、Gopher、Chinchilla、PaLM等模型族，任务来自BIG-Bench、TruthfulQA、MMLU、WiC、GSM8K等，设置包括2-shot与one-shot few-shot prompting以及chain-of-thought、instruction finetuning、scratchpad、P(True) calibration等增强策略。作者用表1列出各涌现能力出现时的训练FLOPs与参数量，并在附录A对六个BIG-Bench涌现任务比较交叉熵损失与下游指标。
- 学术贡献
- 概念层面，论文给出可操作的涌现定义与判据，将「小模型无、大模型有」及性能从随机到高于随机的曲线形态作为识别标准。材料层面，系统编目跨模型族与任务的涌现现象，区分few-shot prompting与augmented prompting两类能力，并给出涌现阈值表格。方法或评估层面，指出exact match、BLEU、accuracy等下游指标可能把交叉熵损失的连续改善掩盖为涌现假象，提示评估指标选择对涌现判断的影响。领域层面，将规模不是唯一解锁因素、指令微调和RLHF可让较小模型获得类似行为等观察纳入讨论，对scaling laws、prompting、校准和评估子领域提出阈值预测、能力下推与度量效度等具体议题。
- 存在局限
- 作为综述，它未进行统一控制的实验，跨模型比较受架构、训练数据、训练目标、评估设置等差异混杂，难以分离出规模的独立效应。以训练FLOPs或参数量作为规模代理并不完备，材料明确提到Chinchilla与Gopher、稀疏专家模型等使代理之间关系不一致，且多数模型族使用固定训练样本数。涌现阈值依赖具体模型族、任务与数据质量，不能视为能力固有属性，作者也承认今日语言模型未必最优训练。对涌现机制只有直觉性解释，如多步推理需O(l)层深度、世界知识需参数记忆，缺少实证机制检验。评估指标虽被指出可能制造涌现假象，但作者承认这不能解释分类任务中的涌现；材料中未明确提及统计显著性、误差范围或统一随机种子，也未系统消融PaLM 62B与LaMDA 137B、GPT-3 175B在14个BIG-Bench任务上的差异。
- 进一步研究方向
- 对BIG-Bench中最大GPT-3和PaLM仍低于随机的任务建立候选清单，在统一模型族内扫描训练FLOPs，记录下游指标与交叉熵，检验哪些任务会随规模继续涌现。针对PaLM 62B在14个BIG-Bench任务上超过更大LaMDA与GPT-3的现象，设计受控消融，改变训练数据质量、多语言与代码比例、分词与架构差异，验证哪些因素可降低涌现阈值。测试不同预训练目标与继续预训练策略，例如mixture-of-denoisers目标，是否能在更小模型上解锁已观察到的涌现能力。将已发现能力下推至小模型，复现instruction finetuning与RLHF/InstructGPT 1.3B在人类评分上超过更大模型的结果，并考察其边界。在评估方法上，采用部分信用、中间步骤正确率、交叉熵与校准指标重评分多步推理和长序列任务，区分真实能力跃迁与度量造成的涌现假象，并研究预训练数据的长程连贯、稀有类频率阈值与句法规则学习的关系。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling