大型语言模型具备零样本推理能力
Large Language Models are Zero-Shot Reasoners
Takeshi Kojima, Shixiang Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa
arXiv (Cornell University) · 2022-05-24
摘要
预训练的大型语言模型在自然语言处理诸多子领域得到广泛应用，通常被视为借助任务相关示例就能实现出色少样本学习能力的模型。值得注意的是，思维链提示技术作为一种通过分步答案示例来引导复杂多步推理的新方法，在算术与符号推理这类难以遵循大型语言模型标准缩放规律的系统2任务中取得了最优性能。尽管这些成果常被归因于大型语言模型的少样本学习能力，但我们发现只需在每个答案前添加“让我们一步步思考”这一提示语，大型语言模型便能展现出不错的零样本推理能力。实验结果表明，我们提出的Zero-shot-CoT方法采用同一提示模板，便能在无需任何人工设计的少样本示例情况下，显著提升大型语言模型在各类基准推理任务上的表现，涵盖算术类任务（MultiArith、GSM8K、AQUA-RAT、SVAMP）、符号推理任务（Last Letter、Coin Flip）以及其他逻辑推理任务（Date Understanding、Tracking Shuffled Objects）。以InstructGPT模型（text-davinci-002）为例，该方法将MultiArith任务的准确率从17.7%提升至78.7%，GSM8K任务的准确率从10.4%提升至40.7%；参数规模达5400亿的PaLM模型也呈现出相近的提升幅度。这一单一提示语在各类迥异推理任务中的通用性，暗示了大型语言模型尚未被充分发掘、研究不足的零样本能力，表明通过简单的提示方式就能提取出高级别、跨任务的综合认知能力。我们希望本研究不仅能作为极具挑战性的推理基准测试中最优的零样本基线，还能提醒研究者在构建微调数据集或少样本示例之前，务必深入探索并分析大型语言模型中潜藏的巨大零样本知识潜力。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出 Zero-shot-CoT：在每道题答案前仅加入“Let’s think step by step”（或类似触发句），无需任何手工 few-shot 示例，即可让大语言模型进行多步推理。其核心论点是 LLM 本身是 decent zero-shot reasoners，而此前算术与符号推理等 system-2 任务的成功常被归因于 few-shot learning。作者用同一推理提示模板跨算术（MultiArith、GSM8K、AQUA-RAT、SVAMP 等）、符号推理（Last Letter、Coin Flip）和其他逻辑推理（Date Understanding、Tracking Shuffled Objects）任务进行验证。结果显示 Zero-shot-CoT 显著优于标准 zero-shot，例如 MultiArith 从 17.7% 提升到 78.7%、GSM8K 从 10.4% 提升到 40.7%（text-davinci-002），PaLM 540B 也有类似幅度提升。作者据此认为 LLM 中隐藏着尚未被充分研究的零样本多任务认知能力，简单提示即可提取。
- 研究方法
- 采用提示工程实验，设计两阶段 Zero-shot-CoT：第一步用模板“Q: [X]. A: [T]”并填入触发句“Let’s think step by step”提取推理链，第二步将首步提示、生成的推理句和答案触发句拼接为“[X′] [Z] [A]”以抽取最终答案。实验覆盖 12 个数据集，分属算术、常识、符号和其他逻辑推理四类；算术包括 SingleEq、AddSub、MultiArith、AQUA-RAT、GSM8K、SVAMP，常识包括 CommonSenseQA、StrategyQA，符号包括 Last Letter Concatenation、Coin Flip，其他逻辑包括 Date Understanding、Tracking Shuffled Objects。模型共 17 个，主实验使用 InstructGPT-3（text-ada/babbage/curie/davinci-001、text-davinci-002）、原始 GPT-3（ada、babbage、curie、davinci）和 PaLM（8B、62B、540B），规模研究还纳入 GPT-2、GPT-Neo、GPT-J、T0、OPT，参数范围 0.3B 到 540B。对比基线包括标准 Zero-shot、Few-shot 和 Few-shot-CoT；全程使用 greedy decoding，并对输出执行 answer cleansing，例如算术任务取第一个数字、多选任务取第一个大写字母。
- 学术贡献
- 提出并验证了 Zero-shot-CoT 这一方法创新：用任务无关的单一推理触发句替代按任务手工设计的逐步推理示例，将 CoT 从 few-shot 设置推进到 zero-shot 设置。实证层面在 12 个推理数据集和多种大规模模型上记录了 zero-shot 推理的显著提升，并给出作为“minimal strongest zero-shot baseline”的性能基准。概念层面对“LLM 成功主要来自 few-shot learning”的解释构成挑战，指出零样本知识、多任务广谱认知能力和提示提取潜力是被忽视的研究对象。该工作对 chain-of-thought prompting、LLM 推理评测、zero-shot prompting 以及系统-2 任务研究具有直接价值，并提示在构建微调数据集或 few-shot 示例之前应系统探查模型内部零样本知识。
- 存在局限
- Zero-shot-CoT 仍低于使用精心设计、任务特定逐步示例的 Few-shot-CoT；在 CommonsenseQA 和 StrategyQA 上，标准 zero-shot 与 Zero-shot-CoT 的准确率对比未显示稳定增益，作者也承认指标未直接反映生成推理链的质量。方法依赖两阶段提示，第二步需按答案格式选择不同答案触发句（如多选与阿拉伯数字答案使用不同模板），因此并非完整任务无关；answer cleansing 仅取首个符合格式的数字或字母，可能受输出格式影响。小模型上 chain of thought 不生效，性能提升依赖大模型规模；规模研究虽覆盖 0.3B 到 540B，但主结果集中在 InstructGPT 与 PaLM，Few-shot 与 Few-shot-CoT 的系统对比主要出现在 MultiArith 和 GSM8K，而非全部 12 个数据集。Few-shot 实验因示例顺序可能影响结果而只以固定种子运行一次；错误分析为随机抽取样本的手工检查，未给出系统量化协议。
- 进一步研究方向
- 可系统消融触发句，使用材料提到的 Table 4 中不同触发句版本，在 12 个数据集上比较准确率与生成推理链的逻辑正确性，确定“Let’s think step by step”是否优于其他表述。针对常识推理指标未提升的现象，可建立人工或自动标注协议，将 CommonsenseQA、StrategyQA 上的失败样本区分为推理链错误与答案抽取/多答案选择错误，尤其分析类似 Table 3 中输出多个选项（如 B、C、D）的案例。可利用材料中已列出的 GPT-2、GPT-Neo、GPT-J、T0、OPT 等模型，扩展参数规模曲线实验，检验零样本 CoT 有效的模型规模阈值及指令微调的影响。可对两阶段提示做组件消融，固定第一步推理触发句，变化第二步答案触发句与 answer cleansing 规则，在 MultiArith、GSM8K、AQUA-RAT、SVAMP 上量化各组件贡献。还可将 Zero-shot-CoT 生成的推理链用于自动构建 Few-shot-CoT 示例或微调数据，验证能否减少人工示例工程，并检验跨任务示例类型不匹配造成 Few-shot-CoT 性能下降的问题能否被缓解。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling