大型语言模型具备零样本推理能力
Large Language Models Are Zero-Shot Reasoners
Takeshi Kojima, Shixiang (Shane) Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa
neural information processing systems · 2022-01-01
摘要
预训练的大型语言模型在自然语言处理诸多子领域得到广泛应用，通常被认为在给定任务相关示例的条件下表现出出色的少样本学习能力。值得注意的是，思维链提示技术是一种通过分步答案示例来引导模型进行复杂多步推理的新方法，该方法在算术与符号推理这类难以遵循大型语言模型标准缩放规律的第二类任务中取得了最优性能。尽管这些成果常被归因于模型的少样本学习能力，但我们发现只需在每个答案前添加“让我们一步步思考”这一提示语，大型语言模型便能展现出不错的零样本推理能力。实验结果表明，我们提出的Zero-shot-CoT方法采用同一提示模板，便能在包括算术（MultiArith、GSM8K、AQUA-RAT、SVAMP）、符号推理（Last Letter、Coin Flip）及其他逻辑推理任务（Date Understanding、Tracking Shuffled Objects）在内的各类基准推理任务上显著优于未使用该提示语的零样本大型语言模型表现；无需任何人工设计的少样本示例，例如使用InstructGPT模型（text-davinci-002）时，MultiArith任务的准确率从17.7%提升至78.7%，GSM8K任务的准确率从10.4%提升至40.7%；参数规模达5400亿的PaLM模型也呈现出相近的性能提升幅度。这一单一提示语在各类迥异推理任务中的通用性，暗示了大型语言模型尚未被发掘且研究不足的内在零样本能力，表明通过简单的提示方式就能提取出模型具备的高级、跨任务的广泛认知能力。我们希望本研究不仅能作为各类复杂推理基准测试中最优的零样本基线，还能提醒研究者在构建微调数据集或收集少样本示例之前，务必充分探索并分析大型语言模型内部潜藏的巨大零样本知识潜力。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将大语言模型在算术、符号、常识与逻辑推理等 system-2 任务上的表现重新定位为“体面的零样本推理者”，而非仅依赖任务特定示例的少样本学习者。其核心论断是：在问题后加入单一触发句“Let’s think step by step”，即可在零样本条件下诱导出多步推理路径并提升答案准确率。Zero-shot-CoT 使用同一模板覆盖算术（MultiArith、GSM8K、AQUA-RAT、SVAMP）、符号（Last Letter、Coin Flip）及其他逻辑任务（Date Understanding、Tracking Shuffled Objects），并报告 MultiArith 从 17.7% 升至 78.7%、GSM8K 从 10.4% 升至 40.7%。该效果在 InstructGPT text-davinci-002 与 540B PaLM 上均出现，且随模型规模增大而更明显，暗示 LLM 内部存在未被充分研究的零样本多任务认知能力。但常识推理任务未获稳定增益，且 Zero-shot-CoT 仍低于精心设计示例的 Few-shot-CoT。
- 研究方法
- 方法为两阶段提示：第一段将问题 x 填入“Q: [X]. A: [T]”，以“Let’s think step by step”为触发句让模型生成推理文本 z；第二段拼接 [X'][Z][A] 并用答案触发句抽取最终答案。评估覆盖 12 个数据集、四类推理：算术 SingleEq、AddSub、MultiArith、AQUA-RAT、GSM8K、SVAMP；常识 CommonsenseQA、StrategyQA；符号 Last Letter Concatenation、Coin Flip；其他逻辑 Date Understanding、Tracking Shuffled Objects。模型共 17 个，规模 0.3B 到 540B，包括 InstructGPT3、GPT3、PaLM、GPT-2、GPT-Neo、GPT-J、T0、OPT，并区分标准与指令跟随变体。基线包括标准 Zero-shot、Few-shot 与 Few-shot-CoT，使用相同 in-context examples；全程 greedy decoding，零样本结果确定性，少样本固定 seed 运行一次。答案抽取后执行 answer cleansing，按答案格式取首个满足条件的数字或选项字母；并对 InstructGPT3 输出做手动错误分析。还进行模型规模研究，比较 Original/Instruct GPT-3 与 PaLM 在 MultiArith、GSM8K 上随规模变化的曲线。
- 学术贡献
- 方法创新层面，提出 Zero-shot-CoT 两阶段提示，将 CoT 从需要任务特定 step-by-step 示例的 Few-shot-CoT 扩展为无需示例、单一触发句的零样本方案。实证发现层面，在 12 个推理数据集上系统展示零样本链式思考可大幅提升算术、符号与部分逻辑任务表现，并给出 MultiArith、GSM8K 等具体增益。对 LLM prompting 与链式思考研究而言，提供了一条 minimal strongest zero-shot baseline，并表明任务无关模板可跨多类推理任务奏效。对少样本学习归因构成挑战：CoT 成功不必完全归因于 few-shot learning，零样本知识本身可被简单提示提取。对多步推理基准与模型规模研究有价值：显示 Zero-shot-CoT 的性能随模型规模显著上升，并区分不同模型系列与指令微调变体的表现。
- 存在局限
- 常识推理任务上 Zero-shot-CoT 未提供稳定性能增益，CommonsenseQA 甚至从 68.8% 降至 64.6%，与算术和符号任务的显著提升形成不一致。方法并非完全 task-agnostic：第二段答案抽取需根据答案格式使用不同触发句，如多选与数值题各异，且整体需两次 prompting。性能提升依赖大模型，小模型上链式思考无效，说明方法的适用边界受模型规模与能力约束。实验采用 greedy decoding，Few-shot 与 Few-shot-CoT 仅固定 seed 运行一次，材料中未明确提及多次采样、统计显著性检验或顺序方差分析。错误分析显示模型可能生成正确推理却无法选择唯一选项，如输出 B、C、D 等多个答案，答案抽取与格式约束存在失败。在 SingleEq、AddSub 等不需多步推理的任务上仅与 Zero-shot 相当或略低，说明方法主要对多步推理任务有效。
- 进一步研究方向
- 针对常识推理中推理正确但最终选择失败，可结合材料已列出的 Zero-shot-CoT + self consistency，在 CommonsenseQA、StrategyQA 上测试多答案投票与约束解码。系统消融第一段推理触发句（材料 Table 4 提及多个类似文本）与第二段答案触发句的匹配关系，在 12 个数据集上测量推理路径质量与最终准确率。将评估扩展至 BIG-bench 中更多逻辑推理任务，用同一单模板检验 task-agnostic 边界，并在 0.3B 到 540B 模型系列上定位 Zero-shot-CoT 的规模阈值。把 Zero-shot-CoT 生成的推理链用作 Few-shot 示例或微调数据，在 MultiArith、GSM8K 等任务上比较其与人工设计示例的效果，检验材料提出的“先探索零样本知识再制作示例/数据集”路径。对两阶段提示做替换实验：固定第一段推理输出，改变第二段抽取模板，或尝试单阶段联合提示，分析答案抽取环节对最终性能的贡献。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling