基于知识蒸馏的隐式思维链推理
Implicit Chain of Thought Reasoning via Knowledge Distillation
Yuntian Deng, K.N. Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart M. Shieber
arXiv (Cornell University) · 2023-11-02
开放获取高效训练与推理大模型与语言推理与思维链被引 33被引前 50%影响因子 ≈1.1
摘要
为赋予语言模型推理能力，研究者通常通过提示或微调使其在输出最终答案前生成思维链推理步骤。然而，尽管人类以自然语言进行有效推理，语言模型或许借助某些非自然语言的中间计算能实现更有效的推理。在本研究中，我们探索一种替代性推理路径：不显式生成思维链推理步骤，而是利用语言模型的内部隐藏状态开展隐式推理。隐式推理步骤由基于显式思维链推理训练的教师模型蒸馏得到；我们并非通过逐词生成中间词以“横向”方式开展推理，而是对其进行蒸馏，使推理在不同层的隐藏状态之间以“纵向”方式发生。我们在多位数乘法任务及小学数学问题数据集上开展实验，发现该方法能够解决此前若无显式思维链便无法解决的任务，且推理速度与无思维链情形相当。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对语言模型多步推理中显式链式思维（CoT）逐词生成中间步骤导致推理延迟的问题，提出以模型内部隐藏状态承载中间计算的隐式链式思维（Implicit CoT）。其核心论点是：不必逐词生成自然语言推理步骤，而可将教师模型在显式 CoT 下产生的隐藏状态压缩为跨层“垂直”推理，并让学生模型直接输出最终答案。论文将推理区分为 No CoT、Explicit CoT 与 Implicit CoT，并用 P(y|x)≈∫P(ẑ|x)P(y|x,ẑ) 刻画隐式中间状态 ẑ 的作用。作者进一步主张从“teacher forcing”转向“teacher teaching”，即用教师模型的内部状态而非仅用输出 token 监督学生，从而在保持接近 No CoT 速度的同时解决此前无显式 CoT 难以解决的任务。
- 研究方法
- 论文在 BIG-bench 的 4×4 与 5×5 多位数乘法任务和 GSM8K 小学应用题上做实验，并构造 808k 乘法训练集与由 GPT-4 生成约 400k 题目后清洗得到的 GSM8K-Aug（378k）训练集，测试集保持原样。模型以 GPT-2 Small/Medium/Large 为基座，比较 No CoT、Explicit CoT 与 Implicit CoT 的精确匹配准确率和以 No CoT 为基准归一化的吞吐量。Implicit CoT 采用三步路径：先训练学生“Mind-Reading the Teacher”，用教师隐藏状态替代学生部分隐藏状态并预测答案；再训练同层数 emulator 以均方误差预测教师隐藏状态，形成“Thought Emulation”；最后将 emulator 与学生耦合做端到端“Couple and Optimize”。教师隐藏状态取自 L×T 矩阵的斜对角线元素，变长 CoT 用超参数 Δ 等距取列；GSM8K-Aug 上还用高斯混合组件加类别分布建模多推理路径，并以当前中间 token 监督混合组件。
- 学术贡献
- 在理论/方法层面，论文提出“teacher teaching”替代“teacher forcing”的蒸馏框架，把显式 CoT 的水平逐词推理编译为跨层隐藏状态的垂直推理，并给出斜对角线抽取与混合组件 emulator 的具体实现。在领域拓展上，它把知识蒸馏用于 CoT 效率问题，证明隐式 CoT 可在不生成中间步骤的情况下直接回答多位数乘法与小学应用题，属于对高效推理与 CoT 蒸馏子领域的推进。在材料层面，论文构建 808k 乘法数据与 GSM8K-Aug 378k 训练集，并公开代码、数据与预训练模型。实验显示 GPT-2 Medium 在 5×5 乘法上从 No CoT 的 2% 提升到 96%，GSM8K-Aug 从 17% 提升到 22%，同时吞吐量约为 No CoT 的 66%—73%，而 Explicit CoT 仅约 8%—15%。
- 存在局限
- 材料所涉为自然语言处理中的语言模型推理，而非艺术学议题，材料中未提供可与艺术理论、设计、美术与书法、戏剧与影视、音乐与舞蹈或戏曲与曲艺对接的问题域与证据。就论文自身而言，Implicit CoT 的准确率仍低于 Explicit CoT：GSM8K-Aug 为 22% 对 44%，4×4 与 5×5 乘法为 96% 对 100%；GPT-2 Small 在 5×5 上仅 10%，而 GPT-2 Medium 达 96%，显示效果依赖层数容量，作者也指出基座模型预训练偏向水平推理且 24 层可能不足以覆盖所需推理步数。方法依赖大规模增强训练集，作者明确提到隐式 CoT 需要大训练集，GSM8K-Aug 由 GPT-4 生成，但材料未明确评估生成数据的分布偏差或泄漏风险。经“Couple and Optimize”后混合组件不再可解释，材料未提供系统的失败案例分析；emulator 的并行化仅为理论可能，实验中吞吐量按 batch size 为 1 测量，未实现并行加速。
- 进一步研究方向
- 可在逻辑推理、多跳问答、符号运算等更多多步任务上复现三步蒸馏，并用统一协议测量 No/Explicit/Implicit CoT 的准确率—吞吐量前沿，检验隐式推理的适用边界。可系统改变教师与学生层数、中间推理步数与 Δ 的匹配关系，做 12/24/36 层 GPT-2 与更长 CoT 的控制实验，验证“层数容量—推理步数”假设。可将斜对角线抽取替换为可学习的压缩编码，并比较 diagonal、first column、top row、bottom row 与学习式编码对 emulator 均方误差和最终准确率的影响。可改进混合组件 emulator，例如用离散潜变量或路径选择目标来避免 mode collapse，并检验优化后能否同时保持多路径建模与可解释性。可实现 emulator 的并行推理并以 batch size>1 测量真实延迟，同时在无 GPT-4 增强或小样本条件下训练并审计生成数据的偏差与泄漏。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling