揭示大语言模型中长思维链推理的奥秘
Demystifying Long Chain-of-Thought Reasoning in LLMs
Edward Yeo, Tong, Yuxuan, Niu, Morry, Graham Neubig, Xiang Yue
arXiv (Cornell University) · 2025-02-05
摘要
随着推理计算规模的扩大，大语言模型（LLMs）的推理能力得以提升，其中长思维链（CoTs）能够支持回溯与错误修正等策略。强化学习（RL）已成为培养此类能力的关键方法，但长思维链产生的条件尚未明确，且强化学习训练需要精心的设计安排。本研究系统探究了长思维链推理的运行机制，确定了促使模型生成长思维链轨迹的关键因素。通过大量的监督微调（SFT）与强化学习实验，我们得出四项主要结论：（1）虽然监督微调并非必需，但它能简化训练流程并提高效率；（2）推理能力往往随训练计算量的增加而显现，但这种发展并非必然，因此奖励塑形对于稳定思维链长度的增长至关重要；（3）扩展可验证的奖励信号对强化学习而言至关重要。我们发现，利用经过筛选机制的网页提取噪声解具有巨大潜力，尤其在STEM推理等分布外（OOD）任务中表现突出；（4）错误修正等核心能力在基础模型中本就存在，但要通过强化学习有效激发这些技能以应对复杂任务，需要庞大的计算资源，且衡量其是否出现需采用精细化的方法。上述研究结果为优化训练策略、提升大语言模型的长思维链推理能力提供了实用指导。我们的代码已开源，地址为：https://github.com/eddycmu/demystify-long-cot。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文围绕大语言模型（LLM）中长链思维链（long CoT）推理的生成机制与强化学习（RL）训练条件展开，将long CoT界定为不仅具有超出常规的token长度，还表现出分支与回溯、错误验证与纠正等复杂行为的推理序列。其核心论点是长CoT能力并非仅靠SFT或RL规模扩张即可自然获得，而受SFT初始化质量、奖励塑形、可验证奖励信号规模与训练算力共同制约。支撑性发现包括：SFT虽非严格必要，但可简化训练并提升效率；推理能力随训练算力增加而倾向涌现，但并非必然，奖励塑形对稳定CoT长度增长至关重要；扩展可验证奖励信号是RL关键，带噪网络抽取解经过滤后对OOD STEM推理有潜力；错误纠正等核心能力已存在于基座模型，但通过RL在复杂任务中有效激励需大量算力。论文还指出，长CoT SFT比短CoT SFT具有更高性能上限并更易获得RL增益，而RL中CoT长度并不总是稳定扩展，存在reward hacking与上下文窗口约束等问题。
- 研究方法
- 研究以Llama-3.1-8B和Qwen2.5-7B-Math为基座模型，默认使用MATH数据集的7,500条训练样本作为SFT与RL提示集，并通过规则验证器将预测答案与标准答案比对。SFT数据通过拒绝采样构建：长CoT从QwQ-32B-Preview蒸馏，短CoT从Qwen2.5-Math-72B-Instruct蒸馏，长CoT候选采样数N取32、64、128、192、256，短CoT取32、64、128、256，并比较不同SFT token规模下的缩放行为。长CoT数据来源比较中，作者设置“构造式”Action Prompting（clarity、decompose、solution step、reflection、answer等原语动作，由Qwen2.5-72B-Instruct多步提示、o1-mini-0912生成反思步骤）与“涌现式”蒸馏（QwQ-32B-Preview），在约200k SFT样本下比较并接续相同RL。RL默认采用PPO，仅使用基于最终答案正确性的结果奖励，并设计Cosine Reward与N-gram重复惩罚，修改PPO的GAE以支持多奖励类型的不同折扣因子。评估覆盖MATH-500、AIME 2024、TheoremQA、MMLU-Pro-1k，温度0.7、top-p 0.95、最大输出16,384 tokens，并开展上下文窗口4K/8K/16K等消融。
- 学术贡献
- 在理论机制层面，论文将long CoT拆解为长度增长与分支、回溯、纠错等行为维度，区分SFT冷启动与RL优化在长CoT形成中的不同作用，指出短CoT SFT会早饱和且RL增益有限，而高质量涌现式长CoT模式具有更好泛化和RL提升空间。在训练方法层面，提出Cosine Reward并配合重复惩罚来稳定和控制CoT长度，同时给出修改PPO中GAE以按奖励类型设置折扣因子的做法，用于缓解长度reward hacking。在材料与信号扩展层面，验证带噪、网络抽取的“silver”解经SFT混合与RL过滤后，可扩展可验证奖励信号并提升OOD STEM任务表现。这些贡献对LLM推理训练中的长CoT冷启动数据选择、奖励函数设计、可验证奖励扩展三个具体议题有直接价值。
- 存在局限
- 实验的基座模型限于Llama-3.1-8B与Qwen2.5-7B-Math，规模与架构覆盖有限，材料中未明确提及在其他参数规模或非数学专用模型上的验证。训练提示集默认局限于MATH的7,500条样本，评估虽含AIME 2024、TheoremQA、MMLU-Pro-1k等OOD基准，但材料中未明确提及代码、软件工程等更广推理任务的系统测试。长CoT SFT数据依赖QwQ-32B-Preview蒸馏，短CoT依赖Qwen2.5-Math-72B-Instruct蒸馏，构造式长CoT又使用o1-mini-0912生成反思步骤，教师模型与数据构造方式差异可能混淆长/短CoT及构造/涌现数据之间的比较。奖励设计仅考虑基于最终答案的结果奖励与规则验证器，未采用过程奖励，可能限制对中间推理步骤质量的直接约束。测量分支频率时以关键词“alternatively”出现次数作为粗略估计，且材料未明确提及多次随机种子、统计显著性检验或人工评估，论证链条中关于涌现测量的细致性仍受指标粗粒度限制。
- 进一步研究方向
- 可沿以下路径推进：其一，将带噪网络抽取解加过滤的RL方案扩展到代码生成、软件工程和PhD级科学问答等材料中提及但未系统验证的领域，检验可验证奖励信号扩展对OOD任务的边界。其二，设计跨模型规模、跨架构与跨教师模型的因子实验，控制教师能力与数据构造方式，分离基座模型固有纠错能力与蒸馏数据质量对long CoT涌现的贡献。其三，对Cosine Reward超参与重复惩罚进行动态调优，验证训练准确率下降时长度压力、重复reward hacking与所需惩罚强度之间的相互作用。其四，开发比“alternatively”关键词计数更细粒度的分支、回溯与纠错行为测量方法，例如对推理轨迹进行步骤级标注或自动解析。其五，系统变化上下文窗口与训练样本量的配比，验证更大窗口是否必须匹配更多训练算力才能被有效利用。其六，在材料已提及但未展开的REINFORCE与PPO对比基础上，进一步比较过程奖励与结果奖励对长CoT稳定性和下游性能的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling