碎片化思维链推理
Fractured Chain-of-Thought Reasoning
Baohao Liao, Hanze Dong, Yuhui Xu, Doyen Sahoo, Christof Monz, Junnan Li, Caiming Xiong
arXiv (Cornell University) · 2025-05-19
开放获取大模型与语言推理与思维链影响因子 ≈0.2
摘要
推理时缩放技术通过利用推理阶段的计算资源而无需重新训练，显著提升了大型语言模型的推理能力。类似地，思维链提示及其扩展形式长思维链能够通过生成丰富的中间推理路径来提高准确率，但这类方法会产生高昂的标记成本，从而阻碍其在对延迟敏感的场景中的应用。本研究首先发现，在推理未完成时便终止并直接生成最终答案的截断式思维链，往往能在使用极少标记的情况下达到完整思维链采样的效果。基于这一发现，我们提出了碎片化采样这一统一的推理时策略，它沿着三个正交维度——即推理路径数量、每条路径的最终解数量以及推理轨迹的截断深度——在完整思维链与仅输出解采样之间实现灵活调节。通过在五种不同类型的推理基准测试及多种模型规模上开展的广泛实验，我们证实碎片化采样始终能够实现更优的准确率与成本平衡，在给定标记预算下可带来显著的Pass@k对数线性缩放收益。我们的分析揭示了如何在这些维度上合理分配计算资源以最大化性能，为更高效、更具可扩展性的大型语言模型推理奠定了基础。相关代码可在https://github.com/BaohaoLiao/frac-cot获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：在LLM推理中，完整Long CoT并非总是必要；截断CoT并在未完成推理时直接生成最终答案，常能以显著更少的token达到与完整CoT采样相当甚至更好的准确率。作者据此提出Fractured Sampling，在三条正交轴上插值于完整CoT与仅解采样之间：推理轨迹数n、每条轨迹的最终解数m、推理迹截断深度H。其支撑性论断包括：思考步骤主导总体token开销而最终解贡献很小；沿H轴的采样在Pass@k与token预算之间产生更陡的log-linear增益；跨深度的失败事件负相关可提升整体成功概率。研究对象是DeepSeek-R1等推理模型在MATH500 L5、AIME24、AIME25、AIMO2、GPQA Diamond五个数学与科学推理基准上的推理时采样行为，关键术语包括truncated CoT、Fractured Sampling、Pass@k、token budget、diversity lower bound、majority voting与best-of-n。
- 研究方法
- 论文采用推理时实验与理论分析相结合的方法：在五个推理基准上，使用DS-R1-Qwen-1.5B/7B/14B、DeepSeek-R1以及Qwen3、Skywork-OR1、DeepScaler、GPT-OSS等模型，基于vLLM与A100-80GB GPU，设置temperature=0.6、top_p=0.95、max_tokens=32768，默认n=16、H=16、m=4，并将原始思考CoT按token数等分为16段。实验比较vanilla sampling、trajectory sampling、solution sampling、fractured sampling以及H=1/m=1、H=1/m=4、H=16/m=1、H=16/m=4等组合，并拟合pass@k≈C log B+c以估计各轴斜率。理论部分用失败指示变量的协方差与容斥展开给出多样性下界（非正式命题），并以相关矩阵展示不同推理深度失败事件的相关结构。论文还用Qwen2.5-Math-PRM-72B进行best-of-n与多数投票评估，并报告早停实验的相对准确率与token节省。
- 学术贡献
- 方法创新层面，论文提出三轴统一的推理时采样框架，把中间推理深度H作为可采样维度，与轨迹数n、每轨迹解数m联合控制成本与多样性。实证与材料发掘层面，论文系统展示截断CoT可在大幅减少token的同时保持或提升准确率，并在五个基准、多个模型规模上给出Pass@k随token预算的log-linear scaling结果。理论层面对推理时扩展与采样多样性议题有价值：用失败事件协方差解释H轴收益，并观察到H轴斜率通常不低于n轴与m轴。该工作对LLM推理的成本-精度权衡、PRM选择与投票聚合等具体子领域具有直接参考价值，早停实验还报告约20%的推理预算节省。
- 存在局限
- 材料属于机器学习/LLM推理研究，未涉及艺术学对象、艺术理论、艺术设计或审美判断等议题，因而无法据此评价其在艺术学领域的贡献。实验基准集中在数学与科学推理，材料中未明确提及对艺术创作、设计生成或开放审美任务的覆盖。理论命题为informal，依赖失败事件协方差与相关性假设，未给出严格的有限样本保证；H维按token数等分，未必对应语义上完整的推理阶段。PRM受4K上下文窗口限制，仅对最终解打分而不评估中间推理步骤；BoN与多数投票在H=16时出现与Pass@k不一致的结果，说明候选选择器对中间深度样本的噪声处理仍不充分。
- 进一步研究方向
- 可在固定token预算下，利用已拟合的C_n、C_m、C_H及交叉项C_m,H做预算分配优化，验证联合调节n、m、H是否稳定优于单轴扩展。可比较按token等分与按语义步骤、句法边界或推理阶段分割H的方案，检验语义分割是否增强跨深度失败负相关并提升Pass@k。可将PRM扩展到长上下文或训练面向中间步骤的打分器，评估其对H=16候选的筛选效果，解释BoN与多数投票结果背离Pass@k的原因。材料明确提到将Fractured Sampling用于强化学习训练，可进一步检验高Pass@k与低token采样是否改善大规模RL训练效率；材料未覆盖的开放推理任务泛化测试需另行设计。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling