思维链推理是一种策略优化算子
Chain-of-Thought Reasoning is a Policy Improvement Operator
Hugh Zhang, David C. Parkes
arXiv (Cornell University) · 2023-09-15
开放获取大模型与语言推理与思维链被引 2影响因子 ≈0.2
摘要
大型语言模型凭借其令人惊叹的新能力震惊了学界。然而，这些模型目前尚不具备自主学习新技能的能力，仍需依赖大量人类生成的训练数据。我们提出了SECToR（基于思维链推理的自我教育框架），这一概念验证表明语言模型能够借助思维链推理自主习得新技能。在自我学习循环中，SECToR会先要求模型通过思维链推理解决加法问题，随后训练下一版本的模型无需借助此类推理即可直接解答同样的问题。这一过程往往能催生性能更优的模型；当该模型再次结合思维链推理时，甚至能解决比原模型更难的问题，从而推动自我学习循环的持续进行。通过SECToR训练的语言模型，仅经过以6位数以内的数字为样本的初始监督微调阶段，便能自主学会计算位数更长数字的加法，且无需依赖任何真实标注样例。我们的核心假设是：思维链推理可充当策略优化算子，其作用类似于AlphaZero（Silver等人，2017）中所采用的蒙特卡洛树搜索算法。我们希望本研究能为语言模型的自主学习开辟新路径，使其无需依赖人类示范即可实现自我教学。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：链式思维（chain-of-thought，CoT）推理可被视为一种策略改进算子（policy improvement operator），其功能类比于AlphaZero中以蒙特卡洛树搜索改进策略的机制，但面向的是比两人零和博弈更广泛的环境。作者据此提出SECToR（Self-Education via Chain-of-Thought Reasoning）自教育循环：先让模型用CoT求解其无法直接求解的加法题，再用这些解微调模型，使其在不使用CoT的情况下直接作答；被改进的模型重新装配CoT后能解出比原模型（即便原模型也配有CoT）更大的问题集合，从而维持循环。支撑性论断是：在仅提供6位及以下数字加法的监督微调之后，582M参数的ByT5能自主学会最高29位数的加法，准确率98%以上，过程中完成22步自我改进；300M版本在监督阶段含至多8位数字的条件下自学至24位加法。论文将直接作答与CoT作答分别对应Kahneman意义上的“快”（Type 1）与“慢”（Type 2）推理，并提出“误差雪崩”（error avalanching）概念，用以刻划自训练中错误逐轮复合、导致性能在少数迭代内急剧退化的现象，而基于自一致性的多重检查是SECToR推迟该现象的关键手段。
- 研究方法
- 研究以加法为基准任务展开概念验证式实验，问题形式限定为a+b或a+b+1，其中a与b位数相同且在该位数范围内均匀采样。模型选用ByT5的582M与300M两档，在8块32GB V100上训练，并采用字节级分词以规避算术任务中的分词干扰。实验分两阶段：监督微调阶段的数据由外部脚本程序化生成，采用课程学习（从N=3起，模型须先在1至N位加法上达到足够准确率才引入N+1位题目，并混合1至N位样本以防止灾难性遗忘）；自训练阶段的数据全部由模型自行生成，不做任何外部正确性验证，也不允许查询环境。解码与筛选环节使用论文新提出的simplify-then-guess方法（每完成一次简化即直接猜出最终答案，对K=5个猜测取多数投票），并叠加基于交换律的自洽性检验，即分别独立求解a+b与b+a，答案不一致的样本被丢弃。评测以温度0采样下的精确token匹配判定正误，格式不合要求的输出直接计为错误；附录另设课程学习消融、复现实验、长度泛化曲线与错误分析。
- 学术贡献
- 在理论建构层面，论文将强化学习中的策略改进算子概念迁移到语言模型推理，把CoT推理界定为可反复施加的改进算子，并把模型的下一token条件分布视为“策略”、先前上下文视为“环境”，为语言模型自学习提供了一个可迭代的形式化类比框架。在方法层面，它提出SECToR自训练循环，并配套simplify-then-guess解码与交换律自洽性检验，同时识别并命名“误差雪崩”，给出以自一致性检查抑制训练数据污染的可行做法。在实证层面，它给出从6位监督数据出发自学至29位加法、经22步自我改进仍保持98%以上准确率的结果，以及300M模型从8位监督数据自学至24位的对照结果。这些工作对语言模型自训练与自生成数据、算术任务中的长度泛化、推理时计算（inference-time compute）的效用，以及数据耗尽背景下以算力驱动的scaling law讨论具有针对性价值。
- 存在局限
- 任务面极窄：论文自认加法是toy dataset与proof-of-concept，全部结论仅建立在这一单一算术任务上，材料中未明确提及对一般逻辑推理或其他领域的迁移验证。训练并非可持续：582M模型在29位加法处因累积错误而终止，论文未给出误差雪崩的定量模型或可预测终止点的判据。样本与运行规模有限：正文报告的是582M模型的“单次训练运行”，300M为较小的另一次运行，复现实验仅在附录D呈现，正文未交代随机种子间的方差或统计显著性。方法参数多为经验设定：simplify-then-guess取K=5被描述为速度与准确率之间的折中，材料中未明确提及对K值及不同自洽性检查方式的敏感性分析。此外，自训练阶段模型不能查询环境、无真实世界grounding，其改进完全依赖模型自身对环境的表征；作者亦承认策略改进算子的有效性以模型满足最低规模与训练要求为前提，而监督阶段何时收尾（如582M对应7位）主要依赖经验观察而非理论刻画。
- 进一步研究方向
- 其一，检验CoT作为策略改进算子的可迁移性：在加法之外的推理任务上复刻SECToR循环，观察泛化—自学—终止的步数与加法任务是否呈现同样的尺度规律。其二，验证附录G提出的假设，即足够大的预训练模型可能完全跳过监督微调阶段、仅凭少量in-context示例即启动自训练，可用更大参数量的ByT5或其他架构做对照实验。其三，对误差雪崩建立定量描述，测量每轮自生成数据的错误率、被自洽性检查丢弃的样本比例与剩余可学习位数之间的关系，从而给出终止步数的预测式。其四，系统比较不同K值、不同自洽性检查（如交换律之外的其他等价变换）对自学步数与最终位数的边际影响，以确定筛选成本与可学长度之间的权衡。其五，将自学所得的纯算力驱动改进曲线与数据耗尽议题对接，考察在无新增人类数据的条件下，自生成数据的规模扩展是否仍服从可测的scaling规律。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling