偏好链优化：提升大语言模型中的思维链推理能力

摘要

主要观点

论文将 CoT 解码虽能生成显式推理路径但路径未必审慎最优作为问题起点，指出单路径 CoT 可能忽略更优推理路径。论文提出 CPO，核心论点是 ToT 树搜索过程中被剪枝的非最优 thought 本身携带偏好信息，不应只把 ToT 找出的最佳路径当作监督目标。CPO 在每个推理步骤构造 preferred 与 dispreferred thought 配对，用 DPO 训练 LLM 对齐 ToT 偏好，使推理时仍采用 CoT 解码。论文声称 CPO 在 QA、fact verification、arithmetic reasoning 上提升 LLM 推理准确率，并可在推理延迟远低于 ToT 的情况下达到可比或更优表现。论文还主张 CPO 不依赖人工标注数据、外部奖励模型或额外策略/价值模型，并可超过仅使用选中路径的 TS-SFT 基线。

研究方法

方法路径是先按 ToT 的 BFS+pruning 构建每问搜索树：每个状态采样 k=10 个 thought，用 LLM 自评估生成 likely/impossible 分类并映射为 10/1 分，shuffle 演示并重复采样取平均。搜索保留 top 5 个 thought 向前扩展，选出最终推理路径；选中路径中的 thought 标为 preferred，同一父状态下未进入选中路径的兄弟 thought 标为 dispreferred，形成每步偏好对数据集 D。训练目标为逐步骤 DPO 损失，β=0.1，使用 LoRA 微调，实验模型为 LLaMA2-7B/13B 与 Mistral-7B。数据集覆盖 QA 的 Bamboogle、WikiMultiHopQA、HotpotQA，fact verification 的 Fever、Feverous、Vitaminc，arithmetic reasoning 的 SVAMP，均用 4-shot prompting。对比基线包括 CoT、ToT 与 TS-SFT；评价指标为 accuracy 和平均生成延迟，训练用 AdamW、batch size 32、DPO 学习率 5e-6、SFT 学习率 1e-5，LoRA rank 8、α=16，4 epochs early stopping，重复 3 个随机种子。组件分析在 Bamboogle 与 LLaMA2-7B 上比较 dispreferred thought 选择策略 lowest/lower/all、每步偏好监督与全路径偏好 FPO/SFT、用于生成偏好对的实例数以及使用 dispreferred thought 的比例。

学术贡献

理论/方法层面，CPO 把 ToT 树搜索中的中间偏好信号形式化为每步 preference pair，改变了此前只用最佳路径做监督的 TS-SFT 思路。方法创新在于将 DPO 从完整回答偏好推进到逐推理步骤的偏好优化，利用被剪枝的非最优 thought，而不是丢弃它们。领域拓展上，CPO 将 ToT 的审慎搜索能力迁移到训练阶段，使推理阶段保持 CoT 的低延迟；材料报告平均推理速度比 ToT 快 57.5 倍。实证贡献包括在三种 LLM 与七数据集上相对 CoT 平均提升 4.3%、最高 9.7%，相对 TS-SFT 平均提升 2.7%、最高 10.3%，并在部分设置下达到或超过 ToT。材料发掘/数据构造方面，论文给出从 ToT 搜索树自动生成每步偏好对的流程，不依赖人工标注、外部奖励模型或额外策略/价值模型；组件分析进一步给出 dispreferred thought 选择与比例对性能的影响证据。

存在局限

偏好标签由 ToT 最终选中路径决定，若最终路径非最优或自评估出错，未进入路径的 thought 可能被误标为 dispreferred；材料未报告这种标签噪声及其向 CPO 目标传播的检验。组件消融仅限 Bamboogle 与 LLaMA2-7B，未覆盖全部七数据集和 LLaMA2-13B、Mistral-7B，因此关于 dispreferred 选择、每步偏好监督、实例数与比例等结论的跨任务与跨模型稳定性证据不足。材料报告了推理延迟对比，但未明确报告训练阶段与 ToT 数据合成阶段的总计算/时间开销，也未系统比较 CPO 与 TS-SFT 在同等数据生成成本下的训练代价。state evaluator 由 LLM 自评估打分，虽采用 shuffle 与重复采样缓解随机性和偏差，但材料未系统消融评估器准确率、评分聚合方式或评估错误对偏好数据质量与最终准确率的影响。实验任务限于 QA、fact verification 与 SVAMP arithmetic reasoning，模型限于 LLaMA2-7B/13B 和 Mistral-7B；材料未验证更大参数模型、其他架构或其他推理类型，且部分数据集上 CPO 准确率仍低于 ToT，材料未逐项解释。

进一步研究方向

在全部七数据集与三种模型上重复组件消融，系统扫描 dispreferred 选择策略、每步偏好监督、用于生成偏好对的实例数、dispreferred 比例、top-n、k 值与温度，检验 CPO 效应是否稳定。设计偏好标签可靠性实验：以最终答案正确性为条件，比较基于 ToT 最终路径的标签与基于多轮 ToT 搜索一致性或步骤正确性的标签，测量错误偏好对训练后准确率的影响。对 state evaluator 做校准研究：改变重复采样次数、演示顺序、评分类别与评分聚合方式，或采用多个评估器投票，测量其对偏好数据质量和 CPO 最终性能的因果影响。将 CPO 扩展到材料未覆盖的更多多步推理任务与更大参数模型，比较准确率、推理延迟和训练成本，并针对 CPO 低于 ToT 的数据集开展逐例误差分析。研究数据合成效率：使用部分搜索树、早停、较小模型或主动选择实例生成偏好对，比较其与完整 ToT 搜索在 CPO 性能和数据合成成本上的帕累托前沿。检验在每步偏好数据上加入过程奖励或验证器重排序是否提升 CPO，同时测量额外推理延迟，以评估该方法与无外部奖励模型设定的边界。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 无需提示的链式思维推理

  2024 · 被引 54

• 无需提示的链式思维推理

  2024 · 被引 13

• 揭示大语言模型中长思维链推理的奥秘

  2025 · 被引 3

• 思维链推理的演绎验证

  2023 · 被引 43

• 思维链推理的演绎验证

  2023 · 被引 18

• 语言模型中的多模态思维链推理

  2023 · 被引 109