LaRS：用于思维链推理的潜在推理技能
LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning
Zifan Xu, Haozhu Wang, Bespalov, Dmitriy, Wu, Xian, Peter Stone, Yanjun Qi
arXiv (Cornell University) · 2023-12-07
摘要
思维链提示是一种面向大型语言模型的主流上下文学习方法，尤其在处理复杂推理任务时表现突出。传统的上下文学习方法通过选取包含与输入问题相似问题的示例来构建提示词，而思维链提示由于在示例中包含关键的中间推理步骤（即推理依据），因此需基于这些推理依据而非问题本身来筛选示例。现有方法需要依赖人类专家或预训练的大型语言模型来描述这类推理依据的高层抽象——推理技能，以此指导示例选择，但这些方法往往成本高昂且难以规模化应用。对此，本文提出了一种名为潜在推理技能（LaRS）的新方法，该方法利用无监督学习构建推理依据的潜空间表征，其中被称为推理技能的潜变量便是核心要素。同时，LaRS会学习一种推理策略，用以确定特定问题所需的推理技能，随后通过匹配历史示例与当前问题之间的推理技能来选取上下文学习所需的示例。该方法具备坚实的理论基础且计算效率较高，无需借助辅助性大型语言模型推理或人工设计提示词。实验结果表明，LaRS的性能始终优于现有的基于技能的示例选择方法，其处理示例库的速度可达前者的四倍，在示例选择阶段所需的大型语言模型推理次数可减少一半，且对质量欠佳的示例库的适应性也更强。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对链式思维（CoT）提示中的示例选择问题，指出传统ICL按问题相似度选例不适用于CoT，因为CoT示例还包含关键中间推理步骤（rationale），应依据rationale中的技能而非问题本身来选例。现有技能选择方法（如Skill-KNN）依赖人类专家或预训练LLM生成技能描述，成本高且难以扩展。为此，论文提出Latent Reasoning Skills（LaRS），用无监督学习构建rationale的隐空间表示，隐变量称为推理技能（reasoning skill），并同时学习推理策略（reasoning policy）来推断给定问题所需技能。LaRS通过对齐历史示例与问题的推理技能来选择ICL示例，无需辅助LLM推理或人工提示设计，作者称该方法有理论依据且计算高效。实验表明LaRS持续优于SOTA基于技能的选择方法，处理示例库快四倍，选择阶段LLM推理减半，并对次优示例库更鲁棒。
- 研究方法
- 论文先建立技能模型，将人类rationale生成写成 P_H(R|Q)=∫ P_H(R|z,Q)P_H(z|Q)dz，并把LLM视为隐式技能模型，用提示影响 z 的后验分布；随后把技能模型实现为条件变分自编码器（CVAE），包含编码器 qω(z|Q,R)、解码器 pψ(R|z,Q) 和推理策略 πϕ(z|Q)。训练采用经典变分期望最大化与重参数化技巧，优化重构损失 Lrecon 与KL损失 LKL 之和；实际实现中先用预训练嵌入模型 f 把token空间映射到嵌入空间，三个模型改为在嵌入上运行的前馈网络，解码器仅作辅助而不用于下游rationale生成。选择阶段对测试问题取 ztest=argmax πϕ(z|f(Qtest))，对示例库每个(Q,R)取 zpost=argmax qω(z|Q,R)，按余弦相似度取top-k构成CoT提示。实验在TabMWP、GSM8K、Spider、COGS四个数据集上评估，从训练集随机抽取1K示例作为示例库；对比方法包括Skill-KNN-large、Skill-KNN-small、Skill-KNN-zero、Random、Retrieval-Q以及使用真实rationale的Retrieval-R（oracle），骨干模型为gpt-4o、gpt-3.5-turbo、claude-3-sonnet、claude-3-haiku和Falcon-40B-Instruct。评价指标分别为TabMWP与GSM8K答案准确率、Spider官方execution-with-values准确率、COGS精确匹配准确率。
- 学术贡献
- 在理论层面，论文提出“技能模型”这一CoT rationale生成的形式化框架，将推理技能作为隐变量，并给出基于技能选择的定义及最优性定理，证明在k→∞、Assumption 1和Assumption 2成立时按 gskill 选择示例可使LLM的rationale条件分布达到P*(R|Q)。在方法层面，提出LaRS这一无监督示例选择方法，用CVAE近似示例库分布，把技能发现、推理策略学习和示例选择统一起来，区别于依赖LLM生成技能描述的Skill-KNN。在材料与实证层面，论文在四个推理基准和五个不同规模骨干模型上验证LaRS，报告其持续优于Skill-KNN、在近半实验中匹配oracle，并减少选择阶段LLM推理与人工提示设计；t-SNE可视化显示LaRS学到的技能嵌入能区分TabMWP中12个人工标注技能类别，而现成问题嵌入不能。这些贡献主要作用于CoT提示的演示选择子领域，尤其是基于技能或rationale的无监督选择议题。
- 存在局限
- 理论最优性定理依赖Assumption 1（示例库采样自最优条件分布P*(R|Q)）和Assumption 2（人类与LLM在给定技能和问题时均为专家rationale生成器），这两个假设在材料中未被放松或实证检验，限制了对非理想示例库的结论强度。方法实现以预训练嵌入模型和两层MLP式前馈网络替代完整语言模型，仅用解码器粗略重构rationale以训练编码器和推理策略，因此技能空间受嵌入模型表示能力约束，材料未报告不同嵌入模型下的敏感性。实验仅从训练集随机抽取1K示例作为示例库，未系统检验示例库规模扩大到更大、分布偏移或更强次优情形时的表现；虽然摘要称对次优示例库更鲁棒，但具体鲁棒性边界未在正文摘录中给出。选择阶段虽减少LLM推理，但最终CoT答案仍由LLM生成；且主要对比为Skill-KNN-zero，Skill-KNN-large/small仅作为变体，材料未明确提及人类评估、跨语言或跨领域泛化实验。材料中未明确提及作者是否设置独立局限章节或进行消融实验。
- 进一步研究方向
- 可在固定骨干模型与top-k的前提下，把示例库从1K扩展到更大规模，并人为注入噪声、错误rationale或次优技能覆盖，比较LaRS与Skill-KNN-zero的准确率、选择耗时和LLM推理次数，以检验鲁棒性边界。可替换不同预训练嵌入模型，重复TabMWP上的t-SNE聚类与12个人工技能标签一致性计算，并报告下游准确率变化，从而量化技能空间对嵌入质量的依赖。可把CVAE中的编码器、推理策略与解码器由前馈网络改为语言模型，直接处理token序列，验证token级生成是否能提升技能发现与示例选择效果。可针对Assumption 1和Assumption 2放松条件，推导示例库非最优且人类或LLM非专家时gskill选择的偏差或误差上界，并在四个数据集上构造违反假设的示例库进行验证。可在TabMWP的12个人工技能标签上引入聚类一致性指标，定量分析LaRS学到的推理技能与人类技能语义的对应关系，并扩展到其他推理任务、语言或领域以检验跨域迁移。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling