LaRS：用于思维链推理的潜在推理能力
LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning
Zifan Xu, Haozhu Wang, Dmitriy Bespalov, Xian Wu, Peter Stone, Yanjun Qi
Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) · 2024-01-01
开放获取大模型与语言推理与思维链被引 4被引前 25%影响因子 ≈1.8
摘要
思维链提示是一种在大语言模型中广泛应用的交互式学习策略，尤其适用于处理复杂的推理任务。传统方法往往难以有效激发模型的潜在推理能力，而LaRS则通过特定机制揭示了模型在思维链推理中所具备的潜在推理技能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将CoT提示中的示例选择问题从“问题相似”转向“rationale所展示的推理技能对齐”，指出CoT示例包含中间推理步骤，因此应按rationale中的技能而非问题本身来选择示例。作者提出Latent Reasoning Skills（LaRS），用无监督学习把rationale映射到潜空间，并以潜变量reasoning skill表示格式、方程或知识等高层次抽象。LaRS同时学习reasoning policy，为给定问题推断所需技能，再按技能对齐从example bank中选top-k示例构造提示。论文主张该做法无需人工设计技能描述或辅助LLM推理，并在四个基准、五个骨干模型上优于Skill-KNN等基线，且处理example bank快四倍、选择阶段LLM推理减半、对次优example bank更稳健。
- 研究方法
- 方法上先建立skill model，将rationale生成写成对潜变量z的积分：PH(R|Q)=∫PH(R|z,Q)PH(z|Q)dz，并把零样本与少样本CoT统一为PM(R|pt)=∫PM(R|z,Q)PM(z|pt)dz，再用定理1在Assumption 1与Assumption 2下论证skill-based selection的最优性。实现上用条件变分自编码器（CVAE）近似该模型，包含编码器qω(z|Q,R)、解码器pψ(R|z,Q)与reasoning policy πϕ(z|Q)，以变分期望最大化与重参数化训练，损失为Lrecon+LKL，并用预训练Deberta-v2-xlarge把token映射到嵌入空间、以两层MLP输出高斯均值与方差。选择阶段对测试问题取ztest=argmaxπϕ(z|f(Qtest))，对example bank中每个示例取zpost=argmaxqω(z|f(Q,R))，按余弦相似度排序取top-k构造CoT提示。实验在TabMWP、GSM8K、Spider、COGS四个数据集上进行，从训练集随机抽1K条作example bank，比较Skill-KNN-large、Skill-KNN-small、Skill-KNN-zero、Random、Retrieval-Q与Retrieval-R（oracle），骨干为gpt-4o、gpt-3.5-turbo、claude-3-sonnet、claude-3-haiku与Falcon-40B-Instruct，分别用答案准确率、执行准确率与精确匹配衡量。
- 学术贡献
- 理论建构层面，论文提出latent skill model，把CoT提示解释为通过提示改变LLM对reasoning skill后验分布PM(z|pt)的机制，并给出skill-based demonstration selection的形式定义与最优性定理。方法创新层面，LaRS用无监督CVAE从example bank中自动发现潜技能，替代Skill-KNN依赖预训练LLM生成技能描述与人工prompt设计的流程。材料发掘与领域拓展层面，论文在四个推理数据集和五个不同规模LLM上系统比较技能选择与其他选择基线，报告速度、LLM推理次数与对次优example bank稳健性的结果。其价值集中在LLM的in-context learning与CoT提示设计这一子领域，尤其是demonstration selection中按rationale技能对齐的议题。
- 存在局限
- 理论部分的最优性依赖Assumption 1（example bank来自最优条件分布P*）与Assumption 2（人类与LLM在给定技能和问题下均为专家rationale生成器），材料未给出放松这两个假设后的误差界或实证压力测试。CVAE在实现中把token序列映射到预训练嵌入空间，编码器、解码器与policy均为MLP并输出高斯潜变量，解码器仅作辅助重构而不用于下游生成，这一设计对rationale细粒度语义与技能边界的表达能力材料未明确评估。实验的example bank固定为随机抽取的1K条，数据集为TabMWP、GSM8K、Spider、COGS四类，材料未报告更大规模example bank、不同抽样偏差或跨数据集迁移下的选择稳定性。选择阶段以z的余弦相似度取top-k，材料未明确给出不同k、潜变量维度、解码器重构质量对准确率与稳健性的消融结果。
- 进一步研究方向
- 可在现有四个数据集上构造不同质量与噪声水平的example bank（含次优与分布偏移样本），检验定理1的Assumption 1与Assumption 2被违反时LaRS相对于Skill-KNN与Retrieval-Q的准确率差距，并给出选择误差与bank质量的关系曲线。可用Figure 3中提到的12类人工skill标签作为外部评价，比较潜变量z的聚类纯度、top-k选择与人工技能标签的一致性，并系统消融潜变量维度、解码器重构损失权重与k值。可将当前嵌入级CVAE与token级或轻量适配器式CVAE对照，检验解码器从辅助重构转为受约束的rationale生成后是否改善技能对齐与选择速度。可在1K之外扩展到更大example bank并测试跨bank迁移，记录选择阶段时间、LLM推理次数与准确率随bank规模变化的缩放关系。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling