痕迹即状态：将推理痕迹作为长上下文Transformer的条件性状态
Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers
Xu Zou, Jie Tang
arXiv (Cornell University) · 2026-09-02
摘要
Transformer模型以因果方式处理信息，但长上下文推理可能依赖于后续才能确定的任务状态。我们通过条件性状态更新任务对这一不匹配现象进行了形式化描述。对于采用因果状态更新机制的处理器而言，在最坏情况下，优先提供条件所需的内存开销远低于延后提供条件时的开销。基于这一原理，我们提出了“痕迹即状态”方法：将收集到的推理痕迹作为任务状态的文本化表征，在重新读取时将其置于长上下文模块之前，从而利用先前获取的信息指导后续阅读。我们对“痕迹即状态”方法以及与之匹配的对照组“痕迹追加”方法开展了大量实验——“痕迹追加”同样使用相同的任务状态表征，但将其置于上下文之后。在三种模型及三个长上下文数据集上，27种模型、任务与指标的组合中有26种场景下，“痕迹即状态”方法的性能均优于“痕迹追加”方法。在GraphWalks Parents数据集上，DeepSeek V4 Pro Preview模型在初次读取时的精确匹配率从29.2%、采用“痕迹追加”方法时的43.0%提升至采用“痕迹即状态”方法后的81.8%；GLM-5.2模型的相应数值则从66.4%和83.2%跃升至100.0%。这些结果表明，将推理痕迹置于上下文之前能够提升长上下文推理能力，同时无需改变Transformer模型的因果结构。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文将长上下文推理中因果处理顺序与任务状态可能后知后觉的矛盾形式化为条件状态更新任务。对因果状态更新处理器而言，若把条件放在前面，最坏情况所需内存可比把条件放在后面呈指数级更少。据此提出 Trace as State：把收集到的推理轨迹当作任务状态的文本代理，在新一轮处理中将其置于长上下文块之前，让先前推导的信息引导重读。对比方法 Trace Append 使用同一任务状态代理但置于上下文之后，用以隔离条件位置的影响。实验显示 Trace as State 在 3 个模型、3 个长上下文数据集、27 个模型-任务-指标组合中的 26 个优于 Trace Append；GraphWalks Parents 上 exact match 从 initial pass 与 Trace Append 的 29.2%、43.0% 提升至 81.8%（DeepSeek V4 Pro Preview），GLM-5.2 从 66.4%、83.2% 提升至 100.0%。结论是前置轨迹可在保留因果 Transformer 结构下改善长上下文推理。
- 研究方法
- 方法路径包含形式化建模：以条件状态更新任务刻画因果处理器中条件位置与内存需求的关系，并给出最坏情况指数级内存差异的论点。提出 Trace as State 干预：将收集的推理轨迹作为任务状态的文本代理，在 fresh pass 中置于长上下文之前，使先前得到的信息影响重读过程。设置匹配对照 Trace Append：使用同一任务状态代理但置于长上下文之后，从而比较条件前置与后置的差异。实验覆盖三个模型、三个长上下文数据集和多个指标，报告 27 个模型-任务-指标组合，其中 26 个 Trace as State 优于 Trace Append。材料具体给出 GraphWalks Parents 上的 exact match 结果，涉及 DeepSeek V4 Pro Preview 与 GLM-5.2，并包含 initial pass、Trace Append、Trace as State 三种条件。轨迹收集流程、三个数据集名称、第三个模型名称、样本量与统计检验方式在材料中未明确提及。
- 学术贡献
- 理论建构层面，将长上下文推理中条件顺序问题抽象为条件状态更新任务，并指出因果处理器在条件前置时可能获得最坏情况指数级内存优势。方法创新层面，提出 Trace as State，把推理轨迹用作任务状态的文本代理并前置到长上下文块之前，同时保留因果 Transformer 结构，而非改造注意力因果性。实验设计层面，引入 Trace Append 作为匹配对照，用同一状态代理仅改变位置，从而将轨迹内容与轨迹位置的作用分离。实证层面，在三个模型、三个数据集和 27 个模型-任务-指标组合中报告 26 个组合优于 Trace Append，并在 GraphWalks Parents 上给出 exact match 的显著提升。上述贡献对长上下文推理中需要跨段重读、状态更新与条件依赖的任务有直接价值。
- 存在局限
- 材料仅报告三个模型、三个长上下文数据集的结果，未交代数据集具体构成、任务类型分布与样本规模，外部效度范围不明确。实验以 exact match 等指标呈现，且只详述 GraphWalks Parents 一个任务；其余数据集和未胜出的 1/27 组合未展开，难以判断失败边界。Trace as State 依赖收集到的推理轨迹作为任务状态代理，但材料未说明轨迹由谁或如何生成、长度与正确性如何控制，也未设置错误轨迹、随机轨迹或无轨迹对照，内容效度与因果归因不充分。理论部分给出最坏情况指数级内存差异，但实验未报告内存占用、计算开销或延迟，形式化结论与实证结果之间缺少直接测量衔接。Trace Append 虽是匹配对照，但只比较了前置与后置两个位置；材料中未提及多次重读、不同插入位置或不同轨迹粒度的消融。
- 进一步研究方向
- 在同样的三模型、三数据集与 27 个组合上补测内存峰值、FLOPs、延迟与上下文长度，检验条件前置的最坏情况指数内存优势是否在真实推理中可观测。对轨迹内容做受控消融：比较正确轨迹、错误轨迹、随机文本、人工状态摘要与无轨迹条件，分别置于上下文前、后及多位置，以验证性能增益是否确实来自任务状态代理而非额外 token 或重复阅读。公布并分析未胜出的 1/27 组合及其余数据集任务，按任务类型、上下文长度、模型规模分层，定位 Trace as State 失效的边界条件。设计迭代式 fresh pass：将上一次 Trace as State 输出作为下一轮前置轨迹，观察 exact match 是否收敛或振荡，验证状态更新是否可递归使用。将条件状态更新任务扩展到双向注意力或混合架构，比较其与因果 Transformer 的内存界及前置或后置效应差异。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling