ScaleFormer：面向长上下文Transformer的跨度表征累积方法

摘要

主要观点

论文针对标准自注意力二次复杂度限制 Transformer 长上下文应用、而高效变体常需架构改动与从头预训练的问题，提出 ScaleFormer 即插即用框架。其核心论点是：将长输入切分为重叠片段并独立编码后，不向解码器传递每段全部隐状态，而只取每段左右边界表示，并用无参数的方向融合机制将前序与后序片段的累积上下文注入边界。这样每个片段表示被赋予在文档中的位置意识与叙事流结构信号，使现成预训练编码器-解码器模型无需架构修改、外部检索或昂贵预训练即可处理长序列，并达到线性复杂度。论文在长文档摘要上验证该论点，报告 ScaleFormer+Middle 在 SummScreen、GovReport、BookSum 上与强基线竞争或超越，例如 BookSum 测试集 ROUGE-1 为 39.2，高于 Unlimiformer 的 37.3。关键术语包括重叠分段、边界表示、跨度表示累积、方向上下文、中间词元采样、无参数融合和线性复杂度。

研究方法

研究采用分段编码与边界融合的模型设计：将 N 个词元的输入划分为 C 个长度 L、重叠 O 的片段，每段经预训练编码器独立编码为 H_i，再提取首 k 个与末 k 个隐状态作为左右边界。随后按公式计算每段的 backward context 与 forward context，分别平均自身边界和所有前序或后序片段的左右边界，并以超参数 α 加权融合得到 L'_i 与 R'_i；同时从片段内部随机采样 m 个中间词元，最终拼接为解码器输入。实验材料为三个长文档摘要数据集：SummScreen 平均约 9,000 词元，GovReport 输入截断至 16,384 词元，BookSum 平均超过 140,000 词元；骨干模型为 BART-base 与 T5-base，基线包括 Standard 截断、SLED、Memorizing Transformers 和 Unlimiformer，指标为 ROUGE-1/2/L 与 BERT-Score。实现设置包括 L=1024、O=150、k=1、α=0.5，并评估 ScaleFormer 与加入 m=300 随机中间词元的 ScaleFormer+Middle 两个变体。消融实验在 SummScreen 开发集和 BART-base 上进行，变化 α、m 与 O，并给出编码复杂度 O(N)、解码器输入长度 C×(2k+m) 的复杂度分析。

学术贡献

论文的贡献首先在方法层面：提出 ScaleFormer 这一无需修改模型内部架构、无需外部检索索引、且融合机制无参数的即插即用框架，用于把现成预训练编码器-解码器模型适配到长上下文任务。其方向边界融合机制用前序和后序片段的累积上下文向量丰富每段边界表示，将文档结构显式编码进送入解码器的表示中，区别于 SLED 拼接全部片段隐状态和 Unlimiformer 依赖 kNN 索引的做法。该机制使解码器输入长度压缩为 C×(2k+m)，小于 SLED 的 C×L，同时保持相对输入长度的线性复杂度，对长上下文 Transformer 与长文档摘要子领域有直接方法价值。实证层面，论文在 SummScreen、GovReport、BookSum 和 BART-base、T5-base 上验证方法，ScaleFormer+Middle 在 BookSum 测试集取得 ROUGE-1 39.2、ROUGE-2 9.3、ROUGE-L 16.3、BERT-Score 71.9，并称其超过包括 Unlimiformer 在内的基线。材料未明确提及该工作对艺术学领域的具体贡献。

存在局限

方法设计上，中间词元当前采用随机采样，作者明确表示计划探索更有效的词元选择方法，说明该压缩策略尚未优化；边界仅取首尾各 k=1 个词元，可能不足以代表片段内部内容，虽由中间词元部分缓解，但边界选择本身未展开比较。方向上下文以简单平均融合前序或后序所有边界，α 也全局固定为 0.5，未按片段位置或内容自适应，可能限制结构信号的精细度。实验样本上，评估仅覆盖 SummScreen、GovReport、BookSum 三个长文档摘要数据集，GovReport 输入被截断至 16,384 词元，BookSum 平均超过 140,000 词元的完整处理方式材料中未明确提及；骨干模型仅验证 BART-base 与 T5-base，SLED 在 BookSum 的结果缺失，CEPE 只在相关工作提及而未纳入比较。论证链条上，评价指标为 ROUGE-1/2/L 与 BERT-Score，材料中未明确提及人工评估、事实一致性、叙事连贯性指标或统计显著性检验，也未报告 140,000 词元级输入下的实际内存、吞吐与延迟，因而线性复杂度主要是分析结论而非实测验证。

进一步研究方向

第一，针对随机中间词元采样，可用材料提及的 LLMLingua 式压缩策略替代随机选择，并在 SummScreen、GovReport、BookSum 上固定 m=300 比较 ROUGE 与 BERT-Score，以检验更优词元选择是否提升局部内容保真度。第二，将全局 α 改为按片段位置、长度或内容动态学习或设定的融合系数，在 BookSum 叙事摘要上验证其是否改善时间排序、跨段指代和全局主论点捕获。第三，扩展边界机制，将 k 从 1 增大或改变首尾边界提取方式，考察跨段长程依赖与片段内部信息保留的权衡。第四，把该框架用于材料提及但未实验的 decoder-only LLM 与 CEPE 式 cross-attention 插入场景，并在问答或长文摘要中与 SLED、Unlimiformer 对照，检验即插即用特性的模型泛化性。第五，在 BookSum 超长输入上系统测量内存、吞吐和延迟，与 SLED、Unlimiformer 的实际成本对比，并做错误分析，区分不连贯、时间排序错误与未捕获主论点三类失败，以定位方向融合机制的边界。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 长上下文Transformer的尺度极限

  2026 ·

• 长上下文Transformer中的临界注意力缩放机制

  2025 ·

• 基于上下文检索调节注意力的长上下文Transformer模型MATCH

  2026 ·

• SpotAttention：面向预训练长上下文Transformer的插件式块稀疏路由机制

  2026 ·

• 基于相对位置的函数插值方法可提升长上下文Transformer模型的性能

  2023 · 被引 3

• 变分线性注意力：面向长上下文Transformer的稳定联想记忆机制

  2026 ·