基于相对位置的函数插值方法可提升长上下文Transformer模型的性能
Functional Interpolation for Relative Positions Improves Long Context Transformers
Shanda Li, Chong You, Guru Guruganesh, Joshua Ainslie, Santiago Ontañón, Manzil Zaheer, Sumit K. Sanghai, Yiming Yang, Sanjiv Kumar, Srinadh Bhojanapalli
arXiv (Cornell University) · 2023-10-06
开放获取大模型与语言被引 3影响因子 ≈0.2
摘要
在扩展Transformer模型的上下文长度时，防止其在超出训练数据长度的输入上出现性能下降，一直是一个重要难题。尽管Transformer架构本身对可处理的输入序列长度并无限制，但训练时所选用的位置编码方式可能会制约模型在较长输入上的表现。我们提出了一种采用渐进插值技术的新型函数式相对位置编码方法——FIRE，旨在提升Transformer模型对长上下文的泛化能力。我们从理论上证明，该方法能够表征多种常见的相对位置编码形式，如T5模型所用的RPE、Alibi以及Kerple。随后通过实验证实，无论是在零样本语言建模任务还是长文本基准测试中，采用FIRE编码的模型对长上下文的泛化能力均更为优异。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对 Transformer 在输入超过训练长度时性能衰减的问题，聚焦 decoder-only 语言模型的长上下文外推与相对位置编码设计。核心论点是 FIRE 用可学习函数将查询-键相对距离映射为注意力偏置，并通过渐进插值按查询位置归一化距离，使位置编码函数输入始终有界于[0,1]，从而在不预知目标长度的情况下改善长度泛化。支撑性论断包括：FIRE 理论上可表示 T5 的 RPE、Alibi、Kerple 与 Sandwich 等加性相对位置编码；实证上在零样本语言建模和长文本基准中优于 T5 RPE、Alibi、Kerple、RoPE、NoPE、YaRN 与 RoPE-PI。论文还声称 FIRE 能学到局部与反局部位置偏置，且无需额外微调即可获得强零样本长度泛化，同时短序列任务上具有竞争力。
- 研究方法
- 采用理论构造性证明与对照实验结合的路径，定义 bFIRE(i,j)=fθ(ψ(i-j)/ψ(max{L,i}))，其中 fθ 为隐藏大小32的 MLP，ψ(x)=log(cx+1)，L 为可学习阈值。理论部分通过定理3.1证明对任意 L0，存在 ψ、L 与 MLP 配置使 FIRE 匹配 T5 的 RPE、Alibi、Kerple 或 Sandwich 的位置编码函数。语言建模实验在 C4 上以2048长度预训练 base 125M 与 large 350M 模型，零样本评估 C4、arXiv、Github 上512至8192的验证困惑度，对比 T5 RPE、Alibi、Kerple、RoPE、NoPE、YaRN。长文本实验在 SCROLLS 的 Qasper、ContractNLI、QMSum、NarrativeQA、SummScreenFD、GovReport、QuALITY 七个数据集上从 C4 checkpoint 微调至8192长度，使用 Rgm、F1、EM 与平均分；另在 NarrativeQA 做512至32768上下文的零样本问答，在 GLUE/SuperGLUE 做1024长度微调。附录 B 对 FIRE 设计选择做消融，并可视化学习到的位置编码以展示局部与反局部偏置，附录 C 给出超参数与硬件细节。
- 学术贡献
- 理论建构层面，定理3.1以构造性证明将 T5 RPE、Alibi、Kerple、Sandwich 纳入 FIRE 的可表示范围，且强调参数高效，统一了一类加性相对位置编码。方法创新层面，渐进插值把查询-键相对距离按查询位置归一化到[0,1]，无需预知目标序列长度或额外微调即可实现零样本长度泛化；log 变换与可学习阈值 L 分别针对局部位置差异和短序列建模。实验材料层面，在 C4 base 模型 2048 训练、8192 评估时，FIRE 比最佳基线 Kerple 降低2.28困惑度（21.24 对 23.52）；在 SCROLLS 平均分上超过所有竞争方法1分以上。领域拓展层面，这些结果对 decoder-only 长上下文语言模型、长文本基准、零样本长上下文问答以及短序列自然语言理解中的位置编码选择均有直接价值。可视化结果展示 FIRE 可学习局部与反局部偏置，说明其不局限于 Alibi、Kerple 等方法的局部注意力归纳偏置。
- 存在局限
- 理论表达性只覆盖 T5 的 RPE、Alibi、Kerple、Sandwich 等加性相对位置编码，材料未证明或展示 FIRE 对 RoPE 这类非加性 RPE 的覆盖能力。实验模型规模限于125M与350M，预训练长度固定为2048，材料中未明确更大模型或更长预训练长度下 FIRE 的行为。SCROLLS 微调长度为8192，但数据集中位长度可达57829（NarrativeQA），材料未说明超长样本的截断、分块或流式处理方式及其对平均分的影响。材料承认渐进插值在短序列上出现边际性能退化，虽以可学习阈值 L 缓解，但 GLUE/SuperGLUE 的逐项结果在提供的材料中未完整呈现。材料仅称 FIRE 使用隐藏大小32的 MLP 且对加速器友好，未明确报告相对 T5 RPE 的实际训练/推理加速比、显存开销或统计显著性检验。
- 进一步研究方向
- 将 FIRE 的渐进插值嫁接到 RoPE-PI 或 YaRN 的插值环节，在相同 C4 预训练与512至8192评估长度下，检验能否消除这些方法对目标长度先验和额外微调的需求。在125M与350M之外扩大模型规模，并把预训练长度从2048扩展到4096或8192，零样本评估至8192与32768，比较 FIRE 与 Kerple、T5 RPE 的困惑度曲线以检验缩放行为。针对 SCROLLS 中 ContractNLI 中位2148与 NarrativeQA 中位57829的巨大跨度，固定8192微调长度，系统改变截断、分块与流式推理策略，验证 FIRE 在远超微调长度时的任务指标。对 FIRE 的 MLP 隐藏大小32、log变换参数 c、可学习阈值 L 做网格消融，同时报告 GLUE/SuperGLUE 短序列与 C4 长序列结果，量化短长序列性能权衡。对 FIRE 与 T5 RPE 进行训练和推理的 wall-clock、显存与吞吐对比，检验“accelerator-friendly”论断是否在长序列上成立。在 encoder-decoder 或 encoder-only 架构中复现 FIRE，检验定理3.1的表达性结论与局部/反局部学习偏置是否跨架构保持。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling