Flan数据集：面向高效指令微调的数据与方法设计

摘要

主要观点

论文围绕 Flan 2022 Collection 的公开指令微调方法与数据设计展开，核心论点是任务平衡与任务丰富化技术虽被既有工作忽视，却对有效指令微调至关重要。作者指出，将 zero-shot、few-shot 与 chain-of-thought 模板混合训练，不仅不会在单一提示设置上产生此消彼长，反而使各设置在 Held-In、CoT 与 Held-Out 评测中共同提升 2% 以上。通过扣除法，论文主张 Chain-of-Thought 训练主要提升 CoT 评测，输入反转主要提升 MMLU 与 BBH 等 Held-Out 表现，few-shot 模板训练提升 few-shot 评测，而混合权重平衡对几乎所有指标都有贡献。论文还主张 Flan-T5 在单下游任务微调时比 T5 收敛更快且峰值更高，因而指令微调模型可作为计算效率更高的新任务起点。整体上，Flan 2022 通过整合 Flan 2021、P3++、Super-Natural Instructions 及额外推理、对话、程序合成数据集，形成当时最广泛的公开指令微调集合与方法。

研究方法

论文以 T5-LM adapted 模型为统一基座，除特别说明外均采用 XL（3B）规模，对 Flan Collection 中的任务与方法做系统消融。消融设计是逐项扣除 mixture balancing、Chain-of-Thought 任务、mixed prompt settings（few-shot 模板）与 input inversion，并观察其对 Held-In、CoT、MMLU、BBH、BBH-CoT 的影响。为比较公开集合，作者在同一 T5-XL 基座上分别用 Flan 2021、P3++、Super-Natural Instructions 微调，并与 Flan 2022 对照。评测集包括 8 个 Held-In 任务（4 个问答与 4 个自然语言推断验证集）、5 个 CoT 验证集，以及作为 Held-Out 的 MMLU（57 个学科任务）与 BBH（23 个困难任务），并在 BBH 上加入 CoT 输入。论文还做了 few-shot 模板比例扫描（0 至 100%）、任务数量 scaling（8、25、50、100、200、400、800 至全部 1873）与模型规模 scaling（Small、Base、Large、XL、XXL），以及单任务微调对比。

学术贡献

在方法层面，论文把 mixed zero-shot 与 few-shot 模板训练确认为可同时提升两种提示设置的指令微调设计，并量化了 Chain-of-Thought、输入反转、任务规模扩展和数据源平衡各自对 Held-In、CoT 与 Held-Out 指标的贡献。在结果层面，论文报告 Flan-T5 相较当时公开的 T5-XL 指令微调集合在多数评测中取得 +3% 至 +17% 的提升，并在 MMLU 与 BBH 上超过参数量大得多的 OPT-IML-Max 30B 与 175B。论文还提出并验证指令微调模型作为单任务下游微调起点的效率优势，即 Flan-T5 需要更少微调即可收敛更高、更快。在资源层面，论文公开 Flan 2022 的任务集合、模板与方法代码，使外部研究者可变动 mixture rates、templates、prompt types 与数据增强技术。这些贡献主要面向公开指令泛化、多任务提示训练与下游迁移效率等议题，而非人类反馈对齐。

存在局限

论文在任务 scaling 分析中假设所有任务被等价定义和计数，但自身又指出不同来源任务收益不均，Super-Natural Instructions 等来源过多可能使性能饱和，因此 1800 以上任务是否继续带来回报并不确定。数据源平衡的实验采用逐项留出后排序贡献，再依靠实践者直觉缩小 mixture weights 搜索空间，材料中未明确说明该权重搜索是否系统覆盖组合空间。模板化过程虽被描述为在指令位置、few-shot 与 CoT 分隔、选项排列等维度增加变化并反复带来提升，但论文承认没有专门的实验比较多次迭代开发，因此难以分离各模板维度的独立效应。与 OPT-IML 的对比受限于对方 collection、templates、processing、example mixing 未公开，论文只能推测差异可能来自模板化、混合输入提示程序与任务组成，同时承认预训练与模型架构也可能起作用。单任务微调效率结论主要在论文所选下游任务上展示，材料未明确覆盖更大规模或更多任务类型的泛化验证。

进一步研究方向

后续研究可在统一定义并去重任务的前提下，用网格搜索、贝叶斯优化或可学习权重替代实践者直觉，系统优化 Flan 2022 各数据源的 mixture weights，并同时报告 Held-In、MMLU、BBH 与 CoT 指标以检验是否存在 Pareto 前沿。可针对 input inversion 做按任务类型、数据源与模型规模分层的受控消融，验证其在 held-out 上的增益边界，以及何时因数据源已足够多而收益递减。可在超过 1800 个任务的规模上继续做 scaling 实验，同时显式控制来源多样性与质量，检验 Held-Out 的 log-linear 增长是否延续、较大模型是否仍未耗尽容量。可对模板化维度（指令置于 few-shot 前后、few-shot 与 CoT 的分隔与空格、多选答案选项排列及其在输入/示例中的包含与否）做 factorial 消融，以确定哪些 formatting permutations 带来可重复增益。还可在更多单下游任务上比较 T5、Flan-T5 进一步微调与不进一步微调三种设置的收敛速度、峰值与计算成本，并可把合成数据生成与人类反馈信号作为与指令微调叠加的变量进行公开数据条件下的验证。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• LongForm：基于逆向指令的高效指令微调

  2023 · 被引 10

• 对比式指令微调

  2024 · 被引 1

• 指令微调的可利用性研究

  2023 · 被引 13

• 基于GPT-4的指令微调

  2023 · 被引 175

• 基于人类课程体系的指令微调

  2024 · 被引 5

• 基于指令损失函数的指令微调方法

  2024 · 被引 4