非自然指令：几乎无需人工参与的语言模型调优方法
Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor
Or Honovich, Thomas Scialom, Omer Levy, Timo Schick
Annual Meeting of the Association for Computational Linguistics (ACL) · 2023-01-01
摘要
指令调优能够使预训练语言模型依据推理时的自然语言描述来执行新任务，这类方法通常依赖大量以众包数据集或用户交互形式存在的人工标注数据。本研究提出了“非自然指令”数据集，这是一套创意丰富且类型多样的指令集合，其收集过程几乎无需人工参与。我们先用三个种子指令示例对语言模型进行提示，让其生成第四个指令，由此收集到6.4万条样本；随后通过让模型对每个指令进行改写来扩充数据集，最终得到约24万条包含指令、输入及输出的样本。实验表明，尽管该数据集包含一定比例的噪声，但基于“非自然指令”数据集的训练效果可与开源的人工标注数据集相媲美，在各类基准测试中，基于该数据集训练的模型性能甚至超过了T0++和Tk-Instruct等模型。这些结果证明了模型生成的数据在数据集扩展与多样化方面具备替代众包的成本优势。“非自然指令”数据集示例1：指令：给定一个难度为初级的科学题以及四个对应字母“A”“B”“C”“D”的答案选项，你的任务是依据科学事实、知识与推理找出正确答案，输出内容只能是上述四个字母之一，每道题仅有唯一正确答案。输入：自行车的哪个部件最易做圆周运动？（A）座椅 （B）车架 （C）脚踏板 （D）脚撑。约束条件：输出必须为“A”“B”“C”“D”中的一个。示例2：指令：给定一条负面评价，你的任务是通过少量修改将其转化为正面评价，同时需保持评价语境不变。输入：我们震惊地站在那里，因为我们从未预料到这种情况。约束条件：无。示例3：指令：本任务中你会获得对话中的两句话，需要判断这两句是否具备先后顺序关系；若具备则标记为“True”，否则标记为“False”，这两句话由不同人说出。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出 Unnatural Instructions，核心论点是：指令微调不必依赖大规模人工标注，语言模型可以在极少人工种子的条件下生成创意多样且可用的指令数据。作者以三个种子示例提示语言模型生成第四个示例，先得到64,000条核心指令—输入—输出三元组，再通过指令改写扩展到约240,000条。论文承认数据含有噪声，但主张其在指令微调上的效果可与开源人工整理数据集相竞争，并在多个基准上超过T0++与Tk-Instruct。其支撑性论断包括：模型生成数据可作为众包的成本有效替代，尤其有助于泛化到偏离经典NLP任务分布的指令；生成样例数量与下游性能呈对数线性关系。
- 研究方法
- 数据生成采用全自动流程：以 text-davinci-002 为生成模型，用来自 Super-Natural Instructions 训练集的三个上下文演示构造提示，共使用5组种子、15条人工示例；核心集先用 nucleus sampling（p=0.99）生成 instruction、input 与 constraints，再用 greedy decoding 生成 output，并施加三类自动过滤。模板扩展阶段提示模型为每条核心指令生成两个替代表述，使用 {INPUT} 占位符标记输入插入位置，失败后重采样至五次，材料称超过97.5%的指令具有两条有效且不同的替代表述。数据分析随机抽取200条核心样例，人工判断指令可执行性、输入与任务匹配度及输出正确性，并聚类任务类型；另对每个数据集抽样10,000对输入，用 BERTScore 比较相似度分布。实验微调 T5-LM/T5-11B，批大小16、训练3个 epoch，使用1,000条验证集；基线包括 T0++、Tk-Instruct、FLAN-T5 以及在64,000条 Super-Natural Instructions 上训练的 T5-LM，评测覆盖 Super-Natural Instructions、BIG-bench Hard、LMentry 等基准的零样本设置。
- 学术贡献
- 在材料发掘层面，论文构建并公开了约240,000条由模型生成的指令数据，核心集64,000条仅需15条人工种子，展示了极低人工成本的数据集扩展路径。在方法层面，它把“三示例提示生成第四示例”的少样本生成、结构化字段约束、自动过滤与模板改写组合成可复制的数据生产管线，属于指令微调数据构造的方法创新。在实证层面，论文给出与人工整理数据对照的训练结果，报告在 BIG-bench Hard 原始任务表述上18点增益、在 LMentry 上16点增益，并指出生成规模与下游性能的对数线性关系。其贡献主要落在指令微调的数据构建、零样本任务泛化以及众包替代方案这三个具体议题上。
- 存在局限
- 人工分析仅覆盖200条核心样例，正确率为56.5%，87条错误中9条指令不可理解、35条输入与任务描述不匹配、43条输出错误，说明自动过滤只能处理字段缺失、重复等浅层问题，未系统纠正语义层面的错误。核心数据仅由5组、15条来自 Super-Natural Instructions 的种子示例驱动，种子来源单一，材料未明确说明该种子分布对生成任务空间的约束程度。模板扩展依赖模型重写，存在复制原指令、生成重复表述或缺少 {INPUT} 占位符的失败情形，部分指令最终只有一条或没有替代表述。实验主要在 T5-11B/T5-LM 上以零样本方式评测；与 T0++、Tk-Instruct、FLAN-T5 的比较并非在数据之外所有变量完全受控，材料仅说明与 Super-Natural Instructions 基线在数据变量上进行了控制。材料未明确报告200条人工分析的标注者间一致性，也未在摘录中完整列出四个评测基准的全部结果。
- 进一步研究方向
- 可在材料已报告的对数线性关系基础上，系统扩大生成规模并绘制下游性能曲线，检验从64,000条向更大规模扩展时在 Super-Natural Instructions、BIG-bench Hard、LMentry 上是否持续增益、何时饱和。针对43/200输出错误与35/200输入不匹配，可设计输出可执行性检查、输入—指令一致性验证器或答案自洽性过滤，并与现有三类过滤器做消融比较。可替换生成模型与种子来源，构造多源种子集，测量任务类型分布与 BERTScore 相似度分布的变化，检验多样性是否由种子来源或解码策略驱动。可扩大人工分析样本并分层抽样正确与错误类型，报告标注一致性；同时在所列基准上分开报告零样本与少样本结果，以定位模型生成数据对偏离经典NLP任务分布的泛化增益。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling