LongForm：基于逆向指令的高效指令微调方法
LongForm: Effective Instruction Tuning with Reverse Instructions
Abdullatif Köksal, Timo Schick, Anna Korhonen, Hinrich Schuetze
Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) · 2024-01-01
摘要
指令微调能够提升语言模型泛化能力并更好地契合用户意图，但获取指令数据的过程成本高昂且难度较大。以往的研究多采用费用昂贵的人工标注方式、存在对齐问题的众包数据集，或是利用大语言模型生成含噪声的示例。我们推出了LongForm-C数据集，该数据集通过逆向指令方式生成。具体而言，我们针对C4、维基百科等语料库中的人类撰写文本，借助大语言模型通过逆向指令生成对应指令。首先从上述语料库中选取多样化的人类撰写文档，随后利用大语言模型为这些文档生成指令。这种方法能够提供更廉价、更纯净的指令微调数据集，其输出自然，尤其适用于长文本生成任务。在故事创作、食谱生成及长篇问答等任务中，我们的模型表现优于未经过指令微调、规模大十倍的语言模型。此外，LongForm模型相较于FLAN-T5、Alpaca等以往的指令微调模型具有显著优势，还能进一步提升语言理解能力。我们已公开相关数据及模型，详情可查看https://github.com/akoksal/LongForm。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对指令微调数据获取成本高、众包数据对齐有问题以及LLM全合成数据噪声大的问题，提出用反向指令构建LongForm-C数据集：先从C4和英文维基百科等语料选取多样的人类撰写文档，再让LLM为每篇文档生成一个能够引出该文档的指令，从而得到（生成指令，人类文本）对。其核心论断是，这种以人类文本为输出的数据比人工标注便宜、比全合成数据干净，并且天然适合长文本生成。作者用LongForm-C微调T5-XL、OPT-6.7B和LLaMA-7B，称LongForm模型在故事/食谱生成和长文本问答等任务上超过未指令微调的10倍参数量模型，并在故事、诗歌、邮件、食谱生成、语法纠错、摘要、表格到文本和长文本问答等任务上大幅优于FLAN-T5、Alpaca等既有指令微调模型。论文还声称LongForm-C能提升MMLU等语言理解表现，并改善德语、西班牙语、法语、俄语新闻生成的多语言指令跟随能力。
- 研究方法
- 方法核心是反向指令流程：从C4按Reddit点赞≥3过滤后用BERT嵌入做k-means聚类，从每个簇取距中心最近的1篇共10,000篇，再从英文维基百科随机取5,000篇（75%取首段、25%取前两段）。随后用GPT-3 text-davinci-003以零样本提示生成指令，采用正式指令50%、非正式聊天机器人30%、搜索引擎查询20%三类模板，并对30%样本加入“用D句/D词回答”等长度模板。数据还通过解析Stack Exchange（88个子域各50例，共4,380）和WikiHow（2,500，18个模板并含步骤数控制）构建结构化语料子集，并从BigBench（600）、NIv2（3,684）、BEA-2019（1,203）和Enron（372）改写长输出NLP任务。训练上分别微调T5-3B、OPT-6.7B、LLaMA-7B，基线包括T0++、Tk-Instruct、Flan-T5、Alpaca-LLaMA-7B和OPT-30B；评估以LongForm-C测试集、RGen/ELI5/WP各250例的域外长文本生成、MMLU以及MLSUM四语各100例新闻生成为主，主指标为METEOR，附录报告BLEU、ROUGE和self-BLEU，解码用p=0.9的核采样。指令多样性分析用Berkeley Neural Parser抽取动词+宾语或助动词+动词对，材料称15,000条反向指令中8,872条符合该格式。
- 学术贡献
- 在方法层面，论文提出并系统化“反向指令”数据构造路径，把语料中的人类长文本作为输出、用LLM零样本生成对应指令，区别于昂贵人工标注和从零生成指令-输出对的全合成路线，材料自称是首个结合语料与LLM自动生成通用文本生成数据集的尝试。在材料层面，LongForm-C给出27,739条样本的构成与23,652/2,042/2,045划分，其中反向指令占54%、结构化语料占25%、NLP任务改写占21%，并公开数据与模型。在实证层面，它把指令微调的评价从学术NLP任务扩展到故事、食谱、邮件、诗歌、长文本问答和多语言新闻生成，报告LongForm-T5-XL 3B在LongForm-C各子任务上超过11B的T5系指令微调基线，LongForm-OPT在长文本生成上超过参数量10倍的OPT-30B，域外相对METEOR提升超过35%。这些贡献对指令微调数据构造、长文本生成评测和语言理解保持性讨论有直接价值。
- 存在局限
- 论文对C4的Reddit点赞过滤可能使URL来源集中于活跃子版块，作者虽用k-means聚类缓解，但材料未报告过滤前后领域分布或偏差量化。反向指令仅用GPT-3 text-davinci-003零样本生成三类模板，材料未明确提及对生成指令做人工质量校验、去重或过滤，因而难以判断指令有效性是否受单一模型和模板风格支配。评估主指标为METEOR，作者也承认长文本生成指标能力有限，但材料未报告人类评分；域外任务各250例、多语言各100例，样本规模对结论稳定性的支撑有限。基线的训练数据规模与来源差异较大，Alpaca还是作者按Self-Instruct变体自行微调，材料未讨论这些差异对比较公平性的影响；此外摘要/引言称LongForm-OPT-2.7B，而表2为LongForm-OPT-6.7B，模型规模表述不一致，影响复现细节。
- 进一步研究方向
- 可对LongForm-C的指令-文本对做人工忠实性与自然度评分，并与METEOR、BLEU、ROUGE、self-BLEU做相关性分析，以检验自动指标在故事、食谱、ELI5和新闻生成上的有效性。可设计消融实验分别移除反向指令、结构化语料和NLP任务三个子集，或改变54/25/21比例，测量各子集对长文本生成、MMLU和多语言新闻生成的边际贡献；材料提到结果部分有子集消融但未展开细节，这一路径可直接补足。可替换指令生成LLM（如开源模型）并系统比较正式、聊天机器人、搜索查询三类模板及长度模板对指令多样性、长度控制准确率和输出质量的影响，同时加入指令过滤与语料改写步骤。可把反向指令从英文C4/维基百科扩展到多语言训练语料，而不仅在MLSUM上做四语各100例评测，以验证跨语言长文本生成和指令跟随。还可针对C4的Reddit过滤与k-means聚类做分层抽样与偏差审计，比较不同领域配额下的数据覆盖和模型输出偏差。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling