LongForm：基于逆向指令的高效指令微调
LongForm: Effective Instruction Tuning with Reverse Instructions
Abdullatif Köksal, Timo Schick, Anna Korhonen, Hinrich Schütze
arXiv (Cornell University) · 2023-04-17
开放获取大模型与语言被引 10影响因子 ≈0.2
摘要
指令微调能够提升语言模型泛化能力并使其更精准地契合用户意图。然而，获取指令数据成本高昂且难度较大。以往的研究要么依赖昂贵的人工标注，要么使用存在对齐问题的众包数据集，或是借助大语言模型生成含噪声的示例。我们推出了LongForm-C数据集，该数据集通过逆向指令方式生成。我们利用大语言模型，针对人类撰写的文本样例反向生成对应指令：首先从C4、维基百科等语料库中选取多样化的文档，随后由大语言模型为这些文档生成指令。这种方法能够产出成本更低、质量更优的指令微调数据集，其输出结果自然，且适用于长文本生成任务。在故事创作、食谱生成及长篇问答等任务中，我们的模型表现优于未经过指令微调、规模大十倍的语言模型。此外，LongForm系列模型在性能上大幅超越FLAN-T5、Alpaca等以往的指令微调模型，语言理解能力也得到了进一步提升。我们已公开相关数据及模型，详情可查看https://github.com/akoksal/LongForm。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对指令微调数据获取成本高、众包数据存在对齐问题以及LLM全合成数据噪声大的问题，提出用reverse instructions构建LongForm-C数据集：先从C4与英文Wikipedia等语料中选取人类写作的文档，再用LLM为这些文档反向生成应能引出该文档的指令。其核心论断是，以人类书写文本作为输出、由LLM生成指令，可获得更便宜、更干净且输出自然的指令微调数据，并尤其适合长文本生成。基于LongForm-C微调的LongForm模型在故事/食谱生成、长文本问答等任务上超过未指令微调的10倍参数模型，并大幅优于FLAN-T5和Alpaca等既有指令微调模型，同时提升MMLU等语言理解能力。论文还主张reverse instructions可扩展到多语言新闻生成，LongForm模型能按德语、西班牙语、法语和俄语指令生成新闻文章。
- 研究方法
- 数据集构建分三路：RI部分从C4取10,000例、英文Wikipedia取5,000例；C4样本先按Reddit URL获得三个及以上upvote过滤，再对文档BERT嵌入做k-means聚类并从每簇选距中心最近一例以增加多样性；Wikipedia随机选5,000篇文章，75%取首段、25%取前两段。SC部分从Stack Exchange的Pile子语料中每个子领域选50例，共88个子领域，并从WikiHow用18个模板构造how-to指令；NLP部分纳入NIv2的3,684例、BigBench的600例、BEA-GEC的1,203例和Enron的372例，合计27,739例，按23,652/2,042/2,045划分训练/验证/测试。指令生成用GPT-3的text-davinci-003以零样本方式完成，模板分正式指令50%、非正式聊天机器人30%、搜索引擎查询20%，并对30%子集加入长度控制模板。模型侧微调T5-XL、OPT-6.7B和LLaMA-7B，基线包括T0++、Tk-Instruct、Flan-T5、Alpaca-LLaMA-7B和OPT-30B；评测以METEOR为主，另报BLEU、ROUGE、self-BLEU，使用nucleus sampling p=0.9，并在LongForm-C测试集、食谱生成、ELI5、WritingPrompts、MMLU及MLSUM多语言新闻生成上评估。
- 学术贡献
- 论文在数据构建层面提出reverse instructions，将语料挖掘与LLM指令生成结合，材料称其为首个把语料与LLM结合以自动生成通用文本生成数据集的工作。它贡献了LongForm-C这一包含反向指令、结构化语料与NLP任务重组三来源的指令微调数据集，为长文本生成这一在BigBench和NIv2中占比极低的议题提供数据资源。模型层面，LongForm-T5-XL（3B）在LongForm-C各子任务上超过11B的T0++、Tk-Instruct和Flan-T5，LongForm-LLaMA-7B取得最佳结果；LongForm模型在域内相对METEOR提升超过63%、域外超过35%。论文还报告LongForm-C可提升MMLU语言理解表现，并在德语、西班牙语、法语、俄语新闻生成上优于先前模型，将指令微调数据构建的价值从英文NLG扩展到NLU和多语言生成。
- 存在局限
- 数据来源以C4和英文Wikipedia为主，RI部分仅限英语；C4虽经Reddit upvote和k-means缓解噪声与多样性问题，但upvote过滤可能使URL集中于活跃子版块，材料也承认这一点。指令生成依赖单一LLM（GPT-3 text-davinci-003）的零样本提示，未报告人工校验或指令正确性筛查，生成指令的质量与事实一致性缺少直接证据。评测指标以METEOR为主，材料虽称其与人类判断相关性更高，但也指出长文本生成评估仍是显著挑战；BLEU、ROUGE、self-BLEU置于附录。域外评估每个任务仅250例（共750例），多语言新闻生成每种语言仅100例，样本规模对结论稳健性支撑有限。实验叙述存在模型规模不一致：引言写LongForm-OPT-2.7B优于OPT-30B，而实验表和模型设置使用LongForm-OPT-6.7B，材料未解释这一差异。
- 进一步研究方向
- 可设计消融实验，比较正式、非正式、搜索引擎查询三类模板以及“Respond in D sentences/words”“Respond briefly/in detail”等长度模板对输出长度可控性、METEOR及其他指标的影响，以验证哪类模板驱动了性能提升。可引入人工评估与事实性核查，对reverse instructions生成的指令与LongForm-C输出做错误类型标注，区分语料噪声、指令不匹配和LLM幻觉，并检验过滤、重写或数据筛选机制能否降低这些错误。可将同一方法用于更多语料与非英语语料，参照材料提到的MURI用多语语料和翻译模型生成200种语言的指令数据，或参照CRAFT通过语料检索与LLM重述生成任务特定结构化数据，并比较不同LLM作为指令生成器的成本与质量。可扩大域外与多语言评测样本量，在食谱、ELI5、WritingPrompts、MMLU及MLSUM之外加入更多长文本任务，并报告统计显著性，以检验LongForm-C的泛化边界。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling