大语言模型的指令微调：综述
Instruction Tuning for Large Language Models: A Survey
Shengyu Zhang, Linfeng Dong, Xiaoya Li, Sen Zhang, Xiaofei Sun, Shuhe Wang, Jiwei Li, Runyi Hu, Tianwei Zhang, Fei Qing Wu, Guoyin Wang
arXiv (Cornell University) · 2023-08-21
摘要
本文对指令微调（Instruction Tuning, IT）这一快速发展领域的相关研究进行了系统梳理，指令微调也可称为监督式微调（Supervised Fine-Tuning, SFT）\footnote{除非另有说明，本文中监督式微调（SFT）与指令微调（IT）可互换使用。}。它是提升大语言模型（Large Language Models, LLMs）能力与可控性的关键技术。指令微调是指利用包含\textsc{指令-输出}配对的数据集，以监督方式对大语言模型进行进一步训练，从而弥合大语言模型原有的下一个词预测目标与用户期望模型遵循人类指令的需求之间的差距。本研究对相关文献展开了系统性回顾，涵盖SFT的通用方法、SFT数据集的构建、SFT模型的训练，以及其在不同模态、领域和应用中的实践情况，同时分析了影响SFT效果的各项因素（如指令输出的生成质量、指令数据集的规模等）。此外，本文还梳理了SFT存在的潜在缺陷及相关批评意见，指出了现有策略的不足，并提出了若干具有潜力的研究方向。项目页面：github.com/xiaoya-li/Instruction-Tuning-Survey
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文以指令微调（instruction tuning, IT，亦称监督微调 SFT）为对象，将其界定为在 (INSTRUCTION, OUTPUT) 配对数据上对大型语言模型进行的有监督再训练，其功能是弥合 LLM 的下一词预测目标与用户希望模型「有用且安全地遵循指令」这一目标之间的错位。论文给出的收益包含三点：对齐两类目标；通过指令约束模型输出、为人类干预模型行为提供通道，使行为更可控与可预测；计算开销低，可在不进行大规模重训或架构改动的前提下快速适配特定领域。论文同时列出三类挑战：覆盖目标行为的高质量指令难以构筑，现有指令数据集在数量、多样性与创造性上均受限；SFT 主要改善训练数据中被大量支持的任务（Gudibande 等）；SFT 可能只捕获表层模式与风格（如输出格式）而未理解与习得任务本身（Kung 与 Peng）。论文把这种「可控性收益」与「泛化性质疑」之间的张力作为组织线索，并在第 9 节将 SFT 与 RLHF、DPO、GRPO 等强化学习路线并置比较。作者自陈其问题域设定为：既有 LLM 综述多集中于预训练方法、推理能力与下游应用，鲜有专门讨论指令微调者，本综述意在填补这一空白。
- 研究方法
- 本文为系统性文献综述，不含自建实验；全文按九个专题组织：一般方法（第 2 节）、数据集构建（第 3 节）、代表性指令微调模型（第 4 节）、跨模态技术（图像、语音、视频）与数据集（第 5 节）、领域与应用适配（第 6 节）、效率优化（第 7 节）、评估与批评（第 8 节）、与强化学习方法的比较（第 9 节）。在方法层面，论文归纳出两条指令数据构建路径：一是用模板将既有标注 NLP 数据集的文本—标签对转写为 (instruction, output) 对（如 Flan 2021、P3），二是用 GPT-3.5-Turbo、GPT-4 等生成输出，指令来自人工收集或由少量手写种子指令经 LLM 扩展（如 InstructWild、Self-Instruct），多轮对话数据则由 LLM 自博弈扮演用户与助手生成。在语料层面，论文将数据集分为人工构建、经蒸馏的合成数据、经自改进的合成数据三类，并逐一给出个案构成：Natural Instructions（193K 实例、61 项任务、指令含 7 个组件）、P3（170 个英文 NLP 数据集、2,052 条提示、配套 PromptSource 工具）、xP3（46 种语言、16 项任务）、Flan 2021（62 个 NLP 基准）、Super-Natural Instructions（1,616 项任务、5M 实例、76 种任务类型、55 种语言）、LIMA（1K 训练/300 测试，训练集 75% 取自 Stack Exchange、wikiHow、Pushshift Reddit，20% 作者撰写，5% 取自 Super-Natural Instructions）、Dolly（15,000 条、7 类任务）、OpenAssistant Conversations（161,443 条消息、66,497 棵对话树、35 种语言、461,292 条人工质量评分，经五步流水线与对话树状态机构建）。蒸馏路径以 Alpaca（用 GPT-3 生成的 52K 数据微调 LLaMA-7B）、WizardLM/Evol-Instruct（五级提问提示体系加人工扩展主题）、Orca 与 Orca-2（含「let's think step-by-step」等推理指令）以及 Baize 的自聊提示为案例。训练环节被描述为标准的下游全监督微调：给定指令与输入，按序预测输出中的每个 token。
- 学术贡献
- 在材料整理层面，本文据其自述首次对 LLM 指令微调文献做系统梳理，填补既有综述只覆盖预训练方法、推理能力与下游应用而少及 IT 的空白，并附项目页面与附录 A 汇总数据集。在分类框架层面，论文提出并贯彻「人工构建／蒸馏合成／自改进合成」的数据集三分法，以及覆盖方法、数据、模型、多模态、领域适配、效率、评估、与 RL 对照的九专题结构。在议题层面，论文把针对 SFT 的三项批评（仅在训练集充分支持的任务上提升、只捕捉表层模式与风格、指令遵循与意外响应处理尚未解决）与其对应的改进努力并置讨论，而非仅罗列正面结果。在定位层面，第 9 节把 SFT 置于 RLHF、DPO、GRPO 等后训练路线的比较框架中，为理解各技术的分工提供坐标；对数学、代码等复杂推理任务，论文另单列多步推理数据集的构建方式。
- 存在局限
- 作为综述，本文不产生新实验，材料中未提及任何自建基准评测、对照实验或对既有数据的再分析，因此对摘要所称「影响 SFT 结果的因素」（如指令输出生成方式、指令数据集规模）仅作文献转述，未给出量化的效应综合。选材标准未明确：摘要与第 4 节称讨论「代表性」数据集与模型，但材料中未说明纳入与排除标准、检索式及文献覆盖的时间窗（仅标注第 6 版更新于 2025 年 8 月 11 日），覆盖面与遗漏无法判断。数据集描述的颗粒度不均，部分给出完整统计（如 Super-Natural Instructions 的 1,616 项任务、5M 实例），部分只描述构建流程，缺少任务数、规模、语言、标注成本等可供横向比较的统一字段。论文转述的「SFT 只学到表层风格」与「SFT 通过指令约束使行为更可控」两项论断之间存在张力，材料中未提及论文给出判别二者的实验证据或裁决性论证。材料亦未提及不同模态（图像、语音、视频）与不同领域适配之间在评测协议上如何保证可比。
- 进一步研究方向
- 针对「仅在训练集充分支持的任务上提升」这一批评，可做控制实验：固定基座模型与训练步数，系统改变指令数据的领域覆盖与任务配比，在留出任务上测试域外表现，检验泛化是否随指令数量、多样性与创造性的提升而改善。针对「表层模式与风格」的质疑，可构造格式与任务内容解耦的评测集（同一格式承载不同任务、同一任务变换多种输出格式），观察性能变化是否由格式驱动，据此给出「任务理解」的可操作指标。围绕论文自陈的开放问题「改善指令遵循与处理意外模型响应」，可构建含对抗性、歧义与越界指令的探测集，按第 9 节的比较框架测量 SFT 与 RLHF、DPO、GRPO 在拒答、澄清与修正行为上的差异。沿第 5 节梳理的图像、语音、视频 IT 数据谱系，可检验单模态 IT 获得的指令遵循能力向其他模态迁移的条件。针对第 7 节汇集的高效微调方案，可在同一基座与同一评测协议下做成本—效果对照，量化其相对全参数 SFT 的性能损失。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling