基于指令损失函数的指令微调方法
Instruction Tuning With Loss Over Instructions
Zhengyan Shi, Adam X. Yang, Bin Wu, Laurence Aitchison, Emine Yılmaz, Aldo Lipani
neural information processing systems · 2024-01-01
摘要
指令微调在引导语言模型生成符合预期风格的输出方面发挥着关键作用。本研究提出了一种简单却高效的方法——指令建模（Instruction Modelling, IM），该方法通过针对指令与提示部分施加损失函数来训练语言模型，而非仅对输出部分进行约束。通过在21个不同类型的基准测试上的实验表明，在许多场景下，IM能够有效提升语言模型在自然语言处理任务（如MMLU、TruthfulQA和HumanEval）以及开放式生成基准测试（如MT-Bench和AlpacaEval）中的表现。尤为显著的是，在最优情况下，IM可使模型在AlpacaEval 1.0上的性能提升超过100%。我们确定了影响IM有效性的两个关键因素：其一为训练数据中指令长度与输出长度的比例；其二为训练样本的数量。研究发现，当训练数据包含篇幅较长的指令与简短的输出，或符合“表层对齐假说”（Superficial Alignment Hypothesis, SAH）——即使用少量训练样本开展指令微调时，IM的优势尤为明显。进一步分析印证了我们的假设：性能提升源于模型对指令微调数据集的过拟合程度降低。需要指出的是，我们提出的方法并非旨在取代现有的微调流程，而是旨在为语言模型的指令微调提供实用指导，尤其适用于资源受限的场景。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文提出 Instruction Modelling（IM），其核心是在指令微调中不仅对输出部分计算损失，也对指令与提示部分计算损失，并剔除提示模板 token。作者在21个基准上检验IM，认为其在多种场景下可同时提升NLP任务（如MMLU、TruthfulQA、HumanEval）与开放式生成基准（如MT-Bench、AlpacaEval）的表现，在AlpacaEval 1.0的最有利情形中提升超过100%。文章识别出影响IM效果的两个关键因素：训练数据中指令长度与输出长度的比值，以及训练样本数量。IM尤其适用于长指令搭配短输出的数据集，或在Superficial Alignment Hypothesis（SAH）下仅使用少量样本进行指令微调的场景。作者进一步论证，IM的收益可归因于减轻对指令微调数据集的过拟合。文章明确不将IM视为现有微调流程的替代方案，而是面向低资源场景的指令微调实践指导。
- 研究方法
- 该文以对比实验为主要路径，在7个指令微调数据集上比较Instruction Tuning（IT）与IM，数据集包括Stanford Alpaca、Dolly、Sharegpt、Code Alpaca、Science Literature、WizardLM、Tulu V2，并纳入LIMA、Less和Alpagasus等低资源或SAH子集。实验模型主要为LLAMA-2-7B-BASE，并扩展到LLAMA-2-13B-BASE与OPT-6.7B，同时以NEFTUNE作为对比基线。评价覆盖21个基准：18个传统NLP任务被归入理解与知识、多语言、常识推理、数学与代码推理、BBH、安全与有益性六类，开放式生成则使用MT-Bench、AlpacaEval 1.0和AlpacaEval 2.0，并采用LLM作为评判。IM的损失函数为对指令和输出 token 的负对数似然，但通过指示函数排除提示模板 token；IT则仅对输出 token 计算损失。因素分析方面，作者比较不同数据集的指令长度与输出长度比值，并从Tulu V2中按不同样本量采样、维持约10的指令输出长度比，报告线性拟合结果；机制分析则使用训练/测试损失分布、BLEU分数和跨epoch的18个NLP任务平均表现。
- 学术贡献
- 在方法层面，该文将指令微调的损失计算范围从输出部分扩展到指令与提示部分，提出不引入新超参数的IM方法，属于指令微调目标函数设计的创新。在实证层面，文章在21个基准上系统比较IM与IT及NEFTUNE，并报告AlpacaEval 1.0等开放式生成指标上的提升，为指令微调数据选择与低资源微调提供了可操作的实验证据。在机制层面，文章通过训练损失、测试损失、BLEU分数和跨epoch的NLP任务表现，将IM的效果解释为缓解对指令微调数据的过拟合，并讨论指令微调税。在领域层面，该文对指令微调、语言模型对齐和低资源监督微调等议题具有直接价值，尤其针对长指令短输出数据集和SAH小样本设定。文章还指出KL散度正则化不能有效解决该过拟合，且会损害模型遵循指令的能力，这一否定性发现同样构成其贡献的一部分。
- 存在局限
- IM的效果在不同数据集间差异明显，LIMA数据集上的增益较为有限，Tulu V2因指令与输出长度比约为0.5而受益较小，说明方法适用范围受数据形态约束。文章将IM定位为现有微调流程的补充而非替代，因此其结论不能直接推广为通用微调方案。开放式生成评价依赖MT-Bench、AlpacaEval 1.0和AlpacaEval 2.0的LLM评判，材料中未明确提及人工评估，评判偏差未得到直接检验。因素分析主要基于跨数据集的线性拟合以及从Tulu V2采样的实验，材料中未明确控制除指令输出长度比和样本数量外的其他数据集属性，因而两个关键因素与效果之间是否构成因果关系仍需更严格控制。过拟合机制的证据主要来自仅对输出部分计算的训练/测试损失、BLEU相似度和跨epoch的NLP任务表现，材料中未明确对指令损失与输出损失的相对权重进行系统消融。KL散度正则化被证明无效并损害指令遵循，但材料未进一步给出其他可替代的正则化方案比较。
- 进一步研究方向
- 可设计控制实验，在固定模型、样本量和数据来源的条件下系统操纵指令长度与输出长度比值，检验图2左侧线性关系是否具有因果性，并验证长指令短输出是否为IM有效的充分条件。可在多个指令微调数据集上按不同样本量分层采样，重复Tulu V2中固定长度比约10的做法，以确定IM在SAH低资源设定下的有效边界。可对指令损失与输出损失设置不同权重或分段加权，开展消融实验，检验统一负对数似然是否最优，并回应材料提到的指令损失权重研究。可将IM与NEFTUNE及其他正则化方法联合使用，在LLAMA-2-13B-BASE、OPT-6.7B等模型和更多语言、安全与推理任务上检验泛化性与组合效果。可引入人工评估并与LLM评判对照，重点检验AlpacaEval 2.0和MT-Bench上的胜率变化是否稳健。可沿输出长度与胜率的关系继续分析，考察IM在长输出生成任务中是否仍能保持低过拟合优势。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling