无需指令微调的指令遵循
Instruction Following without Instruction Tuning
John Hewitt, Nelson F. Liu, Percy Liang, Christopher D. Manning
arXiv (Cornell University) · 2024-09-21
开放获取大模型与语言被引 4影响因子 ≈0.2
摘要
指令微调通常指利用指令-响应配对数据对语言模型进行微调。我们发现有两种相较于指令微调而言效果较弱、却仍能实现指令遵循的适配方式，我们将其称为隐性指令微调。我们首先发现指令-响应配对并非必需：仅用响应数据训练模型，无需对应的指令信息，同样能实现指令遵循；这表明预训练模型本身具备指令-响应映射关系，只需引导模型学习期望的响应分布即可激活这种能力。但随后我们发现，甚至无需引导模型学习期望的响应分布：即便用诗歌这类小众领域的数据进行指令-响应训练，模型仍会展现出生成食谱等跨领域的指令遵循行为；尤其是当测试指令与微调领域所用指令差异较大时，模型的输出也不会遵循微调领域的风格特征。为初步阐释隐性指令微调的机制，我们假设对语言模型分布做极简单的调整便能实现指令遵循；我们通过手工编写基于规则的语言模型来验证这一假设，将该模型与预训练模型结合构成专家乘积模型后，确实能实现指令遵循；这些规则包括逐步提升序列终止的概率、惩罚重复内容，以及均匀调整15个词的概率值。总而言之，并非刻意设计为用于实现指令遵循的适配方式，也能隐性地达成这一效果。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文提出“隐含指令微调”（implicit instruction tuning）概念，指出并非只有指令-响应对微调才能产生指令遵循行为。作者报告两种在监督信号上弱于常规指令微调的适应方式仍可产生指令遵循：仅对响应做微调的 response tuning，以及在诗歌、代码、数学等窄域数据上的 single-task finetuning。其核心论断是，预训练模型可能已经具备指令-响应的映射，但理想响应的概率过低；response tuning 通过抬高期望响应分布将其显露出来。进一步地，窄域微调也能在与其领域差异很大的指令上产生广泛指令遵循，说明连期望响应分布本身也不是必要条件。作者据此假设，对语言模型条件分布做一些非常简单的改动即可产生指令遵循，并用规则式 product-of-experts 支持该假设。
- 研究方法
- 实验使用 Llama-2-7B 与 OLMo-7B-Feb2024 作为基座，采用 Tulu 格式 BOS<|user|>{instruction}<|assistant|>{response}EOS。response tuning 将指令串置为空串，仅优化 -log pθ(response|empty string)，训练集为 LIMA 的 1,030 条样本。评估采用 AlpacaEval 的长度控制头对头胜率、以 LLM-as-a-judge 比较各模型与同规模指令微调模型，训练轮数扫 5、7、10、15、20，超参数选择基于作者构建的验证集（部分手写、部分 GPT-4 生成，对抗 GPT-3.5-turbo）。single-task finetuning 在五个文本到文本数据集上进行：MBPP（374 条英文到 Python）、GSM（1000 条数学应用题与推导）、Recipes（1000 条食谱）、Poetry（571 首诗）、Chess（1000 盘 PGN 棋局）。规则式实验则手写三条规则——缓慢提高序列结束概率、惩罚 token 重复、均匀修改 15 个词的似然——并与预训练模型做 product-of-experts。另在 Alpaca 训练集上计算 response ranking capability。
- 学术贡献
- 在理论层面，论文提出“隐含指令微调”这一分类，把 response tuning 与 single-task finetuning 统一为未经设计却产生指令遵循的适应形式。在实证层面，它给出具体胜率：response-tuned Llama-2-7B 对指令微调模型胜率 43.3%（基座 2.4%），OLMo 为 43.7%（基座 4.7%）；single-task finetuning 在 GSM、Poetry、Recipes、MBPP 等上取得 10.4%–30.3% 的胜率；规则式 product-of-experts 对 Llama-2-7B 的胜率为 24.4%。在方法层面，它提出 response ranking capability，并报告预训练模型在 Alpaca 训练集上以 74.3%–80.4% 的比例把某指令的正确响应排在随机其他指令的期望响应之上，与指令微调模型相近。在领域层面，它对指令微调消融研究与分布外泛化讨论作出推进，说明窄域适配可能在不同于微调领域的指令上产生通用指令遵循。论文还公开代码与数据，并提供作者构建的验证集。
- 存在局限
- 预训练数据无法完全审计：作者承认 Llama-2-7B 不能保证未经过指令微调，OLMo-7B-Feb2024 虽未故意加入指令微调数据但能力较弱，因此隐含指令遵循可能在部分上来自预训练阶段已存在的指令数据。指令遵循行为在文中被承认是连续谱，没有单一边界；主评估依赖 AlpacaEval 的 LLM-as-a-judge 长度控制胜率，胜率差异不能直接等同于指令遵循质量的完整刻画。single-task finetuning 的数据集规模偏小且领域狭窄（MBPP 374、Poetry 571、GSM/Recipes/Chess 各 1000），五种数据只覆盖有限文本到文本行为，样本代表性受限。规则式解释只报告了一个手写 product-of-experts 配置与 Llama-2-7B 的 24.4% 胜率，材料未明确给出 OLMo 或其他基座上的规则式适配结果，也未证明该规则组合与参数微调在机制上等价。response ranking capability 在 Alpaca 训练集上计算，材料未明确其在不同指令分布、语言或模型规模下的稳定性；超参数选择与评估均围绕 AlpacaEval 胜率，可能引入对特定评判框架的适配。
- 进一步研究方向
- 在预训练数据可审计的模型上重复 response tuning 与 single-task finetuning，控制预训练是否包含指令数据，检验隐含指令遵循效应是否独立于预训练泄露。对规则式适配器做逐条消融：分别移除递增 EOS 概率、重复惩罚、均匀修改 15 词似然三条规则，并在 OLMo-7B-Feb2024 上复现，测量 AlpacaEval 胜率变化，以确定三条规则的必要性与充分性。系统变动单任务数据规模、领域相似度与指令类型，在 MBPP、GSM、Recipes、Poetry、Chess 五类数据上拟合训练样本量与跨域胜率、风格 adherence 的关系，寻找触发隐含指令遵循的阈值。将 response ranking capability 扩展为跨模型、跨数据集、跨指令类型的测量，考察其与 AlpacaEval 胜率及实际生成质量的相关性，并比较预训练、response-tuned、instruction-tuned 三者的排序差异。把规则式 product-of-experts 引起的分布变化与微调后的实际 logits 变化对齐，测量 EOS、重复惩罚和特定 token 概率在参数微调中的对应量，以验证“简单分布改动即可产生指令遵循”的假设。采用人工评判与多套指令集替代单一 AlpacaEval 胜率，检验隐含指令遵循在事实性、安全性、长文本等维度上的表现。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling