对比指令微调
Contrastive Instruction Tuning
Tianyi Yan, Fei Wang, James Y. Huang, Wenxuan Zhou, Fan Yin, Aram Galstyan, Wenpeng Yin, Muhao Chen
Findings of the Association for Computational Linguistics: ACL (Findings of ACL) · 2024-01-01
开放获取大模型与语言被引 3被引前 10%影响因子 ≈3.4
摘要
指令微调已被视为提升大型语言模型在未见任务上性能的有效途径。然而，当前的大型语言模型对未见指令的鲁棒性有限，当同一指令的表述形式或语言风格略有差异时，便会生成不一致的输出。这种现象反映出大型语言模型对文本变异的鲁棒性不足，且难以泛化到未见指令，进而可能引发可信度问题。据此，我们提出对比指令微调（COIN）方法，该方法旨在最大化语义等价指令-实例对之间的隐藏表征相似性，同时最小化语义不同指令-实例对之间的相似性。为落实这一方法，我们通过改写任务指令对现有的FLAN数据集进行了扩充。在PromptBench基准测试上的实验表明，COIN能使大型语言模型对字符、词汇、句子及语义层面存在变异的未见指令的鲁棒性平均提升2.5%。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文聚焦指令微调后大语言模型对未见指令的鲁棒性问题，指出模型在同一语义指令被轻微改写或改变语言风格时会产生不一致输出，进而带来可信性风险。其核心论点是：现有指令微调主要对齐给定指令—输入对的期望输出，未显式处理指令表达变化；应通过对比学习约束隐藏表示，使语义等价的指令—实例对表示相近、语义不同的表示相远。COIN 以改写指令构造正样本，以同一指令搭配不同输入和输出构造硬负样本，从而学习指令的语义不变性。材料报告在 PromptBench 上，COIN 对字符、词、句、语义四个层面变化的未见指令均提升鲁棒性，平均准确率提升 +2.5%。
- 研究方法
- 方法路径是将对比学习嵌入指令微调：对每条原始指令—实例—输出三元组，用未使用的预定义指令模板生成同义改写作为正样本，保持输入和输出不变；负样本取同一指令但搭配不同输入与输出的实例，作为硬负样本。训练数据来自 FLAN Collection 中 25 个具有确定性答案的数据集，采用轮转采样保证各数据集机会均等，并以 Alpaca 为基座模型，学习率 1×10^-4、批大小 64、截断长度 256、温度 τ=0.05、λ=1000，运行于 2 张 NVIDIA RTX A5000。评测采用 PromptBench 的 10 个 GLUE 数据集，每个任务在验证集超过 300 时采样 300 个指令—实例对，使用 6 条干净指令及字符级 DeepWordBug、词级 TextFooler、句级 CheckList 追加随机序列、语义级多语言改写扰动，报告平均准确率与标准差。分析部分还使用 UMAP 可视化解码器最后输出 token 的隐藏表示，并考察对比损失权重设置。
- 学术贡献
- 方法层面提出 COIN，将对比学习用于对齐语义等价但文本不同的指令—实例隐藏表示，并以同指令不同实例构造硬负样本，针对的是指令微调模型对语义不变指令变化的鲁棒性这一具体议题。材料层面扩充 FLAN Collection，形成包含 52k 条目和 104k 指令的对比指令数据集，并公开代码与数据。实证层面在 PromptBench 的字符、词、句、语义四类扰动上报告准确率提升与方差下降，其中词级扰动提升达 4.4%，最大组间性能差距由 6.1% 降至 3.6%。领域价值在于把指令微调的评测焦点从任务泛化部分转向同一任务下未见指令表达变化的鲁棒性，并为可信大语言模型的指令鲁棒性训练提供可复现实验路径。
- 存在局限
- 评测设置限定为训练中已见 GLUE 任务、仅指令文本未见，材料明确称此为排除任务泛化混杂因素的严格设置，因此未验证模型对未见任务的鲁棒性。评测样本为 10 个 GLUE 数据集、每任务至多 300 个指令—实例对和 6 条干净指令，材料说明这是受计算开销限制的采样子集，样本覆盖面有限。训练阶段仅使用指令改写构造正样本，而评测包含字符、词、句、语义四类扰动，训练与评测的扰动类型并不完全对应，材料未报告将各类扰动纳入训练后的对照结果。实验基座模型仅为 Alpaca，材料未明确报告其他大语言模型上的复现结果。负样本设计以同指令不同输入输出为核心，材料虽称普通负样本对比损失收敛快、提升较小，但未展示不同负样本策略的系统消融。
- 进一步研究方向
- 可将字符级、词级、句级和语义级扰动直接纳入对比指令微调的训练数据构造，在 PromptBench 上分别验证训练扰动类型与评测扰动类型匹配和不匹配时的准确率与方差变化。可在多个基座模型和更多任务集合上重复 COIN，并设置“仅见任务未见指令”与“未见任务且未见指令”两组评测，以分离指令鲁棒性与任务泛化。可设计负样本策略对照实验，比较普通负样本、同指令不同实例硬负样本及二者混合对准确率、标准差和表示相似度的影响。可利用隐藏表示相似度或探针任务追踪训练过程中语义等价指令表示对齐程度，并检验其与 PromptBench 准确率提升之间的对应关系。还可扩展多语言指令改写评测，材料已使用中文、法文、阿拉伯文、西班牙文、日文和韩文改写，可进一步检验跨语言语义不变指令下的鲁棒性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling