对比式指令微调
Contrastive Instruction Tuning
Yan, Tianyi Lorena, Wang Fei, James Y. Huang, Wenxuan Zhou, Fan Yin, Aram Galstyan, Wenpeng Yin, Muhao Chen
arXiv (Cornell University) · 2024-02-17
开放获取大模型与语言被引 1影响因子 ≈0.2
摘要
指令微调已被视为提升大型语言模型在未见任务上性能的有效途径。然而，当前的大型语言模型对未见指令的鲁棒性有限，当同一指令的表述形式或语言风格略有差异时，便会生成不一致的输出。这种现象反映出大型语言模型缺乏对文本变异的鲁棒性以及对未见指令的泛化能力，进而可能引发可信度问题。据此，我们提出对比式指令微调方法，该方法旨在最大化语义等价的指令-实例对之间的隐藏表征相似性，同时最小化语义不同的指令-实例对之间的相似性。为推进这一方法，我们通过对任务指令进行释义来扩充现有的FLAN数据集。在PromptBench基准测试上的实验表明，CoIN能使大型语言模型对字符、词汇、句子及语义层面存在变异的未见指令的鲁棒性平均提升2.5%。相关代码可在https://github.com/luka-group/CoIN获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文关注指令微调后大语言模型对未见指令的鲁棒性不足问题，具体表现为同一意图指令在措辞或语言风格轻微变化时，模型生成不一致输出并可能引发可信度问题。其提出 Contrastive Instruction Tuning（CoIN），核心是最大化语义等价 instruction-instance pairs 的隐表示相似度，同时最小化语义不同 pairs 的相似度。正样本由改写指令与相同实例输入输出构成，负样本采用同指令但不同实例输入输出的 hard negatives，以提供更具信息量的监督信号。在 PromptBench 上对 10 个 GLUE 数据集评估，CoIN 在 character、word、sentence、semantic 四层未见指令扰动下相较持续指令微调平均准确率提升 +2.5%，并降低响应方差。为支持该方法，论文增强 FLAN collection 并发布 52k entries、104k instructions 的对比指令数据集。
- 研究方法
- 训练数据来自 FLAN Collection 中 25 个确定性答案数据集，采用 round-robin 遍历训练集，正样本通过随机选择该条目未使用的预定义指令模板改写生成，负样本按同指令、不同输入输出策略从剩余数据中选取。基座模型为 Alpaca（由 LLaMA 在 52k Self-Instruct 数据集上指令微调），训练超参包括学习率 1e-4、batch size 64、cut-off length 256、温度 τ=0.05、λ=1000，在 2 张 NVIDIA RTX A5000 GPU 上运行。学习目标由标准交叉熵生成损失与对比损失组成，对比损失作用于解码器最后 token 隐状态的余弦相似度，并对对比损失权重设上限以平衡鲁棒性与生成能力。评估采用 PromptBench，覆盖 10 个 GLUE 任务，每个任务采样 300 个 instruction-instance pairs，使用 6 条 clean 指令，并分别用 DeepWordBug 做字符级扰动、TextFooler 做词级替换、CheckList 做句级随机序列附加、六种语言改写做语义级扰动。指标为平均准确率与标准差，并通过 UMAP 对 CoLA 数据在持续指令微调模型与 CoIN 模型中的最后输出 token 隐表示进行可视化比较。
- 学术贡献
- 方法层面提出 CoIN 这一对比指令微调方法，将对比学习用于对齐语义等价但文本不同的指令-实例对，并区分语义不同对，直接针对指令微调模型对未见指令变体的鲁棒性议题。数据层面增强 FLAN collection，构造并计划发布包含 52k entries 和 104k instructions 的对比指令数据集，为指令鲁棒性训练提供材料。实验层面在 PromptBench 的字符、词、句、语义四层扰动上验证 CoIN 相较持续指令微调平均准确率提升 +2.5%，并将最大跨组性能差距从 6.1% 降至 3.6%，显示对指令变体鲁棒性的改善。分析层面用 UMAP 展示 CoIN 使指令变体的隐表示更聚集，尤其字符、词、句级扰动表示更接近 clean 组，为表示对齐与鲁棒性提升建立可观察联系。该工作对指令微调鲁棒性、对比学习在 LLM 指令微调中的应用、以及 PromptBench 类鲁棒性评估议题均有价值。
- 存在局限
- 材料未设专门局限讨论；从实验设计看，训练数据仅覆盖 FLAN Collection 中 25 个确定性答案任务，评估仅覆盖 10 个 GLUE 任务，开放式生成、多轮对话等任务类型未纳入。评估每任务采样 300 个 instruction-instance pairs，且指令从预定义集合中选取，样本规模和任务范围限制了对整体鲁棒性增益的统计与外部效度。训练正样本仅通过预定义指令模板改写生成，而评估包含字符、词、句、语义四类扰动，训练与评估的扰动类型不完全一致，无法从材料判断该方法对其他未训练扰动类型的泛化边界。实验仅使用 Alpaca（LLaMA 指令微调）作为基座，未在材料中报告其他模型架构、参数规模或指令微调基座上的重复验证。生成能力保持主要依赖交叉熵损失与对比损失权重上限约束，材料未提供对原始生成质量、其他任务性能或开放输出的系统评估。
- 进一步研究方向
- 在 FLAN-T5、InstructGPT 等材料提及的指令微调模型及不同参数规模上复现 CoIN，使用相同增强 FLAN 数据与 PromptBench 评估，检验鲁棒性增益是否依赖 Alpaca/LLaMA 基座。将正样本构造从模板复述扩展到字符级、词级、句级扰动，并在评估中保留语义级改写，检验训练扰动类型与测试扰动类型匹配时四层鲁棒性增益是否进一步扩大。使用 PromptBench 全部预定义指令和完整验证集，而非每任务 300 样本，重新估计平均准确率与标准差，并报告按任务类别和扰动层级的置信区间。对对比损失权重 λ、温度 τ、最后 token 池化与其他池化方式做系统消融，结合 UMAP 表示距离，量化鲁棒性提升与生成能力损失之间的权衡边界。在 25 个 FLAN 数据集之外加入开放式生成、多语言和格式变化任务，评估 CoIN 对准确率、响应一致性、生成质量及用户意图区分能力的影响。比较同指令不同实例的 hard negative 与其他 near-OOD 构造，检验不同负样本策略对语义等价指令对齐和语义不同指令区分的作用。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling