LESS：面向定向指令微调的具影响力数据选择方法
LESS: Selecting Influential Data for Targeted Instruction Tuning
Mengzhou Xia, Sadhika Malladi, Suchin Gururangan, Sanjeev Arora, Danqi Chen
arXiv (Cornell University) · 2024-02-06
开放获取大模型与语言被引 103被引前 50%影响因子 ≈1.1
摘要
指令微调已释放大语言模型（LLMs）的强大能力，有效利用组合数据集开发通用聊天机器人。然而，现实应用往往需要特定技能组合（例如推理）。核心挑战在于从这些大规模数据集中识别最相关数据，以有效发展特定能力——我们将这一场景定义为定向指令微调。我们提出LESS，一种考虑优化器且实际高效的算法，用于有效估计数据影响力，并针对指令数据选择执行低秩梯度相似性搜索。关键在于，LESS对现有影响力公式进行了适配，使其可兼容Adam优化器与可变长度指令数据。LESS首先基于低维梯度特征构建高度可复用、可迁移的梯度数据存储库，随后根据样本与体现特定能力的少样本示例的相似性进行选择。实验表明，基于LESS筛选出的5%数据进行训练，在多种下游任务上往往能超越基于完整数据集训练的性能。此外，所选数据具有高度可迁移性：小型模型可用于为大型模型及不同系列模型筛选有用数据。我们的定性分析显示，该方法超越了表层形式线索，能够识别体现目标下游应用所需推理技能的数据。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将问题界定为 targeted instruction tuning：当仅有少量体现特定能力的示例时，如何从大规模指令微调数据中选出与目标能力相关的训练数据。核心论点是应优先选择能够直接降低目标验证集损失的训练数据，而不是依赖语言、主题等表面形式线索。作者提出 LESS，以优化器感知的数据影响估计和低秩梯度相似度搜索来完成指令数据选择，并适配 Adam 优化器与变长指令数据。其支撑性论断包括：使用 LESS 选出的 5% 数据在多个下游任务上常优于全量数据训练；小模型选出的数据可迁移到更大模型和不同模型族；定性分析显示所选数据体现目标应用所需的推理技能。
- 研究方法
- 方法路径是基于梯度影响估计的数据选择算法：先在完整数据中随机抽取 5% 子集进行 4 个 epoch 的 LoRA warmup 训练并保存每个 epoch 的检查点，再计算 LoRA 梯度对应的 Adam 更新项，并通过随机投影压缩为 8192 维梯度特征，构建可复用的梯度 datastore。对每个验证子任务的 few-shot 示例计算平均梯度特征，按 InfAdam 的余弦相似度在各检查点上聚合，并对多个验证子任务取最大影响分数，选出得分最高的 5% 训练数据。最终目标模型可用 LoRA 或全参数微调训练；在 LESS-T 设置中，选择模型与目标模型可以不同。实验在 MMLU、TYDIQA、BBH 三个数据集上展开，使用 LLAMA-2-7B、LLAMA-2-13B、MISTRAL-7B，并与随机选择、BM25、DSIR、RDS 等基线比较，报告三个随机种子的平均性能和标准差。材料中未明确提及除上述数据集、模型与基线之外的其他样本构成。
- 学术贡献
- 理论建构层面，论文将经典影响公式扩展到 Adam 优化器，并用余弦相似度和梯度归一化处理变长指令数据的序列级梯度异常，给出 Adam Influence 的定义。方法创新层面，LESS 结合 LoRA、随机投影和可复用梯度 datastore，把高维梯度影响计算转化为低维特征相似度搜索，降低了指令数据选择的计算与存储成本。材料发掘与实证层面，论文在约 270K 指令数据上验证了 5% 选择比例常优于全量训练，并展示小模型选择的数据可迁移到更大模型和不同模型族。领域拓展层面，该工作对指令微调的数据选择子领域有直接价值，其定性分析指出 LESS 能超越语言或主题等表面形式线索，选出体现目标推理技能的数据。
- 存在局限
- 数据选择在序列级进行而非 token 级，材料明确说明 token 级影响估计因需计算 token 损失向量对模型参数的梯度而极其昂贵，这限制了对序列内关键 token 的识别。序列级平均梯度范数与补全长度负相关，会使影响估计偏向较短序列，LESS 仅以梯度归一化和余弦相似度缓解该问题，材料将深入分析留待未来工作。数据选择存在循环性：检查点依赖已选数据，作者用随机 5% 数据、4 个 epoch 的 warmup 训练绕开该问题，但材料未明确提及对 warmup 规模与轮数的系统理论保证。选择比例固定为 5%，材料中未明确提及对最优选择阈值进行系统实验，且正文指出被丢弃的 95% 数据中仍可能包含有用数据。评估覆盖三个数据集和三种模型，定性分析用于说明所选数据的推理技能类型，材料中未明确提及更大规模任务类型或更广泛模型族的验证。
- 进一步研究方向
- 可在 BBH 等多子任务验证集上比较 token 级、片段级与序列级影响估计，并设计显式的长度去偏归一化，检验其是否在相同 5% 预算下优于现有序列级余弦相似度。可系统扫描选择比例（如 1%、5%、10%、20%）以及 warmup 数据比例和 epoch 数，验证 5% 是否为稳定最优阈值，并评估被丢弃数据中高分边缘样本的再利用价值。可测量选择模型与目标模型在同一候选数据上的梯度内积一致性，识别小模型为不同模型族选择数据时失效的条件，从而给出 LESS-T 的适用边界。可改变每个验证子任务的 few-shot 示例数量，并比较子任务分数取最大值与取平均对选择稳定性和下游性能的影响。可将定性分析中的推理技能类型编码为人工或自动标签，统计所选数据与目标任务的技能分布匹配度，以检验 LESS 超越表面形式线索的机制。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling