能力指令调优
Capability Instruction Tuning
Yi-Kai Zhang, De‐Chuan Zhan, Han-Jia Ye
Proceedings of the AAAI Conference on Artificial Intelligence · 2025-04-11
开放获取大模型与语言被引 4被引前 10%影响因子 ≈5.9
摘要
大型语言模型已展现出类人的指令遵循能力，尤其是参数规模超过1000亿的模型。一些体积更小、资源消耗较低的大型语言模型通过协同运作，能够应对大多数由大型模型擅长的指令任务。本研究旨在探索如何为每条指令匹配表现最优的模型，以实现更佳的整体性能。我们提出了一种新范式，通过整合模型能力表征、用户指令以及性能查询提示来构建能力指令，以此评估模型表现。为从能力指令中学习，我们设计了名为“基于能力测试的模型选择”（Model-SAT）的端到端框架，该框架会根据不同模型的擅长领域与薄弱环节生成正负样本。Model-SAT采用模型能力编码器，将模型表征扩展至轻量级大型语言模型。实验结果表明，Model-SAT能够准确识别候选模型的性能维度，并给出其处理各类指令的能力概率。此外，在部署阶段，新模型仅需不到20次样本推理，就能快速得出其在涵盖50个任务的aptitude test中的结果。在无需对候选模型进行推理且面对新模型发布的现实场景中，Model-SAT均能实现业界领先的模型路由效果。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文关注 LLM 指令遵循中的模型路由问题，提出为每条指令选择表现最佳的 LLM 以提升整体性能，并指出较小资源友好 LLM 的组合可覆盖大模型多数擅长指令。其核心论点是能力指令（capability instructions）可作为学习路由决策的载体，由模型能力表示、用户指令和性能询问提示构成。Model-SAT 端到端框架根据不同模型擅长与不擅长生成正负样本，并用模型能力编码器把模型表示扩展到轻量级 LLM。实验结论是 Model-SAT 能理解候选模型的性能维度并输出处理各类指令的能力概率，部署中新模型可在 50 个任务、每任务 20 shots 上快速推断 aptitude test 结果。最终主张是在无需候选推理和真实新模型发布场景中实现 state-of-the-art 模型路由。
- 研究方法
- 方法路径是构建能力指令，将模型能力表示、用户指令和性能询问提示组合以评估性能。引入 Model-SAT 端到端框架，依据不同模型表现良好或挣扎生成正负样本，学习能力指令。使用模型能力编码器，将模型表示扩展为轻量级 LLM。实验让 Model-SAT 理解候选模型性能维度并输出能力概率；部署时新模型在 50 tasks × 20 shots 上推断 aptitude test 结果。在无需候选推理和真实新模型发布场景中验证路由效果；材料中未明确具体数据集、候选模型池构成、训练细节与评价指标。
- 学术贡献
- 提出 capability instruction tuning 范式，把模型路由从候选推理转向基于能力指令的学习。提出 Model-SAT 端到端框架与模型能力编码器，将模型表示扩展到轻量级 LLM，属于方法创新。对 LLM 路由/模型选择子领域，提供输出候选模型处理指令能力概率的机制。对部署场景，支持新模型快速推断 aptitude test 结果，并在无需候选推理和真实新模型发布场景中实现 SOTA 路由。对资源友好小模型组合覆盖大模型擅长指令的问题域有直接价值。
- 存在局限
- 材料未明确候选模型池的规模、组成、参数范围与是否覆盖不同模型族，使路由结论的代表性无法判断。摘要未交代正负样本的判定标准、数量、平衡方式，以及模型能力表示、用户指令、性能询问提示的具体构造模板。未报告与哪些路由基线比较、评价指标是总体性能、路由准确率还是成本，以及是否给出统计显著性。50 个任务、每任务 20 shots 的选取依据与是否覆盖训练分布未说明，新模型发布场景的具体设置与频率也未明确。因缺少编码器与轻量级 LLM 的训练细节和消融结果，能力概率与真实性能之间的校准证据在材料中未明确提及。
- 进一步研究方向
- 做消融实验，分别移除模型能力表示、用户指令、性能询问提示，测量 aptitude 概率预测与路由性能变化。系统改变候选模型池的数量、参数规模与模型族，检验 Model-SAT 在候选池扩大时的路由扩展性与鲁棒性。改变任务数与 shots 数，例如增加任务或减少至少于 20 shots，检验新模型 aptitude 推断的样本效率与稳定性。在真实新模型发布场景中进行在线 A/B，比较 Model-SAT 与无路由、单一大模型及需候选推理路由的总体性能与成本。公开能力指令构造模板、正负样本标准、能力概率定义与评估协议，以支持复现并检验概率与真实任务成功率是否校准。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling