生成式表征指令调优
Generative Representational Instruction Tuning
Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela
arXiv (Cornell University) · 2024-02-15
开放获取大模型与语言检索增强与智能体被引 16影响因子 ≈0.2
摘要
所有基于文本的语言任务均可归为生成类或嵌入类。现有模型往往只能在某一类任务上表现优异。我们提出了生成式表征指令调优（GRIT）方法，通过指令区分任务类型，从而训练大型语言模型同时处理生成与嵌入两类任务。与其他开源模型相比，由此生成的GritLM 7B模型在大规模文本嵌入基准测试（MTEB）中创造了新的最优成绩，且在各类生成任务上的表现优于同规模的所有模型。进一步扩展规模后，GritLM 8x7B的性能超越了我们所测试的所有开源生成式语言模型，同时仍属于顶尖的嵌入模型之列。值得注意的是，研究发现GRIT的效果与仅用生成或嵌入数据训练的效果相当，因此无需牺牲性能即可实现两类任务的统一。GRIT带来的另一项优势是能将长文档的检索增强生成（RAG）速度提升超过60%，因为无需再使用独立的检索模型与生成模型。相关模型、代码等资源可在https://github.com/ContextualAI/gritlm免费获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出生成式表征指令微调（GRIT），将文本生成与文本嵌入统一在一个大语言模型中，并通过指令区分两类任务。其问题域是当前模型通常只擅长生成或嵌入之一，而把嵌入纳入生成范式又受高维度和精度要求的限制。GRIT结合生成指令微调与表征指令微调，使用不同损失函数与注意力形式，使同一模型输出文本或数值张量。GritLM 7B在MTEB的开放模型中达到新SOTA，并在7B规模内的生成任务上超过现有模型；GritLM 8x7B在作者尝试的开放生成语言模型中表现最好，同时仍属最佳嵌入模型之列。作者报告GRIT与仅生成或仅嵌入训练相匹配，统一二者无性能损失，并使长文档RAG推理加速超过60%。
- 研究方法
- 论文以Mistral 7B和Mixtral 8x7B为基座，在改编E5得到E5S并加入S2ORC、以及过滤特定prompt的Tülu 2指令数据上进行微调。嵌入任务采用对比目标与in-batch negatives，使用双向注意力与mean pooling，并仅对输入样本最终隐状态平均以形成表示。生成任务采用自回归语言建模目标、因果注意力和语言建模头，只对响应token计算损失；总损失为λRep LRep加λGen LGen，并支持嵌入样本数与生成样本数不同。实验在MTEB的56个主数据集以及MMLU、GSM8K、BBH、TyDi QA、HumanEval、Alpaca等生成任务上评测，同时设置embedding-only与generative-only变体。消融覆盖注意力与池化、基座模型、生成数据集、嵌入数据集、损失聚合和KTO对齐，并测试few-shot嵌入与rerank top 10。
- 学术贡献
- 在方法建构层面，论文提出GRIT，将此前分离的生成指令微调与表征指令微调整合到单一模型，并报告联合优化可匹配单独优化。在方法创新层面，论文引入双向注意力加mean pooling用于LLM嵌入、使in-batch negatives来自同一数据集、混合sample级与token级损失聚合，以及降低嵌入训练内存需求的技术。在模型与材料层面，论文发布GritLM 7B与GritLM 8x7B及代码，使用或构建MEDI2、E5S等数据变体，并公开模型与代码。对文本嵌入、检索增强生成和指令微调子领域而言，该工作表明同一模型可同时承担检索与生成，RAG不再必须依赖分离的检索与生成模型，长文档推理可加速超过60%。论文还报告预训练模型的生成性能比其嵌入性能更能预测微调后的嵌入性能，以及few-shot嵌入整体上未能提升表现。
- 存在局限
- GritLM 7B参数量为7B且嵌入维度为4096，其存储需求是BGE Large 1024维嵌入的4倍，运行成本也显著高于335M参数的BGE Large。GritLM 8x7B因算力限制将嵌入batch size从2048降至256，作者认为这导致其嵌入性能较GritLM 7B略有下降，说明大模型嵌入训练受资源约束明显。GRIT训练同时使用两个目标，每一步需对嵌入与生成数据做前向和反向传播，因此比生成指令微调需要更多finetuning compute。few-shot嵌入实验中，即使MEDI2训练数据约5%为few-shot嵌入样本，模型仍未学会有效利用示例，且多数数据集性能下降。KTO对齐阶段未继续嵌入训练，导致MTEB平均分略降（66.8到66.7，65.7到65.2），生成提升与嵌入保持之间存在权衡。生成评估大体沿用Ivison等人的设置，作者也指出Tülu 2可能已针对生成评估数据集调优，这使得生成结论的外推需谨慎。
- 进一步研究方向
- 可在KTO等对齐阶段继续嵌入训练，或设计专门面向嵌入性能的对齐方法并与KTO结合，检验能否同时保持MTEB与AlpacaEval提升。可将rerank的top-k从10继续扩大，并同步记录计算成本与各检索数据集指标，验证重排序增益的上限与代价。针对few-shot嵌入无效，可系统改变训练中few-shot样本比例、格式和任务类型，或在推理时设计嵌入任务专用in-context示例，检测是否能出现稳定提升。可在RAG长文档场景用实际检索-生成流水线，比较GritLM与分离检索/生成模型在时延、缓存和质量上的差异，验证超过60%加速的可复现性及适用边界。可在更大参数规模、非Transformer或不同基座上复现GRIT，并系统调节嵌入batch size、嵌入维度与池化策略，检验嵌入性能与存储、算力之间的权衡。可对MEDI、MEDI2、E5/E5S与Tülu2、UltraChat、OpenAssistant做交叉控制实验，分离数据构成、指令格式与评估重叠对嵌入和生成结果的贡献。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling