大型语言模型：综述
Large Language Models: A Survey
Shervin Minaee, Tomáš Mikolov, Nikzad, Narjes, Meysam Asgari-Chenaghlu, Richard Socher, Xavier Amatriain, Jianfeng Gao
arXiv (Cornell University) · 2024-02-09
开放获取大模型与语言被引 324影响因子 ≈0.2
摘要
自2022年11月ChatGPT发布以来，大型语言模型因其在各类自然语言任务中的出色表现而备受瞩目。正如缩放定律所预测的那样\cite{kaplan2020scaling,hoffmann2022training}，大型语言模型通过利用海量文本数据训练数十亿个模型参数，从而具备通用的语言理解与生成能力。尽管大型语言模型这一研究领域兴起时间较短，但已在多个方面迅速发展。本文梳理了若干最具代表性的大型语言模型，包括GPT、LLaMA、PaLM三大主流系列，分析了它们的特征、贡献与局限性。我们还概述了用于构建及增强大型语言模型的相关技术。随后，我们介绍了为大型语言模型训练、微调及评估而制备的常用数据集，梳理了广泛采用的大型语言模型评估指标，并对比了几种主流大型语言模型在一系列典型基准测试中的表现。最后，本文总结了当前存在的挑战与未来的研究方向。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该综述围绕大语言模型（LLMs）自2022年11月ChatGPT发布以来在广泛自然语言任务上的强表现展开，指出其通用语言理解与生成能力来自按缩放定律（scaling laws）在海量文本数据上训练数十亿参数。文章的核心对象是LLM研究领域，具体评述GPT、LLaMA、PaLM三个主流LLM家族及其他代表性模型，并讨论其特征、贡献与局限。它进一步把语言模型发展划分为统计语言模型、神经语言模型、预训练语言模型和LLM四个浪潮，强调LLM相较PLM具有更强的理解生成能力以及上下文学习、指令遵循、多步推理等涌现能力。文章还认为LLM可通过外部知识与工具增强，并作为通用AI代理或通用人工智能的基础构件，因而需要系统梳理构建、增强、数据集、评价指标与基准性能。
- 研究方法
- 该文采用综述/文献综合的方法，以已有模型、技术、数据集和基准报告为材料，而非开展新的控制实验。其材料构成包括GPT、LLaMA、PaLM三个LLM家族及CODEX、WebGPT、InstructGPT、ChatGPT、GPT-4等代表性模型，同时回溯BERT、RoBERTa、ALBERT、DeBERTa、ELECTRA、XLM、XLNet、UNILM、T5、mT5、MASS、BART等早期预训练语言模型。方法路径上，文章按四个浪潮组织语言模型演进史，并按编码器-only、解码器-only、编码器-解码器三类架构归纳早期PLM，再用表I汇总模型参数量、发布时间、是否开源、训练token与训练数据。对于LLM构建与使用，文章概述数据清洗、分词、位置编码、预训练、微调与指令调优、对齐、解码策略、提示设计、RAG、外部工具与LLM代理等技术。最后，文章梳理用于训练、微调与评估的数据集，列举常用评价指标，并在代表性基准上比较多个流行LLM的报告性能。
- 学术贡献
- 在理论/领域梳理层面，该综述把LLM置于从统计语言模型到神经语言模型、预训练语言模型再到LLM的连续谱系中，为理解LLM的涌现能力与规模扩张逻辑提供了阶段化框架。在模型谱系层面，它系统评述GPT、LLaMA、PaLM三个家族及CODEX、WebGPT、InstructGPT、ChatGPT、GPT-4等模型，对模型特征、贡献与局限进行对照，有助于LLM发展史与家族比较研究。在方法/技术梳理层面，它归纳构建与增强LLM的关键技术，包括预训练、微调、指令调优、RLHF、提示工程、RAG、外部工具调用与LLM代理，对LLM工程化与增强方向有直接参考价值。在评价层面，它调查训练、微调、评估数据集和常用指标，并在代表性基准上比较多个LLM性能，对LLM评测议题形成资料汇编。文章还提出更小更高效语言模型、后注意力架构、多模态模型、改进的使用与增强技术、安全与伦理/负责任AI等开放挑战，为后续研究划出问题清单。
- 存在局限
- 材料未明确说明文献检索的时间范围、纳入与排除标准以及综述是否遵循系统综述流程，因此模型、数据集与基准的选择可能带有非系统性。文章以GPT、LLaMA、PaLM三个家族为主线，虽提及其他代表性LLM，但材料未交代为何选取这些家族以及如何界定“最突出”模型，可能影响模型谱系的覆盖完整性。性能比较部分依赖已有基准上的报告结果，材料未说明是否统一了提示模板、解码策略、模型版本与评测环境，横向比较的可复现性与公平性未被交代。数据集与评价指标调查在摘录中只给出章节框架和少量类别，未呈现具体筛选依据、数据规模与指标适用边界。作者自身指出LLM领域以月或周为单位出现新发现、模型与技术，综述结论面临快速过时风险。
- 进一步研究方向
- 针对更小更高效语言模型，可设计同数据、同任务下的模型压缩、蒸馏、稀疏化与量化对照实验，验证参数规模、推理成本与任务表现之间的权衡。针对后注意力架构，可把结构化状态空间模型等非Transformer路线与Transformer在长上下文、推理效率和多任务泛化上做受控比较。针对多模态模型，可构建图像与文本输入、文本输出的统一评测，检验跨模态理解与生成能力。针对LLM使用与增强，可围绕RAG、外部工具调用、工具规划、任务分解、自我批评与自我改进建立可复现基准，测量代理在动态环境中的交互与纠错表现。针对安全与伦理/负责任AI，可建立覆盖真实性、毒性输出和安全性等维度的评测协议，比较RLHF等对齐方法的效果与副作用。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling