混合专家语言模型的快速推理与参数卸载技术
Fast Inference of Mixture-of-Experts Language Models with Offloading
Artyom Eliseev, Mazur, Denis
arXiv (Cornell University) · 2023-12-28
开放获取高效训练与推理大模型与语言被引 11影响因子 ≈0.2
摘要
随着大型语言模型（LLMs）的广泛应用，众多深度学习从业者都在探寻更高效的模型运行策略。其中一种策略便是采用稀疏的混合专家（MoE）架构——这类架构中仅有部分模型层会对特定输入生效。这一特性使得基于MoE的语言模型生成词元的速度快于稠密模型，但也会因包含多个专家模块而导致模型规模增大。遗憾的是，这使得最先进的MoE语言模型若无高端GPU便难以运行。本研究聚焦于在加速器内存有限的消费级硬件上运行大型MoE语言模型的问题，我们在现有参数卸载算法的基础上，利用MoE语言模型的内在特性提出了一种全新的加速卸载策略。借助该策略，我们能够在台式机硬件以及谷歌Colab免费版实例上运行采用混合量化的Mixtral-8x7B模型。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文研究在GPU显存受限的消费级硬件上运行大型稀疏MoE语言模型，以Mixtral-8x7B-Instruct为具体对象，目标是实现交互式令牌生成。其核心论点是，MoE LLM的专家访问存在可利用规律：相邻令牌会复用部分专家，且浅层隐藏状态已包含后续层所需专家的信息。据此，论文提出MoE专用参数卸载策略，用LRU缓存保留最近使用的专家以减少GPU与RAM通信，并用推测式专家加载把专家读取与当前层计算重叠。论文进一步结合混合量化，将专家层压到更低比特而保持非专家层较高比特，从而在桌面硬件和免费Google Colab实例上运行Mixtral-8x7B。实验显示完整算法在T4、RTX 3060、RTX 3080 Mobile等设备上达到2-4 tokens/s，显著高于朴素卸载。
- 研究方法
- 论文以Mixtral-8x7B和Mixtral-8x7B-Instruct为对象，在OpenAssistant对话中记录专家激活模式，测量不同LRU缓存大小k=1、2、3、4下的缓存命中率或专家召回率。推测式加载方面，论文用当前层隐藏状态套用下一层门控函数来预测下一层专家，测量预取1、2、3个专家以及超前1、2、10层时的预测召回率。量化实验采用HQQ，在共享注意力层和专家层分别设置FP16、4-bit、3-bit、2-bit及不同组大小，测WikiText2困惑度、C4困惑度和5-shot MMLU准确率。端到端基准在T4、RTX 3060、RTX 3080 Mobile、A100-80GB上进行，batch size=1，按预测概率采样，比较完整算法、无专家预加载、无LRU和预加载、朴素卸载的tokens/s。
- 学术贡献
- 在方法层面，论文提出面向MoE的卸载算法，将LRU专家缓存与基于残差隐藏状态的推测式预取结合，针对MoE门控即时选择专家导致难以预取的问题。在经验层面，论文刻画了Mixtral-8x7B的专家局部性、缓存命中率和预取召回率，并区分专家层与非专家层的量化敏感性，指出专家占46.7B参数中的45.1B（96.6%），适合更低比特而注意力层保持较高比特。在系统实现层面，论文给出连续内存缓冲、pinned memory、异步预取缓冲等设计，并开放源代码，使消费级GPU和免费Colab可运行Mixtral-8x7B-Instruct。这些工作对高效LLM推理、参数卸载和MoE模型低资源部署子领域有直接方法贡献。
- 存在局限
- 缓存替换策略仅采用统一k值的LRU，未考虑专家激活频率、各MoE层不同缓存容量或专家激活序列模式。推测式加载依赖Transformer残差结构，用前一层隐藏状态估计下一层隐藏状态，只验证1、2、10层超前和预取1-3个专家，误判时仍需回退加载。量化实验只采用HQQ，虽提到GPTQ或AWQ可能得到相似结论，但未给出对比，且sub-1-bit量化在Mixtral-8x7B上造成显著困惑度损失。端到端速度评估仅覆盖Mixtral-8x7B-Instruct、batch size=1、OpenAssistant对话和四种硬件，材料中未明确提及对其他MoE模型、更大批量或不同任务准确率的系统评估。
- 进一步研究方向
- 可在相同硬件上比较LRU与频率感知、层自适应缓存策略，以专家命中率和tokens/s验证能否超过k=2或k=4的LRU。可扩展推测式加载的预测器，例如利用多层隐藏状态或学习型预测器，系统测量不同超前层数、预取专家数和PCIe带宽下的召回率与延迟收益。可将GPTQ、AWQ等量化算法与所提卸载流程组合，在Mixtral-8x7B和Switch-c-2048上测WikiText2、C4、MMLU及端到端生成，检验混合量化结论是否稳健。还可针对batch size>1、非交互式推理或其他MoE LLM进行基准测试，考察卸载策略在批量场景和不同专家规模下的扩展性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Advanced Neural Network Applications