LongCat-Audio-Codec：面向语音大语言模型设计的音频分词器与反分词器方案
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
Xiaohan Zhao, Hongyu Xiang, Ye, Shengze, Li, Song, Zhengkun Tian, Guanyu Chen, Ding, Ke, Guanglu Wan
arXiv (Cornell University) · 2025-10-17
开放获取大模型与语言语音与音频被引前 50%影响因子 ≈1.1
摘要
本文提出LongCat-Audio-Codec，一种面向工业级端到端语音大语言模型设计的音频分词器与反分词器方案。通过采用解耦模型架构与多阶段训练策略，LongCat-Audio-Codec具备稳健的语义建模能力、灵活的声学特征提取能力以及低延迟流式合成能力。该方案以16.67 Hz的超低帧率对语音进行编码，最低码率为0.43 kbps，最高码率为0.87 kbps。评估结果表明，LongCat-Audio-Codec具备较强的语音可懂度，能够在低码率下合成高质量语音，从而有效平衡编码效率与解码质量。LongCat-Audio-Codec的推理代码与模型检查点可在以下地址获取：https://github.com/meituan-longcat/LongCat-Audio-Codec。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出LongCat-Audio-Codec，一套面向工业级端到端语音大语言模型的音频tokenizer与detokenizer方案，其核心主张是通过解耦的语义-声学架构与多阶段训练，在超低帧率16.67 Hz、0.43—0.87 kbps码率下同时保持语音可懂度与合成质量。材料将纯声学token在语音续写任务中的不足与语义token丢失声学细节并置，作为语义-声学双路径tokenization的依据。支撑性论断包括：语义编码宜限制在单码本，声学信息采用残差码本灵活配置；码本数量与码本大小需在自回归上下文容量、推理复杂度与重建保真之间取平衡；解码器需同时接收语义latent与声学latent，且重建更依赖声学成分。研究对象是Speech LLM中的离散语音token表示与波形重建问题，关键概念涉及semantic tokens、acoustic tokens、semantic distillation、AGRVQ、TMUL与streaming decoding。
- 研究方法
- 方法路径为架构设计、分阶段训练与多任务客观评估的组合：tokenizer采用卷积与Transformer结合的语义编码器、修改自DAC且同帧率的声学编码器，以及自适应分组残差向量量化AGRVQ；detokenizer采用LSTM、卷积层与因果卷积转置层，支持训练-推理一致的流式解码，look-ahead为3帧即180 ms。语义编码器先在内部语音数据上用BEST-RQ无监督预训练，再以CTC损失做中英文ASR有监督微调，约500M参数，并以fbank特征经两层Conv2d转为60 ms帧后输入Transformer，比较不同隐藏层K-means离散化结果。声学部分采用多阶段训练：Stage1使用约50万小时16 kHz音频，先mel损失后启判别器；Stage2冻结编码器与量化器，仅训练150M解码器，数据由约1000小时内部高质量录音与25万小时生成增强模型处理数据构成，并完成16k到24k采样率转换；Stage3为面向有限说话人的可选SFT。评估在AISHELL-1、LibriSpeech、VoxCeleb1、AudioSet、IEMOCAP上做ASR、SID、SED、ER，Stage1在LibriTTS test-B上以WER、GPE、PESQ、STOI、SECS评估，TMUL在内部数据集比较train-1-use-1与train-3-use-1并报告STOI、MR-STFT、MR-MEL。
- 学术贡献
- 在方法创新层面，论文提出解耦语义-声学tokenizer架构，以卷积与Transformer组合分别面向低频语义特征和高频声学特征，并支持按任务灵活配置码本方案。在训练策略层面，材料验证多阶段训练是实现低码率与高质量并存的关键路径，且使各模块可跨场景复用；TMUL实验表明从预训练M码本中选取N码本较直接训练N码本获得更低平均声学误差。在架构设计层面，流式detokenizer以3帧前瞻和训练-推理一致性避免扩散式解码器所需额外mask设计，并在计算复杂度上呈现优势；AGRVQ则针对大码本训练稳定性与流式解码重建质量。上述贡献对Speech LLM的离散语音tokenization、低码率神经语音编解码与流式语音重建子领域具有直接价值。
- 存在局限
- 材料自述Stage1的模型设计与训练策略未针对重建指标优化，因此其WER、GPE、PESQ、STOI、SECS结果不能直接代表最终低码率合成质量，而摘录未给出Stage2与Stage3在公开测试集上的完整客观指标，论证链条在最终系统级重建评估上不完整。语义tokenizer评估虽覆盖ASR、SID、SED、ER，但作者明确因声学编码器引入更多声学细节而更关注语音识别结果，这可能使语义码本与隐藏层选择偏向ASR任务，对SED、ER等非ASR语义覆盖的证据较弱。Stage2训练数据混合约1000小时真实录制与25万小时生成增强模型处理数据，材料未明确报告二者比例消融，解码器“自修复”能力的数据来源与泛化边界未被分离。TMUL比较在内部数据集上完成，且作者指出该策略可能使少数音频识别错误率上升，说明其存在样本与任务依赖，材料未给出跨公开集的外部验证。评估以WER、PESQ、STOI、SECS等客观指标为主，材料中未明确提及大规模主观听感测试或跨语言、跨领域鲁棒性测试；解码器更大参数仅提升重建而未显著提升生成质量的结论也缺少生成质量系统评估细节。
- 进一步研究方向
- 可在AISHELL-1、LibriSpeech、VoxCeleb1、AudioSet、IEMOCAP与LibriTTS test-B组成的统一协议下，对解耦语义-声学codec、纯声学codec与语义蒸馏codec做同数据、同码率消融，验证0.43与0.87 kbps下ASR、SID、SED、ER及重建指标的权衡边界。可固定Stage2中真实录制与生成增强数据的配比，设置仅真实、混合与仅增强三组，分别测WER、GPE、PESQ、STOI、SECS及生成质量，定位解码器自修复能力的来源。针对TMUL少数识别错误率上升，可设计按残差能量或码本使用频率选择N码本的策略，与均匀选取在内部集和公开集上比较STOI、MR-STFT、MR-MEL及ASR错误率，检验选择准则是否降低退化。可对流式解码器的look-ahead取0、1、3帧做延迟-质量曲线，测180 ms之外配置的PESQ、STOI、WER，验证低延迟与音质折中点。可对语义编码器隐藏层选择与8192码本大小做联合消融，在ASR与非ASR任务上同时评估，检验语义token的ASR偏向是否可通过多任务目标缓解。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech Recognition and Synthesis