SpeechTokenizer：面向语音大语言模型的统一语音分词器
SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language Models
Xin Zhang, Dong Zhang, Li, Shimin, Yaqian Zhou, Xipeng Qiu
arXiv (Cornell University) · 2023-08-31
摘要
当前各类语音大语言模型均基于离散的语音表征，这类表征可分为语义词元和声学词元。然而，现有的语音词元并非专为语音语言建模而设计。为了评估语音词元在构建语音语言模型方面的适用性，我们建立了首个相关基准测试平台SLMTokBench。研究结果表明，无论是语义词元还是声学词元，均不适用于该目的。为此，我们提出了SpeechTokenizer——一种面向语音大语言模型的统一语音分词器。SpeechTokenizer采用带有残差向量量化的编码器-解码器架构，通过将语义词元与声学词元相融合，在不同量化层上分层解构语音信息的各个维度。此外，我们利用SpeechTokenizer构建了统一语音语言模型（USLM）。实验显示，SpeechTokenizer在语音重建方面的表现与EnCodec相当，且在SLMTokBench基准测试中展现出优异性能。同时，USLM在零样本文本转语音任务中的表现也优于VALL-E。相关代码与模型可在https://github.com/ZhangXInFD/SpeechTokenizer/获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对语音大语言模型所依赖的离散语音表示展开，指出语义token（如HuBERT经k-means聚类得到的一维序列）虽与文本高度对齐却丢失音色等语音信息，声学token（如EnCodec的RVQ两层矩阵）虽信息保留完整却与文本对齐薄弱，二者均非为语音语言建模而专门设计。作者据此提出理想语音token应满足两条标准：与文本强对齐、有效保留语音信息，并指出语义LM、声学LM与层级LM三类建模范式各自只能满足部分条件，层级LM还面临多阶段建模的误差累积、推理变慢以及语义token与声学token之间的信息冗余。核心主张是：通过RVQ的层级结构对语音信息做分层解耦，以语义教师引导第一层量化器承载内容信息、后续量化器以残差方式补足副语言信息，从而在单一tokenizer中统一语义与声学token。在此基础上构建的USLM以自回归模型建模第一层token、以非自回归模型条件生成后续各层token，力图在简洁架构下同时实现内容准确与语音高质量。
- 研究方法
- 在评测层面，论文构建SLMTokBench从两个维度量化token的适配性：文本对齐以语音token与文本的互信息估计（变分下界形式，下游模型为2层1024单元BLSTM，采用字符级CTC损失，在LibriSpeech train-clean-100上训练、dev-clean上估计互信息）配合测试集WER衡量；信息保留则先将token重建为波形（HuBERT units经unit-HiFiGAN、EnCodec经其自身解码器），再用Whisper en-medium转录的WER与WavLM-TDNN计算的说话人相似度衡量，随机抽取300条LibriSpeech测试样本。在模型层面，SpeechTokenizer沿用RVQ-GAN框架与EnCodec的卷积编解码器，将编码器后原两层LSTM替换为两层BiLSTM，训练目标由时域L1与多尺度mel谱L1/L2重建损失、HiFi-Codec的MS-STFT/MPD/MSD三类判别器上的hinge对抗损失与特征匹配损失、RVQ承诺损失以及语义蒸馏损失共同构成；语义蒸馏分为连续表示蒸馏（逐维余弦相似度经sigmoid）与伪标签预测（HuBERT units交叉熵）两类，并以消融比较HuBERT L9、HuBERT平均层与HuBERT units三种教师。重建评测采用ViSQOL客观指标、WER与遵循MUSHRA协议（含隐藏参考、不含低通锚点）的众包主观打分；零样本TTS在VCTK（108位说话人，与训练无重叠，每位取3秒提示语音）上以WER和说话人相似度为客观指标，以MOS（12位母语者）和SMOS（6位母语者）为主观指标。训练数据上，SpeechTokenizer使用LibriSpeech，USLM的AR与NAR模型使用Multilingual LibriSpeech英文子集（44K小时），二者均为12层、16头、注意力维度1024、FFN维度4096的Transformer解码器；此外另设一次性语音转换（one-shot VC）实验以检验信息解耦。
- 学术贡献
- 在方法与模型层面，论文提出以语义教师引导第一层RVQ、由后续层以残差方式补足的分层解耦方案，把语义token与声学token统一进单个tokenizer，为面向语音语言模型的离散表示设计给出了一条新构造路径；其消融结果（HuBERT L9的文本对齐优于平均层，平均层在信息保留上WER更低，离散HuBERT units在各条件下均最差）提供了关于语义教师类型取舍的经验依据。在评测层面，论文建立了SLMTokBench，把“与文本对齐”和“语音信息保留”操作化为互信息/下游WER与重建WER/说话人相似度两组可计算指标，为离散语音表示面向语音语言建模的适配性提供了可复用的评估框架。在系统层面，基于该tokenizer的USLM在零样本TTS上取得WER 6.5（VALL-E为7.9）、说话人相似度0.84（VALL-E为0.75）、MOS 3.63与SMOS 3.45（VALL-E为3.08与3.31），表明单阶段统一架构亦可同时改善内容精度与说话人建模。上述工作对语音语言模型的token设计、零样本TTS以及语音token基准评测三个具体议题均有直接价值。
- 存在局限
- 评测规模偏小：信息保留评估仅随机抽取300条LibriSpeech测试样本，零样本TTS的主观评分分别只有12位（MOS）与6位（SMOS）母语者参与，材料中未报告置信区间或显著性检验，因而SpeechTokenizer与EnCodec在ViSQOL（4.30对4.37）这类接近指标上的差异是否稳定难以判定。语料覆盖限于英语朗读语音，SLMTokBench建立在LibriSpeech之上，SpeechTokenizer亦仅用LibriSpeech训练，多语种、含噪或情感语音条件下的适配性未被检验；USLM的对比基线只有按相同设置自行训练的VALL-E（其tokenizer为EnCodec）一个系统。论文对“语义蒸馏与重建存在任务冲突”的解释（认为HuBERT平均层含有音色信息可在一定程度上缓解冲突）属推测性论断，未设计直接控制实验加以验证；RVQ层数固定为8，既未交代层数选择的依据，也未逐层定位音色信息自第几层起被补足。此外，被用来论证分层建模有效性的一次性语音转换实验，其具体设置与结果在所提供材料中未明确给出，论证链条在该环节尚不完整。
- 进一步研究方向
- 第一，将SLMTokBench扩展至Multilingual LibriSpeech所涉的多语种及VCTK的多说话人条件，把评测集扩大到数千条，并对互信息、下游WER、重建WER与说话人相似度做重复采样与显著性检验，检验指标排序能否跨语言、跨说话人保持稳定。第二，针对语义蒸馏与重建的任务冲突，固定重建相关损失权重后系统扫描λdistill，并构造位于HuBERT L9与平均层之间的层间插值表示作为教师，观察互信息与重建WER/说话人相似度形成的帕累托前沿，据此检验“教师所含音色信息量”与信息保留之间的因果假设。第三，在RVQ层数与各层码本规模上做受控消融，逐层替换或丢弃某一层token并测量内容保真度与说话人相似度的变化，定位内容信息与音色信息在RVQ层级中的分界，为“首层语义、后续层副语言”的设定提供逐层证据。第四，在USLM上量化级联误差：把AR模型的输入由SpeechTokenizer第一层token替换为HuBERT units，并将NAR生成的层数从1递增至8，比较WER与说话人相似度随层数的变化，判断误差累积主要发生在AR层还是NAR层。第五，利用一次性语音转换实验做定向验证，例如在源语音与目标语音的token之间按层交换（仅保留源的第1层token，或仅保留源的第2至第8层token），测量转换后语音的内容保真度与目标说话人相似度，以判定各层实际承载的信息类型。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech Recognition and Synthesis