基于编码音频语言建模的音乐信息检索有用表征学习
Codified audio language modeling learns useful representations for music information retrieval
Rodrigo Castellon, Chris Donahue, Percy Liang
arXiv (Cornell University) · 2021-07-12
开放获取音乐与舞蹈被引 22影响因子 ≈0.2
摘要
本研究证实，在编码（离散编码）音乐音频上预训练的语言模型能够学习对下游音乐信息检索任务具有实用价值的特征表征。具体而言，我们选取Jukebox（Dhariwal等，2020）所生成的表征展开分析：该系统是一款音乐生成工具，其内置的语言模型在100万首歌曲的编码音频数据上进行了预训练。为验证Jukebox的表征是否包含对音乐信息检索有用的信息，我们将其作为输入特征，用于训练针对多项音乐信息检索任务的浅层模型。相较于在标签数据上预训练的传统音乐信息检索模型所产生的表征，将Jukebox的表征作为输入特征时，在标签标注、流派分类、情感识别及调性检测四项音乐信息检索任务中的平均性能提升了30%。其中在调性检测任务中，Jukebox的表征效果明显优于基于标签预训练模型的结果，这一发现表明通过编码音频语言建模进行预训练或许能弥补传统方法的不足。我们认为Jukebox表征的优异表现证明：相较于基于标签的建模方式，直接对音频建模能为音乐信息检索提供更丰富的表征。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 基于编码音频的语言模型（CALM）预训练能够学习到对下游音乐信息检索（MIR）任务有用的表征。与基于标签预训练的传统模型相比，直接对音频进行建模能提供更丰富的表征，有效弥补传统方法在调性检测等任务上的盲区。
- 研究方法
- 研究利用Jukebox系统提取音频特征，选取模型中间层激活值并进行时间维度均值池化。随后，将这些特征作为输入训练浅层探测模型，在标签分类、流派分类、调性检测和情感识别四个下游任务上评估性能，并与传统标签预训练、对比学习及手工特征进行对比。
- 学术贡献
- 证明了CALM作为MIR预训练策略的有效性，其表征在四项下游任务上平均比传统标签预训练模型性能提升30%。该研究揭示了生成式音频预训练在判别式MIR任务中的潜力，特别是在调性检测上弥补了传统方法的不足，并开源代码以促进可重复性研究。
- 存在局限
- Jukebox规模的CALM预训练需要巨大的计算资源，且Jukebox训练时使用了流派和艺术家标签，并非纯粹的无监督方法。此外，由于对比模型在架构、规模和预训练数据量上存在差异，当前结果尚不足以断言CALM是普遍意义上的最佳音乐预训练策略。
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5.1）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music and Audio Processing