基于编码音频语言建模的音乐信息检索有用表征学习
Codified audio language modeling learns useful representations for music information retrieval
Rodrigo Castellon, Chris Donahue, Percy Liang
Zenodo (CERN European Organization for Nuclear Research) · 2021-11-07
开放获取音乐与舞蹈被引 9影响因子 ≈0.0
摘要
本研究证实，在编码（离散编码）音乐音频上预训练的语言模型能够学习对下游音乐信息检索任务具有实用价值的表征。具体而言，我们选取Jukebox（Dhariwal等，2020）所生成的表征展开分析：该系统是一款音乐生成工具，其内置的语言模型是在100万首歌曲的编码音频数据上训练而成的。为验证Jukebox的表征是否包含对音乐信息检索有用的信息，我们将其作为输入特征，用于训练浅层模型以完成多项音乐信息检索任务。相较于在标签数据上预训练的传统音乐信息检索模型所产生的表征，将Jukebox的表征作为输入特征时，在标签识别、流派分类、情感识别及调性检测四项任务中的平均性能提升了30%。其中在调性检测任务中，Jukebox的表征效果明显优于基于标签预训练的模型，这一结果提示通过编码音频语言建模进行预训练或许能弥补传统方法的不足。我们认为Jukebox表征的优异表现证明：相较于基于标签的建模方式，直接对音频建模能为音乐信息检索提供更丰富的表征。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 基于编码音频的语言模型预训练能够为下游音乐信息检索（MIR）任务学习到有效的表征。直接对音频而非标签进行建模，能够为MIR提供更丰富的表征，从而弥补传统基于标签预训练方法的盲区。
- 研究方法
- 研究提取了音乐生成系统Jukebox（基于100万首歌曲的编码音频训练的语言模型）的表征，并将其作为输入特征训练浅层模型。通过在标签预测、流派分类、情感识别和调性检测四个MIR任务上进行测试，与传统的基于标签预训练的MIR模型表征进行性能对比。
- 学术贡献
- 证实了基于编码音频的语言模型预训练在MIR任务上的有效性，其表征在四个下游任务中平均性能比传统方法高出30%。特别是在调性检测任务上表现尤为突出，揭示了音频建模相比标签建模在捕捉音乐深层信息方面的优势。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music and Audio Processing