基于歌曲元数据利用大语言模型生成多模态增广数据以用于音乐信息检索
Generating Multimodal Augmentations with LLMs from Song Metadata for Music Information Retrieval
Federico Rossetto, Jeff Dalton, Roderick Murray‐Smith
2023-10-26
开放获取音乐与舞蹈被引 4
摘要
本研究提出了一套全新的自动文本增广方法，该方法借助大语言模型，以歌曲元数据为基础来提升音乐信息检索任务的性能。与现有研究相比，所提方法采用了大语言模型以及源自网络的无版权语料库，因此我们能够公开相关知识源。实验表明，将这类文本表征与音频信号相结合后，在六个数据集中的五个上，流派分类、情感识别及音乐标注任务的性能相对提升了21%，其中在GTZAN、FMA-Small和Deezer三个数据集上更是达到了当前最优水平。通过将引入外部知识源的方法与仅依赖样本本身信息的内部文本表征方法进行比较，本研究证实了外部知识源所带来的益处。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 本文提出利用大型语言模型从歌曲元数据中生成自动文本增强，以提升音乐信息检索任务的性能。研究主张，将生成的文本表示与音频信号相结合，并注入外部知识源，能够显著超越仅依赖样本内在信息的文本表示方法。
- 研究方法
- 研究采用大型语言模型结合网络免版权语料库，从歌曲元数据中自动生成多模态文本增强。通过将生成的文本表示与音频信号进行多模态融合，并在流派分类、情感识别和音乐标签等任务的六个数据集上进行实验验证。同时，采用对比分析方法，评估注入外部知识源相较于仅依赖样本内在信息的文本表示方法的优越性。
- 学术贡献
- 提出了一种基于大语言模型和免版权语料库的全新自动文本增强方法，并公开了所收集的知识来源，填补了相关资源的开源空白。在流派分类、情感识别和音乐标签任务中，该方法在六个数据集的五个上实现了21%的相对性能提升，并在GTZAN、FMA-Small和Deezer三个数据集上达到当前最优水平。实证证明了在音乐信息检索中注入外部知识源的有效性。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music and Audio Processing