Music4All A+A：用于音乐信息检索任务的多模态数据集
Music4All A+A: A Multimodal Dataset for Music Information Retrieval Tasks
Jonas Geiger, Marta Moscati, Shah Nawaz, Markus Schedl
International Conference on Content-Based Multimedia Indexing (CBMI) · 2025-10-22
摘要
Music4All A+A：一种用于音乐信息检索任务的多模态数据集 该研究针对音乐所具有的音频信号、歌词以及音乐视频片段等多样化表征维度，探讨了如何构建多模态数据集与方法以解决音乐信息检索领域的各类任务，例如音乐流派分类与自动标签标注等问题。现有多数用于音乐信息检索的多模态数据集仅聚焦于单个音乐曲目层面，未能体现基于艺术家或音乐专辑层面的流派划分需求，本文旨在填补这一空白，由此推出了以音乐艺术家与专辑为核心的多模态音乐信息检索数据集Music4All Artist and Album（Music4All A+A）。该数据集建立在现有的曲目级音乐信息检索数据集Music4All-Onion之上，为6741位艺术家及19511张专辑提供了元数据、流派标签、图像表征以及文本描述信息。此外，由于Music4All A+A依托Music4All-Onion构建，因此还能获取包括用户与曲目交互数据在内的其他曲目级多模态数据，这使得它在不同粒度层面都适用于多种音乐信息检索任务，尤其是多模态音乐推荐场景。为验证该数据集的实用价值，研究者开展了艺术家与专辑的多模态流派分类实验，分析了缺失某种表征维度时的分类效果，并与电影领域的流派分类方法进行了定量对比，实验结果表明图像信息对艺术家与专辑流派的分类具有更强的参考价值，同时多种多模态流派分类模型在跨领域泛化能力方面存在不足。相关实验代码已发布在https://github.com/hcai-mmslMusic4AlI-A-A地址，数据集将以可直接使用的形式存储在仓库中，并依据CC BY-NC-SA 4.0许可协议以开源形式提供。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 针对现有音乐信息检索（MIR）数据集多忽略艺术家与专辑层级粒度的局限，该研究构建了Music4All A+A多模态数据集，旨在支持多粒度MIR任务；通过实验验证了图像模态在艺术家与专辑流派分类中比音频更具信息量，并指出了多模态模型在跨域泛化能力上的不足。
- 研究方法
- 研究采用数据集构建与实验验证相结合的方法，基于Music4All-Onion数据集扩展了6,741位艺术家与19,511张专辑的多模态元数据（含图像与文本）；通过在多模态流派分类任务上的实验，对比了不同模态的信息贡献度，并进行了跨领域（音乐与电影）的定量比较分析。
- 学术贡献
- 在材料发掘与领域拓展层面，该研究填补了多模态MIR数据集在艺术家与专辑层级上的空白，提供了包含用户交互数据的综合资源；同时，通过实证分析揭示了图像模态的主导作用及多模态模型在跨域场景下的泛化困境，为后续多粒度推荐与分类研究提供了具体的数据基准。
- 存在局限
- 实验仅限于流派分类任务，未涵盖音乐推荐等其他MIR任务；跨域比较仅涉及电影领域，缺乏其他艺术形式或领域的数据对比；未对数据集的噪声水平、标签一致性等质量指标进行深入评估。
- 进一步研究方向
- 应利用该数据集开展多粒度音乐推荐系统的算法研究，验证其在实际应用中的有效性；需设计针对多模态模型跨域泛化问题的改进策略，并引入更多样化的艺术领域数据以进行更广泛的跨域对比分析。
本综述由 AI（glm-4.7-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music and Audio Processing