JEPOO：面向音乐信息检索的音高、起始点与终止点高精度联合估计方法
JEPOO: Highly Accurate Joint Estimation of Pitch, Onset and Offset for Music Information Retrieval
Haojie Wei, Jun Yuan, Rui Zhang, Yueguo Chen, Gang Wang
2023-08-01
开放获取音乐与舞蹈被引 6
摘要
旋律提取是音乐信息检索领域的核心任务，而音高、起始点与终止点的估计则是旋律提取中的关键子任务。现有方法的估计精度有限，且仅适用于单音高或多音高两类数据。在本文中，我们提出了一种名为JEPOO的高精度音高、起始点与终止点联合估计方法。通过创新的模型设计以及一种名为“帕累托调制损失加损失权重正则化”的新优化技术，我们解决了联合学习优化以及单音高与多音高数据处理难题。这是首个能够精准处理单音高、多音高音乐数据乃至二者混合数据的算法。在多种真实数据集上开展的全面实验表明，在音高、起始点与终止点预测方面，JEPOO的性能分别比现有最先进方法高出10.6%、8.3%和10.3%，且对不同类型数据与乐器均表现出良好的适应性。消融实验验证了JEPOO各组成部分的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 旋律提取是音乐信息检索的核心任务，而音高、音符起始和结束时间的联合估计面临多任务优化和数据类型单一的挑战。本文提出了一种名为JEPOO的高精度联合估计方法，通过创新的模型设计和优化技术，成功解决了联合学习优化以及同时处理单音高与多音高数据的问题。该方法能够统一处理不同类型及混合形式的音乐数据，并在预测精度上实现了显著提升。
- 研究方法
- 研究设计了包含共享底层、特定任务多标签序列预测器和高层特征融合的模型结构，以实现参数共享并利用音符起止信息辅助音高预测。在优化技术方面，提出了一种结合帕累托优化与焦点损失的新型损失函数（PML），并引入损失权重正则化（LWR）以平衡多任务间的权重。研究在多个真实数据集及合成的单/多音高混合数据集上进行了对比实验与消融分析，验证了模型各组件的有效性。
- 学术贡献
- 本研究提出了首个能够同时准确处理单音高、多音高及其混合数据的旋律提取方法JEPOO。实验结果表明，该方法在音高、起始和结束时间的预测上分别比现有最优方法提升了最高10.6%、8.3%和10.3%。此外，该模型在不同类型的数据集和多种乐器上均展现出了优异的鲁棒性。
- 存在局限
- 材料中未明确提及。
- 进一步研究方向
- 材料中未明确提及。
本综述由 AI（GLM-5）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music and Audio Processing