Deep Performer：乐谱到音频的音乐演奏合成系统
Deep Performer: Score-to-Audio Music Performance Synthesis
H.K. Dong, Cong Zhou, Taylor Berg-Kirkpatrick, Julian McAuley
ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) · 2022-04-27
订阅获取音乐与舞蹈被引 21影响因子 ≈0.0
摘要
音乐演奏合成旨在将乐谱转化为自然的演奏效果。本文借鉴近期文本转语音合成领域的研究成果，提出了Deep Performer——一种全新的乐谱到音频音乐演奏合成系统。与语音不同，音乐往往包含复音和长音符，因此我们在Transformer编解码器模型中提出了两种新技术，用于处理复音输入并提供细粒度的条件控制。为了训练所提出的系统，我们构建了一个全新的小提琴数据集，其中包含配对的录音与乐谱，以及二者之间的对齐信息。实验表明，该模型能够合成具有清晰复音结构和谐波结构的音乐。在听觉测试中，就音高准确性、音色及噪声水平而言，该模型与基线模型（一种条件生成音频模型）的表现相当；此外，在现有钢琴数据集上，该模型的整体质量表现显著优于基线模型。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 本文提出了Deep Performer系统，旨在将乐谱合成为自然的音频演奏。针对音乐中特有的复调和长音问题，该研究借鉴文本转语音领域的进展，在Transformer架构中引入了处理复调输入和细粒度条件控制的新技术。
- 研究方法
- 研究采用Transformer编码器-解码器模型作为基础架构，并创新性地引入两种技术以解决复调输入和细粒度条件控制问题。同时，构建了一个包含配对录音与乐谱及其对齐关系的小提琴数据集用于模型训练。通过听音测试，在音高准确度、音色和噪声水平等维度与条件生成音频基线模型进行了对比评估。
- 学术贡献
- 提出了一种新颖的乐谱到音频音乐演奏合成系统，成功将文本转语音技术跨领域应用于音乐合成。贡献了专门针对音乐复调与长音特性的处理技术，以及一个新的小提琴配对数据集。实验证明该模型能合成具有清晰复调和泛音结构的音乐，并在现有钢琴数据集的整体质量上显著优于基线模型。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music and Audio Processing