基于音乐信息检索的现场演出混合现实音乐可视化开发与评估
Development and evaluation of a mixed reality music visualization for a live performance based on music information retrieval
Matthias Erdmann, Markus von Berg, Jochen Steffens
Frontiers in Virtual Reality · 2025-03-19
摘要
本研究探讨了用于现场音乐演出的混合现实音乐可视化的开发与评估。研究以实时音频分析与多模态对应关系为设计准则来创建可视化效果，并通过头戴式显示设备呈现。为了评估该音乐可视化对观众审美体验的影响，研究者设计了一种基准可视化版本，其视觉元素与实验组相同，但色彩与运动模式为随机变化。研究者采用审美情绪量表（AESTHEMOS）来评估两种条件下（即聆听同一首歌曲但搭配不同可视化效果）观众的审美体验；此外，参与者还需回答有关刺激物视听一致性的感知问题，以及关于个人音乐素养与审美接受能力的问卷。结果显示，与随机化可视化相比，由实时音频分析驱动的可视化能够略微提升观众对视听组合的审美体验，这一结果与现有文献中的相关发现相一致。此外，参与者的个人特质并未对审美体验产生显著影响；只有当跨条件平均评分时，才会观察到这些特质与审美体验之间的显著相关性。开放式访谈为深入了解参与者对现场音乐演出的整体体验提供了更多细节。本研究结果不仅为混合现实中实时音乐可视化的开发提供了参考，阐明了所采用的特定视听刺激对审美体验的影响机制，还为新型音乐会形式的创设给出了潜在的技术指导。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 基于实时音频分析和跨模态对应原则设计的混合现实音乐可视化，能够有效提升观众在现场演出中的视听一致性与美学体验。与随机变化的可视化相比，受音乐信息检索技术控制的视觉元素在美学体验上表现略优，且参与者的个人音乐能力与审美接受度等特征并未对单一条件下的体验产生显著影响。
- 研究方法
- 研究采用被试内设计，让参与者在声学实验室中佩戴头戴式显示器观看同一段现场音乐表演的两种可视化条件。通过美学情绪量表（AESTHEMOS）和视听一致性问卷评估美学体验，并结合个人特征量表收集定量数据，辅以开放式访谈获取定性反馈。
- 学术贡献
- 该研究将跨模态对应理论与实时音乐信息检索技术相结合，填补了混合现实现场音乐表演中视听映射机制与观众感知研究的空白。研究结果为实时音乐可视化的系统架构设计提供了技术指南，并为探索新型音乐会格式下的多模态美学体验评估提供了实证依据。
- 存在局限
- 材料中未明确提及研究在样本代表性或实验环境等方面的具体局限性。但研究指出实时高阶特征提取在计算上具有挑战性，且较小的分析窗口可能导致结果准确性下降。
- 进一步研究方向
- 材料中未明确提及具体的未来研究方向。但基于研究讨论，未来可进一步探索高阶音频特征在实时系统中的高效提取方法，以及跨文化背景下跨模态对应感知的差异。
本综述由 AI（GLM-5）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music and Audio Processing