从音乐的多模态特性和流派相关性角度改进音乐流派分类
摘要：音乐类型分类在过去几年中得到了广泛研究，因为它在音乐信息检索中有各种应用。以往的工作往往表现不尽如人意，因为这些方法只使用音频内容或者使用音频内容和歌词内容效率低下地联合使用。此外，由于音乐曲目中通常存在多种类型，捕捉和建模这些类型之间的关联关系可以提高多标签音乐类型分类的性能。为了解决这些问题，我们提出了一种新颖的多模态方法，利用音频-歌词对比损失和两个对称的跨模态注意力，对音频和歌词的特征进行对齐和融合。此外，基于多标签分类的本质，提出了一个类型关联提取模块，用于捕捉和建模潜在的类型关联关系。大量实验证明，我们提出的方法明显超越其他多标签音乐类型分类方法，并在Music4All数据集上取得了最先进的结果。
作者：Ganghui Ru, Xulong Zhang, Jianzong Wang, Ning Cheng, Jing Xiao
论文ID：2303.07667
分类：Sound
分类简称：cs.SD
提交时间：2023-06-13