基于知识蒸馏与迁移学习结合的多模态音乐情感识别

音乐情感识别的难题是缺乏足够的标签数据或者只有类别不均衡的标签数据训练情感识别模型,准确地标注情感类别不仅成本高而且耗时,且对标注者有着较高的音乐背景要求;同时,音乐的情感往往受多种因素的影响,演唱方式、音乐风格、编曲方式、歌词等因素都会影响到音乐情感的传达.本文提出一种基于知识蒸馏与音乐曲风迁移学习结合的多模态方法,在20000首歌曲上验证了该方法的有效性.实验证明,与单一音频、单一歌词及单一音频与歌词多模态方法相比,该方法的情感识别准确率均有明显的提高,且泛化能力得到提升.