基于音频与歌词的音乐情感分类研究

针对单一音频与单一歌词对音乐情感分类的不足,以及现有多模态融合分类算法精度不高等问题,提出一种新的基于音频与歌词的多模态融合音乐情感分类方法。首先分别对音频和文本单独处理,在音频方面,利用CapsNet网络对音频进行决策分类;在歌词方面,首先利用word2vec训练词向量,然后将词向量组合得到歌词句子向量,并利用LSTM模型决策分类。最后利用改进的多模态决策层融合方法将两者进行融合,最终得到音乐所属的情感类别。实验结果表明,提出的单一音频与单一歌词的音乐情感分类方法分别可以达到60.9%和53.2%的准确率,且改进的多模态融合方法较传统线性加权的决策层多模态融合有6.4%的提升效果。