基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。

多模态情感识别综述

针对多模态情感识别这一新兴领域,分别从数据集、多模态特征表示以及多模态情感融合等三方面进行系统探索.特别针对多模态情感融合这一重点问题,分别对特征级融合、决策级融合、模型级融合这三个主流的融合策略进行了探讨.最后从引入新模态和多模态融合等方面对未来研究方向进行了展望.