结合TCN和双向GRU的多模态融合情感空间标注

在人工智能领域不可缺少的情感计算技术,一直在人机互动、教育、医疗等领域具有重要应用价值。而现已成熟的单模态数据应用在情感计算上较为缺乏可靠度和客观性,离散的情感分类不能完整地描述出人的情感表达。为了解决这类问题,通过提取eNTERFACE′05数据集的音视频双模态样本特征,使用一种结合时域卷积网络(TCN)和双向门控循环单元网络(Bi-GRU)的双通道神经网络模型,对双模态特征进行深度学习训练,再将双通道模型预测结果进行决策层融合,在测试集的准确率高达95.3%。为了实现对情感激烈程度和正负面程度的度量,对模型预测结果二次深度学习,再通过softsign函数进行非线性的数值转换,最终实现情感样本在激活-效价二维坐标系上的可视化标注。实验结果表明,网络模型具有高准确率同时兼具更短的训练时间,能进行实时的情感计算和情感空间标注。