加强融合表情和语音的抑郁症检测模型

抑郁症患者的表情和语音具有直观、易于获取等优点,已被广泛应用于抑郁症检测,但现有研究存在忽略表情变化过程包含的信息在抑郁症检测中的作用,未能将动态表情包含的信息与静态表情、语音有效结合,识别准确度不高等问题。针对上述问题,提出一种用动态表情和语音加强融合静态表情特征的抑郁症检测模型。在语音特征提取模块中加入Bi-LSTM网络,挖掘语音的时序信息,用情感语音迁移学习,再用抑郁症语音训练。表情特征提取模块采用双通道结构,利用混合注意力机制分别提取动态表情和静态表情特征,特征更具判别性。特征加强融合模块用语音和动态表情加强融合静态表情,特征信息互补加强。实验结果表明,所提方法在AVEC2014数据集上检测的RMSE和MAE降低到8.21和6.03,优于目前使用语音和表情检测抑郁症的方法。