基于多尺度卷积和自注意力特征融合的多模态情感识别方法

基于生理信号的情感识别受噪声等因素影响,存在准确率低和跨个体泛化能力弱的问题。对此,提出一种基于脑电(EEG)、心电(ECG)和眼动信号的多模态情感识别方法。首先,对生理信号进行多尺度卷积,获取更高维度的信号特征并减少参数量;其次,在多模态信号特征的融合中使用自注意力机制,以提升关键特征的权重并减少模态之间的特征干扰;最后,使用双向长短期记忆(Bi-LSTM)网络提取融合特征的时序信息并进行分类。实验结果表明,所提方法在效价、唤醒度和效价/唤醒度四分类任务上分别取得90.29%、91.38%和83.53%的识别准确率,相较于脑电单模态和脑电/心电双模态方法,准确率上提升了3.46~7.11和0.92~3.15个百分点。所提方法能够准确识别情感,在个体间的识别稳定性更好。

基于图神经网络和注意力的双模态情感识别方法

针对生理信号情感识别问题,提出一种基于图神经网络(GNN)和注意力的双模态情感识别方法。首先,使用GNN对脑电(EEG)信号进行分类;然后,使用基于注意力的双向长短期记忆(Bi-LSTM)网络对心电(ECG)信号进行分类;最后,通过Dempster-Shafer证据理论融合EGG和ECG分类结果,从而提高情感识别任务的综合性能。为验证所提方法的有效性,邀请20名受试者参与情感激发实验,并收集了受试者的EGG、ECG信号。实验结果表明,所提方法的二分类准确率在valence维度和arousal维度分别为91.82%和88.24%,相较于单模态EEG方法分别提高2.65%和0.40%,相较于单模态ECG方法分别提高19.79%和24.90%。可见,所提方法能够有效地提高情感识别的准确率,为医疗诊断等领域提供决策支持。

心脑电图机使用中常见干扰及排除对策

心脑电图机(ECG-EEG)可客观完整地记录心脏或大脑活动时所产生在身体表面的电位差,为临床疾病诊断提供依据,而临床将并非由心脏或大脑活动而引发心脑电图上的改变称之为"伪差"(即干扰),心脑电图波形的质量直接影响医生对患者体质参数等的判断。为此,从机内和机外两方面分析干扰ECG-EEG使用的信号来源,并总结排除干扰的对策,对提高临床疾病诊断的准确率及促进ECG-EEG在临床中的应用有积极意义。