脑电(Electroencephalogram, EEG)等生理信号凭借其独有的客观性,在情感识别领域已经成为热门的研究对象.针对单一模态特征不够完备的问题,本文提出一种基于注意力双向门控循环单元(Gated Recurrent Unit, GRU)神经网络的多模态脑电情...脑电(Electroencephalogram, EEG)等生理信号凭借其独有的客观性,在情感识别领域已经成为热门的研究对象.针对单一模态特征不够完备的问题,本文提出一种基于注意力双向门控循环单元(Gated Recurrent Unit, GRU)神经网络的多模态脑电情感识别方法,用Mul-AT-BiGRU表示.该方法首先通过注意力机制融合脑电、眼动这两种模态的三种不同特征,实现不同模态特征间的全局交互,再将得到的多模态融合特征输入带有注意力机制的双向GRU网络进行深度语义特征提取和情感分类.该方法通过挖掘不同模态数据间的互补关系,使学习到的深层情感相关特征更具判别性.所提方法在多模态数据集SEED-IV上进行实验,被试内平均分类准确率达到95.19%,比三种单一模态特征的平均分类准确率分别提升了20.22%、20.04%和17.5%;被试间的平均分类准确率达到62.77%,优于目前一些同类方法,验证了所提方法在多模态脑电情感识别上的有效性和泛化性.展开更多
文摘提出一种基于深度卷积联合适应网络(Convolutional neural network⁃joint adaptation network,CNN⁃JAN)的脑电信号(Electroencephalogram,EEG)情感识别模型。该模型将迁移学习中联合适应的思想融合到深度卷积网络中,首先采用长方形卷积核提取数据的空间特征,捕捉脑电数据通道间的深层情感相关信息,再将提取的空间特征输入含有联合分布的多核最大均值差异算法(Multi⁃kernel joint maximum mean discrepancy,MK⁃JMMD)的适配层进行迁移学习,使用MK⁃JMMD度量算法解决源域和目标域分布不同的问题。所提方法在SEED数据集上使用微分熵特征和微分尾端性特征分别进行情感分类实验,其中使用微分熵特征被试内跨试验准确率达到84.01%,与对比实验和目前流行的迁移学习方法相比,准确率进一步提高,跨被试实验精度也取得较好的性能,验证了该模型用于EEG信号情感识别任务的有效性。
文摘脑电(Electroencephalogram, EEG)等生理信号凭借其独有的客观性,在情感识别领域已经成为热门的研究对象.针对单一模态特征不够完备的问题,本文提出一种基于注意力双向门控循环单元(Gated Recurrent Unit, GRU)神经网络的多模态脑电情感识别方法,用Mul-AT-BiGRU表示.该方法首先通过注意力机制融合脑电、眼动这两种模态的三种不同特征,实现不同模态特征间的全局交互,再将得到的多模态融合特征输入带有注意力机制的双向GRU网络进行深度语义特征提取和情感分类.该方法通过挖掘不同模态数据间的互补关系,使学习到的深层情感相关特征更具判别性.所提方法在多模态数据集SEED-IV上进行实验,被试内平均分类准确率达到95.19%,比三种单一模态特征的平均分类准确率分别提升了20.22%、20.04%和17.5%;被试间的平均分类准确率达到62.77%,优于目前一些同类方法,验证了所提方法在多模态脑电情感识别上的有效性和泛化性.