基于多尺度分区有向时空图的步态情绪识别

为了有效获取节点之间在多尺度、远距离以及在时间和空间位置上的依赖关系,以提高对步态情绪识别精度,本文首先提出一种构建分区有向时空图的方法:使用所有帧节点进行构图,然后按区域有向连接。其次,提出一种多尺度分区聚合与分区融合的方法。通过图深度学习对图节点进行更新。并对相似节点特征进行融合。最后,提出一个多尺度分区有向自适应时空图卷积神经网络(MPDAST-GCN)方法。网络通过在时间维度上构建图,获取远距离帧节点特征,并自适应地学习每帧上的特征数据。MPDAST-GCN将输入数据分类成高兴、伤心、愤怒和平常4种情绪类型。并在发布的Emotion-Gait数据集上,相比于目前最先进的方法实现6%的精度提升。

基于Partial New Causality的因果脑网络情绪识别

为了研究情绪产生过程中脑区以及通道之间的因果作用,在部分格兰杰与新型因果关系的基础上,提出一种用于研究时间序列之间因果关系的部分新型因果关系(PNC)方法。在不同情绪下选取脑区内的8个通道,用PNC计算脑区内通道之间的因果连接关系,根据连接关系构建因果网络;对因果网络中节点的信息流向和介数属性进行分析,将PNC因果网络和Granger因果网络节点之间的因果连接视为一种特征送入SVM中训练分类。实验结果表明,基于PNC因果网络和Granger因果网络的平均识别精度分别为76.4%和68.5%,PNC可用于计算时间序列之间的因果关系。

基于多模态轻量化混合模型的情绪识别

实现更加准确的情绪识别是当前面临的一项富含挑战性且十分有意义的任务。由于情绪的复杂多样性,单一模态的脑电信号难以对情绪进行全面客观的度量。因此本文提出一种多模态轻量化混合模型PCA-MWReliefFGAPSO-SVM,该混合模型由PCA-MWReliefF特征通道选择器和GAPSO-SVM分类器构成。选用脑电信号(EEG)、肌电信号(EMG)、体温信号(TEM)三模态信号进行情绪识别。在DEAP公共数据集上进行多次实验验证,在效价维度、唤醒维度和四分类中分别取得了97.5000%、95.8333%、95.8333%的分类准确率。实验结果表明,提出的混合模型有助于提高情绪识别准确率且明显优于单模态情绪识别。与近期的类似工作相比,本文提出的混合模型具有较高准确率、计算量小且通道数少的优点,更易于实际应用。

基于语篇解析和图注意力网络的对话情绪识别

对话情绪识别研究主要聚焦于融合对话上下文和说话者建模的相互关系。当前研究通常忽略对话内部存在的依存关系,导致对话的上下文联系不够紧密,说话者之间的关系也缺乏逻辑。因此,提出了一种基于语篇解析和图注意力网络(discourse parsing and graph attention network,DPGAT)的对话情绪识别模型,将对话内部的依存关系融入语境建模过程中,使语境信息更具有依赖性和全局性。首先,通过语篇解析获取对话内部的话语依存关系,构建语篇依存关系图和说话者关系图。随后,通过多头注意力机制将不同类型的说话者关系图进行内部融合。此外,在图注意力网络的基础上,结合依存关系进行循环学习,以达到上下文信息和说话人信息的有效融合,实现对话语境信息的外部融合。最终,通过分析内、外部融合的结果还原完整对话语境,并对说话者的情绪进行分析。通过在英文数据集MELD、EmoryNLP、DailyDialog和中文数据集M3ED上进行评估验证,F1分数分别为66.23%、40.03%、59.28%、52.77%,与主流的模型相比,所提模型具有较好的适用性,可在不同的语言场景中使用。

基于深层图卷积的EEG情绪识别方法研究

针对浅层图卷积提取的局部脑区空间关联信息对情感脑电表征不足的问题,本文提出了一种深层图卷积网络模型。该模型利用深层图卷积学习情绪脑电全局通道间的内在关系,在卷积传播过程中应用残差连接和权重自映射解决深层图卷积网络面临的节点特征收敛到固定空间无法学习到有效特征的问题,并在卷积层后加入PN正则化扩大不同情绪特征间的距离,提高情绪识别的性能。在SEED数据集上进行实验,与浅层图卷积网络相比准确率提高了0.7%,标准差下降了3.15。结果表明该模型提取的全局脑区空间关联信息对情绪识别的有效性。

4~8岁汉语高功能自闭症儿童基于语言线索的情绪识别能力发展研究

通过听觉言语理解任务,考察了4~8岁汉语高功能自闭症儿童基于语言线索的情绪识别能力发展。研究发现,在韵律和语义线索一致条件下,4~8岁高功能自闭症儿童的情绪识别能力与典型发展儿童没有显著性差异;在韵律和语义线索不一致条件下,4~6岁典型发展儿童更加依靠语义线索识别情绪,6~8岁典型发展儿童更加依靠韵律线索识别情绪;4~6岁和6~8岁高功能自闭症儿童均更倾向于借助语义线索识别情绪。韵律、语义线索不一致条件下的研究结果表明,4~8岁汉语高功能自闭症儿童的情绪识别未能像典型发展儿童一样实现由依靠语义线索向依靠韵律线索的转变,这可能是高功能自闭症儿童在社会交往时情绪识别困难的一个重要原因。

结合多级注意力和多流图神经网络的多模态会话情绪识别

为了融合多模态信息、解决全局-局部特征建模问题并提高多模态会话情绪识别准确率,提出了结合多级注意力和多流图神经网络的多模态会话情绪识别模型(multimodal conversation emotion recognition combining multilevel attention and multi-stream graph neural networks,MCER-MAMGNN)。设计多级注意力机制提取语境化融合特征,用于增强各模态的表示能力,有效捕捉多模态信息之间的相关性和互补性,并减少噪声干扰;设计多流图神经网络以处理不同模态的信息,通过构建话语的异质性情绪依赖关系来捕捉局部特征,并使用双向Mogrifier LSTM网络捕捉全局特征(语境特征),以此更全面和深入地理解会话中的情绪;设计多流合并分类模块融合各模态流输出,通过自注意力机制进一步提取语境化融合情绪特征。实验结果表明,该模型在IEMOCAP和MOSEI数据集上取得了较好的性能。

基于MHA-ResNet的语音情绪识别算法

语音情绪识别的一个重要挑战是从语音信号中提取关键特征来提高识别准确率。在现有研究的基础上,提出了一种基于自注意力残差网络(Multi-Head-Attention Residual Network,MHA-ResNet)的语音情绪识别模型,提高了语音情绪识别准确率。首先,将原始语音信号数据进行预处理;其次,将提取到的情绪特征集,利用多头注意力机制具备的并行化处理且自适应关注的特性,初步获取不同状态下鉴别性的语音情绪信息;最后,残差网络进一步获取深层情绪特征,完成不同情绪的识别。为验证模型有效性,在CASIA和EmoDB数据集上进行实验,其结果显示识别准确率分别为93.59%和97.57%。

基于CNN的脑电信号情绪识别模型研究

针对现有深度学习模型在情绪识别方面种类少且准确率低的问题,采集并建立了脑电波信号数据集,提出了一种基于CNN的脑电波的智能多情绪识别模型,利用多层卷积神经网络提取脑电信号情感特征,在批归一化层和激活函数中引入非线性特性,构建了两层全连接神经网络,实现了情绪特征中积极、中性和悲伤的分类。实验结果表明,提出的模型复杂度低且分类准确率达到了81.43%,明显高于SVM、LSTM、VGGNet模型,证明了该模型的简洁性和高效性。

首发精神分裂症患者视觉情绪识别与静息态脑局部一致性的相关性研究

目的:探究首发精神分裂症患者视觉情绪识别能力特点与静息态大脑局部一致性(ReHo)改变及其相关性。方法:FES患者和健康对照者分别纳入FES组和HC组,各32例;2组均进行视觉情绪识别任务,采集静息态功能磁共振数据,对数据进行预处理并计算个体ReHo值。比较2组的视觉情绪识别得分及全脑ReHo值的差异,并提取组间差异脑区的ReHo值与视觉情绪识别得分进行相关性分析。结果:与HC组相比,FES组的正性情绪识别得分、非正性情绪识别得分及情绪识别总得分均更低(P<0.05)。与HC组相比,FES组右侧中央后回、中央前回、额内侧回、中央旁小叶ReHo降低,双侧海马旁回、左侧壳核ReHo升高(Alphasim多重比较校正,P<0.05)。FES组非正性情绪识别得分与左侧壳核ReHo值之间存在显著负相关(r=-0.471,P=0.031)。结论:FES患者存在情绪识别障碍及多个脑区ReHo改变,其中左侧壳核ReHo值的升高与精神分裂症患者对非正性情绪的识别困难有关。

基于脑电网络的情绪识别研究进展

情绪识别使计算机系统具备感知人类情感的能力,它已成为计算机科学、心理学、社会学、生物医学工程等多个学科的研究热点。脑电(Electroencephalography, EEG)网络分析方法是神经影像领域常用的神经认知分析方法,它通过捕获脑区间交互关系构建脑网络,以此描述大脑不同区域的信息流动状态和功能协作状况。由于情绪功能本身涉及多脑区协作,脑电网络的分析方法凭借其出色的脑区信息交互捕获能力在情感识别领域发挥重要作用。该文对脑电网络情绪识别的研究背景、原理方法和研究现状进行详细介绍,并讨论了基于脑电网络分析的情绪识别研究目前存在的问题和未来发展趋势。

基于脑电信号的情绪识别研究进展

情绪是人对客观外界事物的态度的主观体验和相应的行为反应,反映的是主体需要和客观外界事物间的关系。脑电图与大脑活动密切相关,因此可以通过脑电图信号判断受试者的情绪变化。与此同时,利用传统机器学习及深度学习算法进行情绪识别的研究也在蓬勃发展。本文介绍了情绪识别研究中的情绪模型、数据集以及近年来常见的机器学习和深度学习算法,对近些年的情绪识别研究进行总结,有助于初学者快速了解这一领域,并有望为后续研究提供参考。

融入知识图谱和课程学习的对话情绪识别

对话领域情绪识别是基于对话的情感分类任务,对话数据具有口语化、主题跨度大和标签具有语义相似性的特点.口语化表现为对话中存在隐含常识和语法知识的二义性词语和省略句,导致模型难以准确建模语义信息;主题跨度大表现为不同对话场景下的文本信息丰富度差异大、情绪转移频率差异大,导致模型性能下降.提出CK-ERC模型缓解上述问题,在预训练阶段,抽取结构化数据为模型融入常识和语法知识图谱,帮助模型建模口语化信息;在微调阶段引入监督对比学习任务帮助模型识别相似情绪标签;在训练策略上设计了基于动态阈值的课程学习策略,按照文本丰富度从高到低、情绪转移频率从低到高的策略优化模型.CK-ERC模型在双人对话、多人对话、模拟对话、日常对话等多种对话模式下显著优于其他模型,在MELD和EmoryNLP数据集上获得最佳表现.

基于时空Inception残差注意力网络的脑电情绪识别

为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络。将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息。实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71%的准确度,相较于对比模型,识别精度提高了10%~20%。提出的模型在脑电信号情绪识别领域具有优良性能。

基于缩放卷积注意力网络的跨多个体脑电情绪识别

基于脑电信号的情绪识别,因其可以客观地反映人的生理和心理状态而成为了情绪调节干预的医疗辅助。针对现有方法因忽略个体间通道数据分布差异导致的情绪识别泛化性能差的问题,提出一种基于缩放卷积注意力网络的跨多个体情绪识别新方法。该方法在提取多通道脑电信号中情绪量化特征的基础上,构造新型缩放卷积注意力网络以建立不同通道、不同尺度情绪特征的协同变化关系,通过模型训练自动学习协同关系的权重,最终获得对情绪极性的域不变表征,以提高跨多个体脑电情绪识别的泛化性能。使用情绪脑电图数据集SEED和SEED-IV中的100665和100950个脑电样本进行跨多个体情绪识别。该方法在情绪三分类会和四分类中识别准确率分别为89.63%和75.65%,特别是在个体数变化情况下,其鲁棒性优于现有大多数模型。所提出的方法可有效提取情绪极性的域不变表征.

基于层级图卷积网络的情绪识别模型

细粒度情绪识别模型采用比传统方法更多的情绪类别,能更为准确地捕捉人们日常生活中经历和表达的情绪。然而,大幅增加的情绪类别以及细粒度情绪间存在的相互关联和模糊性,给细粒度情绪识别模型带来了挑战。已有情绪识别工作表明,引入情感词典等外部知识可以有效提升模型性能。但现有细粒度情绪识别模型引入情感知识的方式还较为简单,仍未考虑深层情感知识,例如,情感层级关系。针对上述问题,该文提出一种基于层级图卷积网络的情绪识别(Hierarchy Graph Convolution Networks-based Emotion Recognition,HGCN-EC)模型。HGCN-EC模型由语义信息模块、情绪层级结构知识模块和知识融合模块组成。语义信息模块提取文本的语义特征;情绪层级结构知识模块将细粒度情绪构建为树状层级结构并使用贝叶斯统计推断计算情绪之间的转移概率作为层级知识;知识融合模块采用图卷积网络将情绪层级知识与文本语义特征融合,用于实现情绪预测。在GoEmotions数据集上的对比实验结果表明,HGCN-EC模型具有相较于基线方法更优的细粒度情绪识别性能。

融合Emoji情感分布的多标签情绪识别方法

随着基于互联网的社交媒体兴起,Emoji由于具有以图形化方式快速准确地表达情绪的特点,目前已经成为用户在日常交流中广泛使用的图像文本。已有研究工作表明,在基于文本的情绪识别模型中考虑Emoji信息,对于提升模型性能具有重要的作用。目前,考虑Emoji信息的情绪识别模型大多采用词嵌入模型学习Emoji表示,得到的Emoji向量缺乏与目标情绪的直接关联,Emoji表示蕴含的情绪识别信息较少。针对上述问题,该文通过软标签为Emoji构建与目标情绪直接关联的情感分布向量,并将Emoji情感分布信息与基于预训练模型的文本语义信息相结合,提出融合Emoji情感分布的多标签情绪识别方法(Emoji Emotion Distribution Information Fusion for Multi-label Emotion Recognition,EIFER)。EIFER方法在经典的二元交叉熵损失函数的基础上,通过引入标签相关感知损失对情绪标签间存在的相关性进行建模,以提升模型的多标签情绪识别性能。EIFER方法的模型结构由语义信息模块、Emoji信息模块和多损失函数预测模块组成,采用端到端的方式对模型进行训练。在SemEval2018英文数据集上的情绪预测对比实验结果表明,该文提出的EIFER方法比已有的情绪识别方法具有更优的性能。

基于互信息最大化和对比损失的多模态情绪识别模型

多模态的对话情绪识别(Emotion Recognition in Conversation,ERC)是构建情感对话系统的关键。近年来,基于图的融合方法在会话中动态聚合多模态上下文特征,提高了模型在多模态对话情绪识别方面的性能。然而,这些方法都没有充分保留和利用输入数据中的有价值的信息。具体地说,它们都没有保留从输入到融合结果的任务相关信息,并且忽略了标签本身蕴含的信息。为了解决上述问题,该文提出了一种基于互信息最大化和对比损失的多模态对话情绪识别模型(Multimodal ERC with Mutual Information Maximization and Contrastive Loss,MMIC)。模型通过在输入级和融合级上分级最大化模态之间的互信息(Mutual Information),使任务相关信息在融合过程中得以保存,从而生成更丰富的多模态表示。该文还在基于图的动态融合网络中引入了监督对比学习(Supervised Contrastive Learning),通过充分利用标签蕴含的信息,使不同情绪相互排斥,增强了模型识别相似情绪的能力。在两个英文和一个中文的公共数据集上的大量实验证明了该文所提出模型的有效性和优越性。此外,在所提出模型上进行的案例探究有效地证实了模型可以有效保留任务相关信息,更好地区分出相似的情绪。消融实验和可视化结果证明了模型中每个模块的有效性。

采用多任务特征融合的脑电情绪识别方法

特征选择与融合是提升脑电信号情绪解码精度的重要手段之一。然而,当前脑电情绪解码中的特征选择方法常忽略了脑电信号内在数据结构的隐含信息。该文提出一种基于近邻传播聚类的多任务特征融合方法,通过L_(2,1)范数约束实现稀疏特征选择,同时利用图拉普拉斯正则化保持不同子类间的潜在关系。该算法在不揭示真实样本标签的情况下,在子任务空间有效融合脑网络空间拓扑结构信息和微分熵信息,为高精度脑电信号情绪解码提供具有更高情绪表征能力的特征。DEAP和SEED数据集以及本实验室数据集的分析结果表明,该文提出的方法能显著提高脑电情绪解码的精度。

基于心电信号图像特征及卷积神经网络的情绪识别研究

为提高情绪识别的准确率,本研究利用卷积神经网络和迁移学习,提出了一种基于心电(electrocardiography,ECG)信号图像特征的情绪识别方法。首先对ECG信号进行预处理,去除噪声;然后提取ECG信号的时域波形图和时频图;最后,利用迁移学习和双输入EfficientNetV2网络学习图像的时域和频域特征并进行分类,得到对应的情绪类别。在公开数据集Amigos上进行验证,结果显示,本研究在唤醒度、效价和优势度的识别准确率分别为91.63%,95.27%和92.32%。相较于其它情绪识别方法,本研究方法具有更高的准确率。