人脸特征和脉搏信号特征的视频情绪识别

针对当前视频情绪识别方法主要集中于对人脸表情的判读而忽略了面部生理信号中所隐含的情绪,提出一种基于人脸特征和脉搏信号特征的视频情绪识别方法。该方法首先对经过预处理的视频提取LBP-TOP人脸表情特征,然后通过色度模型从视频中提取脉搏信号,并提取时域特征、频域特征及非线性特征,通过CCA算法融合2种特征,最终利用支持向量机完成情绪的识别。在CAS(ME)^(2)数据库进行实验,经过CCA融合特征后的情绪识别效果较LBP-TOP特征的单模态情绪识别效果高3.04%,较基于脉搏信号特征的单模态情绪识别效果高13.85%,说明了该方法的优越性。

基于3D卷积神经网络的脑肿瘤医学图像分割优化

针对2D卷积神级网络不能够较好地提取各模态之间的差异信息,不同的图像层肿瘤大小差异显著,且分割精度低,单模态MRI无法清晰地反映GBM的不同组织结构,提出一种基于3D多池化卷积神经网络拟解决以上实际问题。将卷积神经网络应用到脑肿瘤分割上,并针对脑肿瘤的特点,提出3D多池化卷积神经网络模型,通过多尺度的输入与多尺度的下采样,且在后端使用条件随机场(CRF)使图片尽量在边界处分割,增加图像的分割精度,克服脑肿瘤的个体差异,同时适应脑肿瘤不同图像层之间的大小位置差异。通过对100例患者的多模态磁共振图像进行分割,Dice系数达到91.64%;MRI脑肿瘤分割的改进方法可使分割精度得到明显提高,可更好地提取各模态之间的差异信息,实现适应范围更广的MRI肿瘤分割,并准确有效地分割脑肿瘤。

一种面向时空神经网络的潜在情绪识别方法

微表情对情绪识别有着一定的作用,但在人为隐藏的情况下则容易出现误判。生理信号的识别效果虽然较为准确,但其数据的采集往往复杂,不便于用于快速的人员情绪检测中。针对上述问题,采用非接触基于色度模型的方式采集脉搏信号,并根据脉搏信号提取特征,融合提出的时空神经网络实现潜在情绪识别,平均识别率约78.59%和76.91%。实验结果表明,提出的双路潜在情绪识别框架可以很好地融合微表情和生理信号中所包含的情绪信息,在微表情识别中的效果较现阶段常用的微表情识别算法的效果有一定提升。