改进残差网络与峰值帧的微表情识别

目的微表情(Micro Expression,ME)是人们流露内心情感时展现出的细微面部表情。针对微表情识别的样本较少且不同类别数量分布不均导致难以识别和识别准确率较低的问题,提出能够提高微表情识别准确率的模型框架。方法提取微表情视频序列中含有更多关键表情信息的峰值帧;使用加入SE模块的改进残差网络SE-ResNeXt-50对微表情的峰值帧进行特征提取,其中SE模块可以更好地学习特征中的关键信息,ResNeXt通过分组卷积的方式用稀疏结构取代密集结构从而使结构更加简化,提升了识别效率。与此同时,使用Focal Loss损失函数可以更好地解决因微表情数据的不平衡带来的模型性能问题。结果在微表情数据集CASMEⅡ上进行了仿真实验,可以发现改进的残差网络与峰值帧提高了微表情识别的准确率与F 1值。结论改进的残差网络与峰值帧可以降低数据集较少所带来的影响,使模型有着良好的拟合效果,同时改善了在不同类别上表现差异较大的问题,提升了微表情的识别准确率,对于微表情识别有着更好的识别性能。

基于双注意力模型和迁移学习的Apex帧微表情识别

微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用"留一交叉验证法"进行实验,结果表明本文方法相比一些现有的方法识别准确率及F_(1)值更高。

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机(Support Vector Machine,SVM)对上一步中提取到的特征进行分类。实验结果较基准方法(LBP-TOP)有了很大的提高,UF1提高了0.1344,UAR提高了0.1406。该方法为微表情特征提取和识别提供了新的思路。

一种基于光流双输入网络的微表情顶点帧检测方法

微表情顶点帧蕴含着丰富的微表情信息,为了准确地检测出微表情顶点帧,本文提出了一种基于光流特征的神经网络分类,并利用先验知识规则进行取舍的检测方法.该方法针对固定滑窗大小内的图像进行光流信息提取,利用双输入特征提取网络对x,y方向的光流信息进行时空特征提取,并进行分类,经根据微表情先验知识所设计的取舍规则后处理后,改善了检测准确度.实验结果表明,在数据集CASMEⅡ上测试,顶点定位率(apex spotting rate,ASR)指标达到了0.945,F_(1)-score指标达到了0.925.

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作,具有持续时间短、幅度小的典型特点。针对微表情识别难度大、识别效果不理想的问题,提出一种基于卷积注意力模块(CBAM)和双通道网络(DPN)的微表情识别算法——CBAM-DPN。首先,进行典型微表情数据集的数据融合;然后,分析序列帧中像素的变化值以确定顶点帧位置,再对顶点帧进行图像增强处理;最后,基于CBAM-DPN对图像增强后的微表情顶点帧进行特征的有效提取,并构建分类器对微表情进行识别。优化后模型的未加权F1值(UF1)和未加权平均召回率(UAR)分别可以达到0.7203和0.7293,相较于DPN模型分别提高了0.0489和0.0379,相较于CapsuleNet模型分别提高了0.0683和0.0787。实验结果表明,CBAM-DPN算法融合了CBAM和DPN的共同优势,可增强微小特征的信息提取能力,有效改善微表情识别性能。

基于三维卷积神经网络和峰值帧光流的微表情识别算法

针对现有微表情识别技术未能有效利用峰值帧前后时间空间特征的缺点,文中提出基于三维卷积神经网络和峰值帧光流的微表情识别算法.首先,提取峰值帧前后相邻帧间的光流场,在保留微表情重要时间、空间信息的同时,去除冗余信息,减少计算量.然后,利用三维卷积神经网络,从光流场中提取增强的时空特征,实现微表情的分类识别.最后,通过在3个微表情数据库上的对比实验证实文中算法准确度较高.

重庆江北商城主塔楼结构空间分析

介绍了重庆江北商城主塔楼结构方案的确定，抗震分析弯扭耦连振动与不考虑弯扭耦连影响振动的比较，不同方向地震作用结构效应比较。ＳＲＳＳ法与动力时程分析结果比较，供今后高层建筑结构概念设计参考。

微表情峰值帧定位引导的分类算法

目的 微表情是人在外界信息和刺激下做出的无意识面部动作,是判断受试人情绪和行为的重要佐证,在社会安全、商业谈判和心理辅导等领域都有着广泛的应用。微表情不同于一般的表情,分类与定位较为困难。针对这种情况,提出了一种基于光流窗口的双分支微表情定位网络(dual-branch optical flow spotting network,DFSN)和一种利用峰值帧光流信息的微表情分类网络,以识别视频中的微表情。方法 在定位任务中,首先提取面部图像,选择光流窗口大小和位置,计算面部光流并进行预处理;接下来输入双分支网络中进行两次分类,分别针对有无微表情和在有微表情前提下微表情所处阶段分类,并结合两个损失函数抑制过拟合;最后绘制出微表情强度曲线,曲线峰值所处位置即为所求微表情峰值帧。在分类任务中,选取视频起始帧和定位网络取得的峰值帧作为光流窗口,并利用欧拉运动放大算法(Eulerian motion magnification,EMM)放大微表情,最后采用峰值帧光流信息分类微表情视频。结果 微表情定位网络分别在CASME Ⅱ(Chinese Academy of Sciences Micro-expression Database Ⅱ)数据集和CASME数据集上按照使用留一被试交叉验证法进行了实验,与目前最好的定位方法比较,此网络在CASME Ⅱ上获得了最低的NMAE(normalized mean absolute error)值0.101 7,比Optical flow+UPC方法提高了9%。在CASME上获得的NMAE值为0.137 8,在此数据集上为次优定位方法。在定位网络得到的峰值基础上,分类网络在CASME Ⅱ上取得了89.79%的准确率,在CASME上取得了66.06%的准确率。若采用数据集标注的峰值,分类网络在CASME Ⅱ上取得了91.83%的准确率,在CASME上取得了76.96%的准确率。结论 提出的微表情定位网络可以有效定位视频中微表情峰值帧的位置,帮助后续网络进行分类,微表情分类网络可以有效区分不同种类的微表情视频。