基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计,对网络学习到的通道间深层特征相关性的研究较少,没有充分利用神经网络提取表达力较强的特征。为解决此问题,设计了一种基于二阶有效通道注意力网络(second-order efficient channel attention network,SECA-Net)的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征,使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征,进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类,该模块具有较少的参数量、较低的显存需求和计算量,并且没有使用额外的数据预训练模型。同时,所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明,提出的方法是有效的。

融合手部骨架灰度图的深度神经网络静态手势识别

针对在无约束环境下静态手势在识别过程中准确率不高的问题,本文提出了一种融合手部骨架灰度图(Grayscale Image of Hand Skeleton,GHS)的深度神经网络,使用手部关键点及其相互关联性构建手部骨架灰度图。网络的输入为GHS图像和RGB图像,主干网络为yolov3,添加了扩展卷积残差模块,在GHS图像和RGB图像进行特征融合后,通过SE模块对每个通道上的特征进行缩放,采用RReLU激活函数来代替Leaky ReLU激活函数。通过手部关键点及其相互间的连接信息增强手部图像特征,增大手势的类间差异,同时降低无约束环境对手势识别的影响,以提高手势识别的准确率。实验结果表明,在Microsoft Kinect&Leap Motion数据集上相比其他方法,本文方法的平均准确率达到最高,为99.68%;在Creative Senz3D数据集上相比其他方法,本文方法平均准确率达到最高,为99.8%。