三维循环密集卷积神经网络在视频手势识别的应用

手势识别是当前计算机视觉的一个重要研究课题,由于手势旋转,角度等因素的影响,视频手势识别仍是一项具有挑战性的任务。该文提出了一种基于三维密集卷积神经网络和门限循环单元的双通道手势识别算法,通过三维密集卷积神经网络获取手势的空间信息,使用门限循环单元学习视频中手势的时序信息,最后融合RGB图像和深度图像的深度学习模型特征以此对手势进行识别。在ISOGD数据集上的实验表明,该手势识别算法能够有效提高了视频手势识别的准确率。

时域注意力Dense-TCNs在多模手势识别中的应用

为增强时间卷积网络(TCNs)在时间特征提取方面的能力,提出一种基于三维密集卷积网络与改进TCNs的多模态手势识别方法。通过时空特征表示方法将手势视频分析任务分为空间分析和时间分析两部分。在空间分析中采用三维DenseNets学习短期的时空特征,在时间分析中使用TCNs提取时间特征。在此基础上引入注意力机制,使用时域维度的压缩-激励网络调整每个TCNs层特征在时间维度上的权值比重。分别在VIVA和NVGesture两个动态手势数据集上对该方法进行评价,实验结果表明,该方法在VIVA数据集上的正确率为91.54%,在NVGesture数据集上的正确率为86.37%,且与最新的MTUT方法水平相近。