基于深度卷积神经网络的多特征融合的手势识别

针对传统的分类方法由于提取的特征比较单一或者分类器结构过于简单,导致手语识别率较低的问题,本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合,通过使用纹理特征结合形状特征做到有效识别。首先纹理特征通过LBP、卷积神经网络和灰度共生矩阵方法得到,其中形状特征向量由Hu氏不变量和傅里叶级数组成。为了避免过拟合现象,使用"dropout"方法训练深度卷积神经网络。这种基于深度卷积神经网络的多特征融合的手语识别方法,在"hand"数据库中,对32种势的识别率为97.73%。相比一般的手语识别方法,此方法鲁棒性更强,并且识别率更高。

基于优化全卷积神经网络的手语语义识别

手语特征提取的传统算法仅仅依靠底层特征完成识别,难以获得高层语义特征,进而对手语理解产生分歧。针对这一问题,将图像语义分析的思维引入手语识别研究中,提出一种优化全卷积神经网络算法。采用全卷积神经网络提取手语图像的语义特征,并通过判别随机场进行语义标注做后期平滑处理,恢复像素间的细节信息,从而完成手语识别。实验结果表明,所提出的算法具有较强的稳健性,能有效学习到语义特征。与传统算法对比分析表明,此方法能精准的识别到手语,其平均识别率达97.41%。