基于图神经网络和潜在空间的连续手语识别方法

近年来出现的以潜在空间和分层注意力网络为基础的手语识别技术采用双通路卷积网络进行特征提取,针对大规模连续而非孤立手语数据集进行识别,大幅度提高了识别精度。由于卷积神经网络变换器将图像视为网络或序列结构,对于捕获不规则和复杂的手语使用者即人形对象不够灵活,因此,文章将特征提取模块由卷积网络替换为图神经网络,运用图神经网络直接对连续手语视频进行特征提取,并重新调整了部分网络结构与参数以保证图神经网络特征提取模块和后续模块能够无缝融合。实验证明,融合后的新模型有效提升了手语识别的精度。