基于YOLO V5和Transformer的实时手语识别和翻译方法研究

针对手语识别和翻译的需求,文中首先结合OpenCV和Mediapipe hands模型,制作了一个包含多种手势、不同角度、明暗区域、简单和复杂背景等特定环境下的手语数据集,该数据集共计3000张图像。其次,为了实现更准确和实时的手语识别和翻译,选用YOLO V5模型进行了手语识别检测。在测试集上,平均准确率mAP(0.5)达99.1%。然后,结合Transformer模型进行手语孤立词连接,实现手语句子的生成。这些技术的应用能为听障人士提供更智能、便捷的交流方式,将在未来得到更广泛的应用。

多层注意力机制融合的序列到序列中国连续手语识别和翻译

使计算机能够理解手语者的表达一直是一项极具挑战性的任务,不仅需要考虑手语视频的时间和空间信息,同时还要考虑手语语法的复杂性。在连续手语识别任务中,手语词汇和手语动作共享一致的顺序;而在连续手语翻译任务中,生成的自然语言句子应符合口语化描述,词汇顺序和动作顺序可能不一致。为了能够更加准确地学习手语者的表达,提出了一个新颖的能同时进行手语识别和翻译的深度神经网络。该方案探讨了不同的经典预训练卷积神经网络和不同的多层时序注意力分值函数在连续手语识别上的效果,网络将手语视频高级抽象特征和低级时序语义组合在多层时间注意力融合模块中,形成更全面的序列注意力融合特征,从而从连续手语视频中更准确地生成gloss句子。结合Transformer语言模型将手语识别gloss句子转换为符合手语翻译的连续自然语言句子。首先,该方法在第一个大规模的复杂背景的中国连续手语识别和翻译数据集Tslrt上进行评估。利用Tslrt数据集中手语者复杂的背景环境和丰富的动作表达来训练所提神经网络模型,通过不同的对比实验得到了一系列的基准结果。在连续手语识别和翻译的任务上,效果最好的词错误率分别达到了4.8%和5.1%。为了进一步证明所提方法的有效性,在另一个公开的中国连续手语识别数据集Chinese-CSL也进行了验证,并和其他13种公开方法进行了比较,结果表明,所提方法的词错误率达到了最好的识别效果,为1.8%,证明了该方法的有效性。