基于计算机视觉的手语双向通信系统

手语研究涉及多个领域和交叉学科。目前,手语识别领域正以两大主流研究方向蓬勃发展:数据传感手套和手语视觉识别。前者通过传感器采集动作数据进行手语识别和翻译,后者采用计算机视觉技术捕捉用户手部特征实现手语识别和翻译。针对大多数研究内容仅关注手语识别、翻译的单向通信,而忽略实际交流过程中手语双向通信问题,本文基于AlexNet网络模型、卷积神经网络(CNN)和门控循环单元(GRU)实现手语识别、翻译,基于状态机完成手语动画生成,以此实现手语双向通信。进入系统后,用户可以选择手语识别、翻译功能,开启OpenCV设备捕捉图像,通过AlexNet神经网络模型、CNN-GUR混合神经网络模型分别对静态手语和动态手语进行识别和翻译,并将结果以文字或语音的形式显示输出。用户还可以点击手语生成功能,系统可以根据录入的语音或文本信息生成相应的手语动画视频。实验结果表明,与相似识别算法相比,该手语识别率为95.52%,生成准确率为93.2%。