基于标注人脸轮廓的唇语识别方法

唇读是一项古老的技术,在很早之前聋哑人为解决与人交流的问题时便出现了。如今计算机已经能够实现简单的唇语识别,然而其识别效果与鲁棒性却不甚理想。为了解决这些问题,提出了基于标注人脸轮廓的唇语识别方法,所提出的方法设计了一个智能前端,用于对输入的唇读视频,逐帧标注人脸轮廓,以便于唇语识别模型在各种条件下能更快更准确地寻找人脸以及相关特征。同时为了降低运算量并提升运行效率,将唇语识别模型中的3DCNN由MiCT卷积管进行替代。在LRW数据集上进行了详细的实验,结果表明,所提出的方法能提高识别准确率,有效提升模型的运算速度,同时减少模型训练所需的轮次,并极大增强了模型的鲁棒性。