基于监督信号增强的唇语识别模型

唇语识别任务旨在通过一个序列的讲话者说话图片来识别其说话文本内容。目前,深度学习技术使得唇语识别研究有了不错的成果,但是,光源照射、人脸角度、讲话者说话习惯的不同都给唇语识别带来很大的困难。本文针对单词级唇语识别任务,提出一种基于监督信号增强的深度学习唇语识别模型,通过知识蒸馏获得软化标签,再将软化后的标签添加边缘裕度作为监督信号,有效提升唇语识别准确率。