基于超分辨率重建的低质量视频人脸识别方法

随着深度神经网络的兴起,人脸识别技术得到了飞速发展。但在光照条件差、低分辨率等情况下的低质量视频S2V(Still to Video)人脸识别由于存在低质量测试视频与样本库高清图像的异质匹配问题,仍然没有达到预期的效果。针对这个问题,提出一种基于超分辨率重建的低质量视频人脸识别方法。首先根据人脸姿态对低质量视频帧采用聚类算法和随机算法选取关键帧,然后建立一个面向低质量视频S2V人脸识别的超分辨率重建模型S2V-SR,对关键帧进行超分辨率重建,从而获得高分辨率且更多身份特征的超分辨率关键帧,最后使用视频人脸识别网络提取深度特征进行分类投票,得到最终的人脸识别结果。所提方法在COX视频人脸数据集上进行实验测试,在相对较高质量的cam1和cam3视频中获得了最好的识别准确率,即55.91%和70.85%,而在相对较低质量的cam2视频中获得了仅次于最好方法的识别准确率。实验结果证明,所提方法能够在一定程度上解决S2V人脸识别中异质匹配的问题,并且能够获得较高的识别准确性和稳定性。

基于中文发音视觉特点的唇语识别方法研究

随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但针对中文无论是在数据集丰富性还是识别准确率上均存在一定的落差。通过分析中文发音的视觉特点,提出"视觉拼音",意图规避中文在视觉表达上的歧义性。为了验证视觉拼音的有效性,建立了中文句子级唇语识别模型CHSLR-VP。该模型是一个端到端结构,其中以视觉拼音为媒介,将视频帧序列转换成最终的汉字语句。通过实验得出,相比于其他唇语识别方法,基于视觉拼音建立的CHSLR-VP模型性能更优,证明了视觉拼音的参与可明显提高中文唇语识别的准确率,为将来的相关工作提供了基准。