基于卷积神经网络的人脸图像超分辨率重建方法

为了恢复极低分辨率人脸图像的轮廓及更多细节,论文提出一种结合基于特征的反投影方法以及人脸语义分割的方法。该方法有四部分,包括初步重建网络、精细编码网络、人脸信息先验估计网络以及精细解码网络。首先通过初步重建网络,将图像进行4倍上采样。其次使用DBPN的反投影网络进行精细重建,对初步重建网络的结果进行两倍上采样。与此同时,引入U-net网络对初步重建网络输出结果进行语义分割,得到人脸分割信息。最后将精细网络的输出结果与人脸分割信息进行维度拼接并卷积,完成最后的重建。论文还在MSE损失函数的基础上引入人脸先验信息损失函数与VGG损失函数,有效引导人脸轮廓、五官重建。实验结果验证了该方法的有效性,该方法比基于双三次插值方法的PSNR值和SSIM值分别提升了3.6db和13.34%,最终重建出的人脸图像取得了较好的效果。