边缘对抗结合层次门控卷积的人脸修复研究

针对目前人脸缺损图像修复存在边缘模糊和失真等问题,提出了一种两阶段层次门控卷积网络(Hierarchical gated convolutional network,HGCN),并将其与边缘对抗网络相结合用于人脸图像修复。首先,采用边缘对抗网络生成边缘图像。其次,将边缘图、掩模和缺损图像作为输入,训练HGCN的GAN模型以修复缺损人脸图像。HGCN网络采用门控卷积取代传统卷积,并引入了扩张卷积,网络的主体由粗修复模块和精修复模块组成。在粗修复模块中,编码器和解码器网络结构用于粗修复;在精细修复模块中,引入注意力机制来增强特征提取能力,进一步细化修复结果。实验使用Celeba-HQ数据集和NVIDIA不规则掩码数据集作为训练数据集,采用门控卷积网络和注意力机制网络作为实验对比模型,PSNR、 SSIM和MAE作为实验评估指标。实验结果表明,对于缺损区域小于20%的人脸图像,所提出的网络在上述三个指标上优于两种比较网络,而对于缺失区域大于20%的图像,所提出的网络与两种比较方法性能指标接近。在视觉效果方面,所提出的方法在细节上也优于两种对比网络。因而,所提出的网络可以明显提高图像修复效果,尤其是对图像细节的修复效果。