基于注意力和卷积特征重排的图像修复

近年来,基于U-Net与GAN(生成对抗网络)的深度学习网络模型在图像修复领域展现出了独特的优势,但是修复结果中仍然存在伪影、模糊、纹理细节退化、对于大面积破损难以修复、修复后的孔洞与背景图像不相容等现象。为了解决现有模型对大面积破损图像修复不友好以及修复后的图像存在退化现象等问题,通过对现有方法进行研究,改进了Shift-UNet(移位网络)模型:在U-Net与GAN的基础上,在每一层编码器和解码器之间增加了改进之后的注意力机制Attention-UNet并融入Shift-UNet,形成Attention-Shift-UNet;通过研究,将原来下采样部分的激活函数由Leaky_ReLU改为了SiLU函数。改进模型不仅在64×64的中心遮罩上取得了较好的效果,还实现了随机遮罩,遮罩面积由20%增加到80%。通过实验结果证明,该模型的修复效果更优,特别是针对大面积破损图像的修复。在CelebA、ParisArchitecture以及Paris Streetview数据集上经过测试,各评价指标都有明显的提高,其中结构相似性(SSIM)由原来的0.9445提高到0.9471,峰值信噪比(PSNR)由原来的27.9927提高到28.5536,L 2损失由原来的0.0017降低到0.0015。