基于双网络及多尺度判决器的图像修复算法

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷,提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先,将待修复图像输入基于空洞卷积(dilated convolution)层的内容预测网络,以重构损失和基于生成对抗损失的全局判决器为标准,进行粗修复,得到清晰合理、整体语义一致性的结构。然后,将粗修复结果输入细节修复网络,经空洞卷积路径和感知卷积路径解码和反卷积后,送入3个不同尺度的判决器进行优化,提升修复结果的纹理细粒度。最后,使用3个不同尺度的对抗损失优化网络参数,捕获破损区域的多尺度边缘信息,生成合理、逼真的纹理细节。在公认的图像数据集上对本文算法进行修复实验、双网络修复对比、高分辨率修复对比、目标移除实验、消融实验及客观实验,实验结果表明:本文提出的算法在修复背景复杂图像时,能生成合理的结构和清晰的纹理细节;双网络结构优于单网络结构;修复高分辨率图像时得到的纹理细粒度优于对比算法;将本文提出的算法用于高分辨率目标移除,能得到结构清晰合理、纹理细腻的结果;消融实验验证了提出模块的有效性;本文提出的算法的峰值信噪比、结构相似度、平均l_(1)误差和平均l_(2)误差均优于对比的经典修复算法。总之,本文提出的算法能很好地结合图像的整体语义,增强图像细节的修复精度,有效避免结构纹理错乱、像素重叠、边界扭曲等问题。

基于混合空洞卷积网络的多鉴别器图像修复

为了有效解决大面积语义信息缺失、孔洞区域大小及形状不规则、图像背景复杂时修复结果出现边缘模糊、伪影或修复失真等缺陷,提出了一种基于混合空洞卷积网络的多鉴别器图像修复算法.首先,将待修复图像输入一个基于混合空洞卷积层的模糊卷积网络,以重构损失为标准,进行粗修复.然后,将粗修复结果输入双平行卷积网络,该网络包含混合空洞卷积(HDC)层的卷积路径及一个与之平行的感知层卷积路径,两个平行路径的输出经过解码和反卷积后,送入鉴别器进行判别优化.最后,在网络的优化过程中,利用全局鉴别器、局部鉴别器和中心鉴别器增强修复图像的整体及局部语义一致性和细节特征.在国际公认的人脸数据集CelebA和风景数据集Places2上,对提出算法进行训练和测试,实验结果表明:提出方法在修复背景复杂和各种大小及形状的孔洞时,增强了图像细节的修复精度,有效避免了修复失真,在修复的视觉效果、峰值信噪比、结构相似度和平均误差方面,优于对比的4种经典修复算法.