基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络:上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L 1损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较:主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2.21%。对改进网络各模块的消融实验结果也验证了所提创新点的有效性,表明该方法优于同类算法。

基于纹理和结构的双流人脸图像修复算法

图像修复作为图像处理领域重要的研究方向而备受关注,现有的图像修复模型只针对纹理或结构的某一方面,忽略了二者在图像修复任务中是相辅相成的,从而导致所修复出的图像不尽如意。鉴于此,采用双支流的编解码器作为图像生成器的主干,分别对应生成图像的纹理特征和结构特征,达到结构约束纹理,纹理引导结构的效果;利用双向残差特征融合模块融合解码器生成的纹理特征和结构特征,完成两种特征的信息交换;并用多尺度上下文特征信息聚合模块丰富修复图像的细节特征。实验证明,该方法在不同掩码率下SSIM及PSNR值均有提升。