基于上下文语义递阶推理的图像盲修复方法研究

现有的基于深度学习的图像修复方法通常需提供成对的受损图像和掩码图像作为输入,而现实中破损图像对应的掩码通常难以获得,为此,提出一种基于上下文语义递阶推理的图像盲修复网络。该网络由局部填补模块和细节优化模块组成,前者根据图像局部上下文语义自动估计图像中的污损区域,并完成初步的像素填充;而后者结合局部区域的多尺度特征,修复前一阶段输出图像中语义不和谐的区域,最终生成清晰自然的图像。结果表明:该方法性能优于同类算法,且能生成全局语义一致的清晰图像。

基于上下文门卷积的盲图像修复

目前基于深度学习的图像修复方法已经取得较大地进展,其方法均是基于输入的掩模对图像的退化区域进行修复。基于此,提出了由掩模预测网络和图像修复网络组成的2阶段盲图像修复网络。整个修复过程无需输入掩模,掩模预测网络可以根据输入图像自动检测图像退化区域并生成掩模,图像修复网络根据预测掩模对输入图像的缺失部分进行修复。为了更好地利用全局上下文信息,基于上下文门卷积设计了一个上下文门残差块(CGRB)模块来提取特征信息。另外,还提出了空间注意力残差块(SARB)对远距离图像像素的关系进行建模,过滤了一些无关的细节信息。在CelebA-HQ,FFHQ和PairsStreet数据集上的大量实验结果表明,该改进算法优于其他对比方法,且能生成令人信服的图像。