极化自注意力约束颜色溢出的图像自动上色

自动上色可以将灰度图像转换为色彩合理的自然彩色图像,可以为老旧照片、黑白影视作品等重新恢复颜色,因此在计算机视觉和图形学领域受到广泛关注。然而,为灰度图像分配色彩是一项极具挑战性的任务,存在颜色溢出问题。为解决该问题,提出了一种极化自注意力约束颜色溢出的图像自动上色方法。首先,将前景中的实例和背景分开,降低背景对前景的上色影响,从而减少前景和背景之间的颜色溢出;然后,使用极化自注意力模块把特征分为颜色通道和空间位置两部分,使上色更加准确、具体,从而减少全局图像、实例对象内的颜色溢出;最后,结合融合模块,将全局特征和实例特征通过不同权重融合为一体,完成最终上色。实验结果表明,与ChromaGAN,MemoGAN等算法相比,所提方法在主要指标FID,LPIPS上分别提升了9.7%和10.9%,且SSIM和PSNR指标均达到最优。