结合细粒度自注意力的实例图像着色

尽管基于深度学习的图像着色方法已取得显著效果,但仍存在冗余色斑、着色暗淡和颜色偏差三个问题。为此,提出了一种结合细粒度自注意力(fine-grain self-attention,FGSA)的实例图像着色方法。具体地,首先将提取的特征图分为颜色和空间位置,并结合两者拟合提高颜色和图像空间位置的对应关系,以缓解冗余色斑;其次,受光学摄影HDR原理的启发,利用感受野小的卷积核增强或抑制图像的颜色特征,并结合softmax对特征进行动态映射,从而提高对比度,缓解着色暗淡的问题;最后,组合不同的非线性基函数,增加网络对非线性颜色的表达,拟合出最接近真实图像的颜色分布,以解决颜色偏差。大量的实验结果表明,该方法在实例图像着色中取得了良好的效果。特别地,与当前较优的着色方法相比,该方法在特征感知评价指标LPIPS和FID上分别降低了4.1%和7.9%。