自然图像上色研究综述

图像上色是指从灰度图像中恢复图像的色彩信息,一张灰度图像可以有多个合理的上色结果,具有多模态的不确定性.另外,在上色过程中经常会出现颜色溢出、颜色暗淡等问题.传统的上色方法耗时长且效果不佳.最近,深度学习技术的应用使图像上色取得了显著的进展.文章将自然灰度图像上色分为4类:基于涂鸦的图像上色、基于参考图像的图像上色、全自动图像上色和基于文本的图像上色,并对这4类自然图像上色的技术方法进行回顾与总结;然后,讨论分析了深度学习给上色带来的影响、目前使用的损失函数以及评价指标;最后,总结了图像上色中存在的问题和未来的研究发向,为后续图像上色的研究提供参考.

人体脸部灰度图像上色的改进算法

采用分块多分辨率上色方法 ,首先对低分辨率灰度图像上色 ;然后再对高分辨率图像做颜色变换 基于亮度、邻域信息和空间相关性的相似性测度控制像素的上色 实验结果表明 ,该算法可以改进脸部图像的上色效果 。

基于主题色板的图像上色方法研究

现有基于主题色板的图像上色方法存在着主题不准确、色彩不和谐、美感评价不客观等问题.鉴于此,本文提出了一套上色解决方案,用Lasso回归模型对Mask R-CNN分割的前景目标提取主题色、WGAN_gp对主题色扩展、NIMA对主题上色方案评价.在美感评价实验中,采用本文方案上色后LPIPS降低了37.5%,NIMA提高了6.6%,表明该方案可行有效.

极化自注意力约束颜色溢出的图像自动上色

自动上色可以将灰度图像转换为色彩合理的自然彩色图像,可以为老旧照片、黑白影视作品等重新恢复颜色,因此在计算机视觉和图形学领域受到广泛关注。然而,为灰度图像分配色彩是一项极具挑战性的任务,存在颜色溢出问题。为解决该问题,提出了一种极化自注意力约束颜色溢出的图像自动上色方法。首先,将前景中的实例和背景分开,降低背景对前景的上色影响,从而减少前景和背景之间的颜色溢出;然后,使用极化自注意力模块把特征分为颜色通道和空间位置两部分,使上色更加准确、具体,从而减少全局图像、实例对象内的颜色溢出;最后,结合融合模块,将全局特征和实例特征通过不同权重融合为一体,完成最终上色。实验结果表明,与ChromaGAN,MemoGAN等算法相比,所提方法在主要指标FID,LPIPS上分别提升了9.7%和10.9%,且SSIM和PSNR指标均达到最优。

基于卷积网络的灰度图像自动上色方法

随着深度学习的出现,灰度图像自动上色得到了快速的发展,出现了上色效果优秀的基于one-hot编码(独热编码)的方法,避免基于L;损失函数上色效果平淡的问题。沿用one-hot编码方法的基础思路,提出了一种卷积网络的灰度图像自动上色方法。该方法对编码器与解码器进行了改进和重新设计,重新设计了神经网络结构。通过使用高斯函数的传统卷积,减少每一个像素点选取邻近分类的数量,简化了one-hot解码与编码的流程,避免了频繁选取参数,提升了处理图片的速度。通过堆叠不同尺寸的空洞卷积以及添加Dropout等方法,构建了一个体积相对较小、速度较快的基于深度学习的灰度图自动上色网络。实验证明了提出的方法图像上色效果良好,且在网络体积、上色效果上有较大的优势。

基于神经网络的手绘服饰图纹上色及风格迁移

针对图纹上色容易色彩溢出、风格迁移缺少布料纹理特征等问题,提出基于神经网络的手绘服饰图纹上色及风格迁移方法。初始化数据集,收集服饰图纹图像,提取服饰图纹黑白线稿,合成具有颜色特征的手绘图像,构建风格数据集;构建条件生成对抗网络模型,基于该生成器模型实现对具有颜色信息的线稿图像上色;构建卷积神经网络模型,利用该模型计算内容图的内容特征并结合Gram矩阵计算风格图的风格特征,输出令人满意的服饰图纹迁移图像。实验结果表明,该方法生成的图像具有真实的服饰图纹颜色分布,具有较好的布料材质感。

基于生成对抗网络的灰度照片上色方法

为了黑白和灰度老旧照片的上色效果,论文提出了一种改进后的生成对抗网络的图像上色方法。与传统的上色方法相比,使用机器学习的方法提取图像的色彩特征,避免了人工特征提取的时间成本,提高了图像上色的效率。加快了上色的速度。实验针对收集的图像数据集,通过对目标函数添加L1正则化约束条件提高图像上色的效果。在训练好的网络模型后,能够对黑白和灰度老旧照片自动上色。论文实验结果峰值信噪比为30.01,结构相似度为0.83,优于传统方法。

色彩传递算法的研究

介绍了图像处理中一个新的热点问题——色彩传递．色彩传递技术目前主要运用于3个方面:色彩转换、灰度图上色、图像序列上色．列举文献简要说明了这3种技术,对色彩传递领域中有代表性的2种算法进行了详细地分析、比较,并用实验效果说明了这2种算法的优点和不足．最后,总结了色彩传递算法的特点．