结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。

迎接“AI+设计”:以彩色化技术研究进展为例

目的以彩色化技术为主要研究内容,从人工智能结合设计的角度重点阐述了彩色化研究的技术特点及适用场景,结合人工智能背景对智能设计发展趋势进行思考和总结。方法首先,对人工智能彩色化研究的技术需求、应用场景进行融合分析,推导人工智能与设计创作结合的可能性;其次,对彩色化传统方法与人工智能基础技术进行调研,以交互设计的理念为灵感启发,将人工智能的彩色化方法分为显式交互彩色化和隐式交互彩色化并进行归纳和总结;最后讨论研究彩色化技术的应用对象、预处理步骤和实践体验。结果总结概括彩色化技术结合人工智能设计的发展趋势与未来技术重点。结论“AI+设计”的趋势背景下,以彩色化为代表的人工智能数字图像处理技术正成为设计师的辅助工具,在科技、艺术、影视、人文等领域展现出交叉融合的大趋势。

基于空洞全局注意力机制的近红外图像彩色化方法

针对目前卷积神经网络未能充分提取图像的浅层特征信息导致近红外图像彩色化算法存在结果图像局部区域误着色及网络训练不稳定导致结果出现模糊问题,提出了一种新的生成对抗网络方法用于彩色化任务。首先,在生成器残差块中引入自行设计的空洞全局注意力模块,对近红外图像的每个位置理解更加充分,改善局部区域误着色问题;其次,在判别网络中,将批量归一化层替换成梯度归一化层,提升网络判别性能,改善彩色化图像生成过程带来的模糊问题;最后,将本文算法在RGB_NIR数据集上进行定性和定量对比。实验表明,本文算法与其他经典算法相比能充分提取近红外图像的浅层信息特征,在指标方面,结构相似性提高了0.044,峰值信噪比提高了0.835,感知相似度降低了0.021。

基于生成对抗网络的渐进式夜视图像彩色化算法

受限于夜景光照不足等影响,夜视成像中的部分内容极易缺失或模糊,导致这部分的彩色化效果不佳.为此,本文提出了一种基于生成对抗网络的夜视图像彩色化算法,通过对纹理细节的修复来提升图像模糊区域的彩色化效果.首先,在模糊区域修复中,利用下采样操作减少模糊图像块的比例,并用梯度调节预测器对模糊图像块周围的像素值进行预测,以此来不断增强和修复模糊的纹理细节.其次,在彩色化过程中,依托于生成的超分辨率图像和已有的先进对抗网络着色模型,通过最小化亮度和纹理等失真,来生成较为清晰的彩色图像.实验结果表明,经过模糊区域恢复和增强之后,灰度图像的PSNR平均提升0.33 dB.相比之前的夜视图像彩色化方法,本文方法可以赋予灰度夜视图像更丰富、自然的色调,更清楚地表达图像的细节,从而提高目标探测和识别效率.

基于图像融合和超分辨率重建的近红外图像彩色化

为了提升近红外图像彩色化的图像质量和分辨率,提出通过图像融合和超分辨率重建相结合的方式实现近红外图像彩色化。首先,将近红外图像和RGB彩色图像输入到带有通道注意力机制模块的图像融合网络中得到融合后的彩色化图像,然后再通过亮度增强模块提升图像亮度,最后通过图像超分辨率重建提升图像分辨率。通过实验,将本文算法与其他算法进行对比,结果表明主观视觉上本文彩色化结果的图像质量和分辨率都更高,客观评价上,基于KAIST数据集的对比实验表明,本文算法的PSNR值为20.617,SSIM值为0.882,与其他算法相比,PSNR值和SSIM值分别提升了137.91%和87.66%;在IVRL RGB-NIR数据集上的PSNR值为18.295,SSIM值为0.796,与其他算法相比也都有提升。本文算法能够有效地提升近红外图像彩色化后的图像质量及分辨率,具有一定的实际应用意义。

基于CycleGAN的灰度图像彩色化方法

当前主流的图片彩色化方法包括传统算法和深度学习方法.随着深度学习模型的发展,基于深度学习的灰度图像彩色化方法能带来更好的着色效果,但仍然存在细节损失和着色枯燥问题.针对上述问题,本文将CycleGAN模型应用在非单一类别的灰度图像彩色化上,使其在动物、植物、风景等图片上有逼真的着色效果.模型结构上对CycleGAN模型的激活函数加以改进,在生成器使用PReLU激活函数,使模型更易于训练.在判别器使用PatchGAN提高图片高分辨率上的颜色细节.通过ImageNet数据集5个热门类别图像的训练后,模型对动植物与风景图彩色化的效果十分逼真.在图像评估指标中,该模型在PSNR中比GAN高了0.603 dB约有2.1%的提升,在SSIM中明显高于其他模型,在效果上有5.1%的提升.从视觉感受来看,通过CycleGAN彩色化的图片饱和度更高,在视觉真实性上高于VGG和GAN等模型,解决了着色枯燥问题,而且更容易还原图片中的颜色细节,避免细节损失.

一种快速灰度图像彩色化算法

灰度图像的彩色化是将一幅彩色图像的颜色特征传递给另一幅灰度图像,使灰度目标图像具有与源彩色图像相似的颜色。提出了一种快速灰度图像彩色化算法,将图像像素邻域相关特性引入到匹配像素的搜索过程中。搜索匹配像素时,先在当前像素的邻域范围内进行搜索,只在邻域搜索失效时才进行全图范围的搜索,由于像素邻域相关特性,大部分像素可以在邻域搜索中找到匹配像素,只有极少像素需要进行全图搜索,从而较大地降低了搜索代价,在取得较好的彩色化效果的同时,显著地提高了彩色化速度。

基于不平度颜色混合的图像彩色化方法

黑白图像的彩色化是图像处理领域一个活跃的、有挑战性的研究课题。该文在总结图像彩色化方法的基础上,提出了一种新型的、基于不平度的颜色混合方法。实验表明,该方法能够大大简化对初始着色的要求,并且达到很好的彩色化效果。

一种改进的基于过度分割的图像彩色化方法

黑白图像的彩色化是图像处理领域一个活跃的、有挑战性的研究课题。该文在总结图像彩色化方法的基础上,重点分析了Levin方法;针对这种方法处理大尺寸图像速度较慢的问题,提出先对图像进行过度分割,再以区域为基本单元进行彩色化的方案。实验表明,该方法能够在几乎不影响彩色化效果的前提下,显著提高处理大尺寸图像的速度。

一种基于拉普拉斯方程的图像彩色化方法

黑白图像的彩色化是图像处理领域一个活跃的、有挑战性的研究课题。在总结现有图像彩色化方法的基础上,分析了彩色化由局部向全局扩展的本质,进而提出了一种通过求解拉普拉斯方程实现颜色扩展的彩色化方法。为提高边界定位能力,设计了加权形式的差分方案。与同是采用偏微分方程的Saprio彩色化方法相比,该方法与其控制颜色扩展的机制不同,图像彩色化效果要明显优于Saprio方法。

一种车载红外视频彩色化算法

针对红外图像成像的特点,将基于Fisher评价函数的多阈值红外图像分割算法和基于先验色彩知识的红外图像上色算法运用到车载红外视频彩色化中。在基于Fisher评价函数的多阈值分割之前对关键帧进行快速模糊C均值聚类,以所得聚类中心来限制多阈值分割中阈值的取值范围,实现了较快的图像分割;再以得到的阈值对红外视频逐帧进行景物分类,同时根据先验知识逐帧对不同景物类别赋予自然彩色。实验结果表明,该算法实现了对车载红外视频的自动彩色化,不仅得到的图像色彩较为真实有利于人眼的目标识别,实时性方面也达到了较好的效果。

颜色空间在图像彩色化处理中的应用分析

图像彩色化处理通常遵循颜色的局部相似性原则,选择适当的颜色空间是其重要问题。以能否实现颜色的亮度与色度分离为依据,将常用颜色空间分为颜色构成空间和颜色属性空间。考察了不同颜色空间中颜色分布的光滑程度,评估了各颜色空间在彩色化处理中的适用性。理论和实验结果表明,颜色属性空间更适用于彩色化处理。结合对彩色化本质的分析,引出了有关颜色空间选择的若干结论。

铜及其合金表面的彩色化

采用化学浸蚀和电化学处理方法,在金属铜及其合金表面获取红、蓝、绿、黑等多种色调,是近年来发展起来的一种新型的美化装饰表面处理工艺.本文试对近几年铜及其合金表面着色的研究,包括工艺配方、工作条件、着色理等作一介绍.

扩散张量加权梯度域图像彩色化方法

基于扩散张量的加权拉普拉斯核推广了图像彩色化的泊松解法,该彩色化过程是通过颜色在亮度值扩散张量加权的梯度场引导下自动传播完成的.首先在灰度图像上由用户手工地给定少量的颜色条带;然后计算每个像素的扩散张量,并利用这些扩散张量构造加权梯度场,从而导出基于散度的图像彩色化方程;最后求解方程,获得灰度图像着色结果.实验结果表明:该方法效果良好,比原泊松解法有显著改善.

避免颜色越界的各向异性扩散图像彩色化

图像彩色化是根据人工描绘的局部初始颜色用计算机为灰度图像着色。该文提出一种各向异性的非线性扩散图像彩色化方法,该方法能够克服颜色越界问题。首先建立基于偏微分的扩散方程,通过设置自适应的张量函数,使颜色在平滑区域快速均匀扩散,在颜色交界处按各向异性方式扩散,能够有效增强边缘颜色的连贯性。算法采用有限差分法实现扩散方程的数值求解,与当前流行的彩色化技术相比,该方法能得到更加清晰自然的彩色化图像和更高的图像质量。

多视野特征表示的灰度图像彩色化方法

图像彩色化是指预测灰度图像的颜色信息,虽然使用深度学习方法可自动地对灰度图像彩色化,但对图像中不同尺度目标的彩色化质量不高,尤其是在对复杂物体和小目标物体彩色化时,存在颜色溢出、误着色和图像颜色不一致的问题.针对上述问题,文中提出多视野特征表示的灰度图像彩色化方法.首先,设计多视野特征表示模块(Multi-field Feature Represented Block,MFRB),与改进的U-Net结合得到多视野特征表示U-Net.然后,将灰度图像输入U-Net中,并通过与判别器的对抗训练得到彩色图像.最后,利用VGG-19网络在不同尺度上计算图像的感知损失,提高图像彩色化结果的整体一致性.在不同类别的6个数据集上的实验表明,文中方法能有效提高彩色化图像质量,产生颜色更丰富、色调更一致的彩色图像,并在客观评价指标和主观感受上都较优.

车载红外视频图像快速彩色化技术研究

为了实时高效地对车载红外视频图像进行彩色化处理,提出了一种在Lab颜色空间基于调色板的分类彩色化方法。对增强和融合处理后的红外图像采用K均值聚类方法得到聚类中心,再利用Fisher评价函数获得分类界限以对红外视频图像进行图块景物分割,在Lab颜色空间中采用分类彩色化方法对各类别景物赋予适当的色彩。试验结果表明,采用调色板的分类彩色化方法具有更高的效率,得到的图像色彩符合人眼的视觉特性且便于夜间红外图像的彩色化实现。

一种基于彩色化的单幅彩色图像超分辨率重建

对单幅彩色图像进行超分辨率(Super-resolution,SR)重建,一般是将原始RGB图像转换为YUV图像,对亮度分量Y进行SR,而对色度分量U、V只进行简单的插值。因为图像插值很容易产生边缘模糊和锯齿,本文用彩色化算法对低分辨率的U、V分量进行处理,并提出一种基于彩色化的迭代反投影(Iterative Back-projection,IBP)方法,改善了传统基于插值的IBP算法对边缘图像的处理效果。实验结果表明,文中算法得到图像的客观质量和主观质量既优于传统的基于双立方插值处理的SR彩色图像,也优于其它以彩色化为基础进行色度图像处理的SR图像。

基于随机森林和超像素分割优化的车载红外图像彩色化算法

为了将红外图像中所包含的信息更加友好、直观地呈现给用户,改善用户对于红外图像的理解效果,针对车载红外图像的特点,提出了一种基于随机森林分类器和超像素分割算法相结合的车载红外图像彩色化算法。首先对原图的各个像素点进行特征提取,然后训练随机森林分类器,使它能够对待测试图像的各个像素点进行正确的分类。再使用超像素分割与直方图统计相结合的方法对分类结果图像进行优化。最后将优化后的分类结果图像转换到HSV色彩空间进行对应的色彩传递。通过实验证明该方法能够在很好的对红外图像进行彩色化处理的同时,保证色彩传递的正确性和实时性。

基于遗传算法的图像彩色化方法

为解决传统的彩色化算法中效果不佳、速度慢等问题,提出一种基于遗传算法的图像彩色化方法。该方法先产生初始种群,将源图像块和目标图像块的亮度特征以及Tamura纹理特征构成适应度函数,初始种群经过选择、交叉和变异等操作逐代进化后,将源图像块的颜色转移到匹配的目标图像块中,得到最终的彩色化图像。实验结果表明,与其他彩色化方法相比,该方法能在缩短运行时间的同时,有效提高彩色化质量。