融合门控变换机制和GAN的低光照图像增强方法

针对低光照图像增强过程中存在的配对图像数据依赖、细节损失严重和噪声放大问题,提出结合门控通道变换机制和生成对抗网络(GAN)的低光照图像增强方法AGR-GAN,该方法可以在没有低/正常光图像对的情况下进行训练。首先,设计特征提取网络,该网络由多个基于门控通道变换单元的多尺度卷积残差模块构成,以提取输入图像的全局上下文特征和多尺度局部特征信息;然后,在特征融合网络中,采用卷积残差结构将提取的深浅层特征进行充分融合,再引入横向跳跃连接结构,最大程度保留细节特征信息,获得最终的增强图像;最后,引入联合损失函数指导网络训练过程,抑制图像噪声,使增强图像色彩更自然匀称。实验结果表明,该方法在主观视觉分析和客观指标评价方面相较其他算法均具有显著优势,其能有效提高低光照图像的亮度和对比度,减弱图像噪声,增强后的图像更清晰且色彩更真实,峰值信噪比、结构相似度和无参考图像质量评价指标平均可达16.48 dB、0.93和3.37。

结合空间域和频域信息的双分支低光照图像增强网络

针对低光照图像增强中纹理细节模糊和颜色失真的问题,从空间域和频域信息结合的角度出发,提出一个端到端的轻量级双分支网络(SAFNet)。SAFNet使用基于Transformer的空间域处理模块和频域处理模块在空间域分支和频域分支分别对图像的空间域信息和傅里叶变换后的频域信息进行处理,并通过注意力机制引导两个分支的特征进行自适应融合,得到最终增强的图像。此外,针对频域信息提出一个频域损失函数作为联合损失函数的一部分,通过联合损失函数在空间域和频域都对SAFNet进行约束。在公开数据集LOL和LSRW上进行实验,在LOL上,SAFNet在客观指标结构相似性(SSIM)和学习感知图像块相似度(LPIPS)两项指标上分别达到0.823和0.114;在LSRW上,峰值信噪比(PSNR)和SSIM分别达到17.234 dB和0.550,均优于LLFormer(Low-Light Transformer)、IAT(Illumination Adaptive Transformer)、KinD(Kindling the Darkness)++等主流方法,且网络参数量仅为0.07×10^(6);在DarkFace数据集上,使用SAFNet作为预处理步骤对待检测图像进行增强,可以使人脸检测平均精确率从52.6%提升至72.5%。实验结果表明,SAFNet能有效提高低光照图像的质量,并能显著改善下游任务低光照人脸检测的性能。

低光照图像增强研究方法综述

低光照图像增强目的是从低光照条件下恢复细节完整的图像,并逐渐成为计算机图像处理研究的热点。图像成像的质量对于智能安防、视频监控等场景至关重要,且在相关行业中有着十分广阔的应用前景。为了深入研究低光照图像增强,对传统低光照图像增强方法进行详细地分类阐述与分析,列举了基于深度学习的图像增强方法,对所用到的各种网络以及所解决的问题进行了详细的梳理,并将所提到的方法进行了细致的对比。又对数据集进行了细致的分析和研究,并对一些常用的评价指标进行了简单梳理。对所述内容做出总结以及指出了当前研究中存在的困难,并指出了未来的研究目标。

结合多尺度深度学习网络和Retinex理论的低光照图像增强算法

针对低光照增强任务缺乏参考图像及现有算法存在的色彩失真、纹理丢失、细节模糊、真值图像获取难等问题,本文提出了一种基于Retinex理论与注意力机制的多尺度加权特征低光照图像增强算法。该算法通过基于Unet架构的特征提取模块对低光照图像进行多尺度的特征提取,生成高维度的多尺度特征图;建立注意力机制模块凸显对增强图像有利的不同尺度的特征信息,得到加权的高维特征图;最后反射估计模块中利用Retinex理论建立网络模型,通过高维特征图生成最终的增强图像。设计了一个端到端的网络架构并利用一组自正则损失函数对网络模型进行约束,摆脱了参考图像的约束,实现了无监督学习。最终实验结果表明本文算法在增强图像的对比度与清晰度的同时维持了较高的图像细节与纹理,具有良好的视觉效果,能够有效增强低光照图像,视觉质量得到较大改善;并与其他多种增强算法相比,客观指标PSNR和SSIM得到了提高。

基于上下文Transformer的低光照图像增强网络

由于现实环境中明暗光照的剧烈变化,现有的低光照图像增强方法往往会导致增强后的图像亮度和对比度不足,出现伪影和模糊等情况。此外,当前的低光照图像增强工作仅针对于图像亮度的提升,而对于噪声影响的处理较少,这些都不利于低光图像的增强。为了解决上述问题,论文提出了一种基于上下文Transformer的低光照图像增强算法。具体地,论文首先利用动态卷积网络对低光照图像进行特征提取;接着,设计了上下文Transformer对得到的特征图进行全局关联的深层特征提取,并使用金字塔池化模块进行去噪处理;最后,通过瓶颈结构的卷积网络输出得到增强后的图像。在多个主流数据集(LOL,LIME,DICM等)上的对比实验结果表明,与目前已有的主流工作相比,论文所提方法的结果不仅在主观视觉上有更好的视觉效果,更加符合人眼的视觉特点;而且在各种定量客观评价指标上也有良好的表现,尤其在PSNR和SSIM两个指标上有明显的提升。

无监督学习全局和局部特征建模的低光照图像增强

在EnlightenGAN的启发下,提出了一种新的基于无监督学习全局和局部特征建模的低光照图像增强网络(Low-light Image Enhancement Network Based on Unsupervised Learning Global and Local Feature Modeling Image Enhancement,GLFMIE)。该网络分为两个阶段:生成网络和判别网络。生成网络包括全局和局部特征建模网络,判别网络包括全局和局部判别网络。在全局特征建模中创新性地引入了Swin-Transformer Block,其移位窗口机制可以以较少的内存消耗对输入图像进行长距离的特征依赖建模,并很好地提取图像颜色、纹理和形状的特征,从而有效地抑制噪声和伪影。在局部特征建模中,设计了一种多尺度图像和特征聚合(Multi-Scale Image and Feature Aggregation,MSIFA)网络,允许在单个U型网内交换来自不同尺度的信息,进一步增强图像特征的表征能力。在多个公共数据集的测试实验中,与已有一些先进低光照图像增强算法相比,该算法均取得了SOTA级别的表现。

人脸识别任务驱动的低光照图像增强算法

图像容易受外界照明条件的影响或相机参数条件的限制,导致图像整体偏暗、视觉效果不佳,降低了下游视觉任务的性能,从而引发安全问题。以人脸识别任务为驱动,提出了一种基于对比学习范式的非成对低光照图像增强算法Low-FaceNet。Low-FaceNet主干采用基于U-Net结构的图像增强网络,引入特征保持、语义分割和人脸识别3个子网络辅助图像增强网络的训练。使用对比学习范式可以使得真实世界大量非成对的低光照和正常光照图像作为负/正样本,提高了真实场景的泛化能力;融入高阶语义信息,可以指导低阶图像增强网络更高质量地增强图像;任务驱动可以增强图像的同时提升人脸识别的准确率。在多个公开数据集上进行验证,可视化与量化结果均表明,Low-FaceNet能在增强图像亮度的同时保持图像中各种细节特征,并有效地提升低光照条件下人脸识别的准确率。

改进Retinex-Net的低光照图像增强算法

针对Retinex-Net存在噪声较大、颜色失真的问题,基于Retinex-Net的分解-增强架构,文中提出改进Retinex-Net的低光照图像增强算法.首先,设计由浅层上下采样结构组成的分解网络,将输入图像分解为反射分量与光照分量,在此过程加入去噪损失,抑制分解过程产生的噪声.然后,在增强网络中引入注意力机制模块和颜色损失,旨在增强光照分量亮度的同时减少颜色失真.最后,反射分量和增强后的光照分量融合成正常光照图像输出.实验表明,文中算法在有效提升图像亮度的同时降低增强图像噪声.

结合视觉显著性与注意力机制的低光照图像增强

低光照图像增强是解决低光照环境下各种视觉分析任务的基础和核心步骤,但现有主流方法由于普遍未能对结构信息进行有效刻画,往往存在曝光不均衡、颜色失真等问题.针对上述问题,文中提出结合视觉显著性与注意力机制的低光照图像增强方法.首先,构建基于注意力机制的低光照图像增强网络,在引入注意力机制的同时考虑局部细节和全局信息,正确刻画增强结果中的颜色信息.再遵循由粗到细的逐步优化理念,设计渐进式注意力机制,将增强过程分阶段细化,实现精细化建设.然后,引入显著性引导的特征融合,增强网络对图像中显著性目标的感知能力,从更符合视觉认知需求的角度提升对于结构信息的表达,有效避免产生噪声/伪影等问题.实验表明,文中方法有效解决现有工作存在的曝光不足与颜色失真等问题,性能较优.

改进Retinex的低光照图像增强

针对低光照条件下拍摄的图像受可见光低和噪声的影响,不仅降低图像在视觉上的美感而且会造成重要信息丢失的问题。本文提出结合平滑聚类和改进Retinex算法的估计照明图的低光照图像增强方法。使用平滑聚类将图像分离为细节层和基础层;利用max-RGB找到各通道最大值用于估计每个像素的照度,构建初始照明图,根据局部一致性和交替方向最小化技术优化照明图;自适应Gamma矫正对优化后的照明图进行非线性重标形成最终光照图;根据最终光照图增强输入图像,将增强后图像与细节层进行融合,获得清晰且细节更为丰富的图像;通过与LE,GC,HE,SSR,MSR,MSRCR,MSRCP算法相比,在图像HightB上,边缘强度最高达到1.00e+02,平均梯度最高达到10.5206,空间频率最高达到52.0508,图像清晰度最高达到14.6562,在主观评价和客观评价均优于其他对比算法。实验结果表明,所提算法具有良好的清晰度,更好的保留边缘和细节纹理,使用本文算法增强后的图片质量更高,细节更加丰富。

多支路融合注意力机制的低光照图像增强

低光照图像因对比度低、细节信息丢失、颜色失真以及噪声伪影等引起的过度曝光,质量差等问题,融合多支路和注意力机制,提出一种基于分解任务的多支路低光增强网络(MANet).首先低光输入图像经过VGG-19卷积对特征采集同时为了降低计算量,将普通卷积替换为可分离卷积的网络提取出边缘、纹理等有效特征.然后为了能够自适应对图像中不同区域进行自适应亮度增强和噪声伪影抑制,在增强模块中引入注意力机制,利用注意力机制来学习和设置不同权重信息,获取特征信息来增强.最后,为了进一步提高图像质量,在融合模块中使用多尺度特征融合,使得上下文信息得到进一步的融合和增强.实验结果表明,MANet能够自适应的提升图像亮度的同时降低图像的噪声和去除伪影,与GLADNet网络相比PSNR提高了7%,SSIM提高了3.3%.

基于GAN和U-Net的低光照图像增强算法

夜间、低光照等条件下的产生的图像数据,存在画面过暗、细节丢失的问题,对理解图像内容、提取图像特征造成阻碍.研究针对此类图像的增强方法,恢复图像的亮度、对比度和细节,在数字摄影、上游计算机视觉任务中有着重要的应用价值.本文提出一种基于U-Net的生成对抗网络,生成器采用带有混合注意力机制的U-Net模型,其中混合注意力模块将非对称的non-local的全局信息和通道注意力的通道权重信息相结合,提高网络的特征表示能力.判别器采用基于PatchGAN的全卷积网络模型,对图像不同区域进行局部处理.本文引入多损失加权融合的方法,从多个角度引导网络学习低光照图像到正常光照图像的映射.通过实验证明,该方法在峰值信噪比、结构相似性等客观指标上取得较好的成绩,同时合理的恢复了图像的亮度、对比度和细节,直观上改善了图像的感知质量.

语义分割和HSV色彩空间引导的低光照图像增强

目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法,但它们往往无法在视觉上产生吸引人的结果,这些图像存在细节不清晰、对比度不高和色彩失真等问题,同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题,提出一种语义分割和HSV(hue, saturation and value)色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。最终,本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME(low-light image enhancement)、RetinexNet(deep retinex decomposition)、EnlightenGAN(deep light enhancement using generative adversarial networks)、Zero-DCE (zero-reference deep curve estimation)和SGZ(semantic-guided zero-shot learning)5种方法进行了比较。在峰值信噪比(peak signal-tonoise ratio,PSNR)上,本文方法平均比Zero-DCE (zero-reference deep curve estimation)提高了0.32 dB;在自然图像质量评价(natural image quality evaluation,NIQE)方面,本文方法比EnlightenGAN提高了6%。从主观上看,本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。

一种改进的暗通道先验低光照图像增强算法

针对低光照图像增强算法常见的亮度不均匀、色彩失真、图像噪点较多、细节不清晰等问题,提出了一种改进的暗通道先验低光照图像增强算法。该方法对像素值取反后的低光照图像,首先采用引导滤波,解决图像在运用最小值滤波计算暗通道时引起的块效应,其次在剔除像素为255的纯白色点干扰后进行大气光值的计算,然后引入细化系数进行透射率自适应修正使透射率更加平滑,最后采用非局部平均滤波进行噪声去除。实验表明,所提出的算法使图像的亮度增强合适,细节清晰,在Low-Light弱光图像数据集上测试图片,所得到的SSIM值比对比算法提升20.5%,PSNR值提升19.9%,无论从主观感受,还是客观评价指标等各方面,都有优化。

基于Retinex先验引导的低光照图像快速增强方法

低光照图像增强旨在提高在低光照环境下所采集图像的视觉质量.然而,现有的低光照图像增强方法难以在计算效率与增强性能之间达到很好的平衡,为此,提出一种基于Retinex先验引导的低光照图像快速增强方法,将Retinex模型与Gamma校正相结合,快速输出具有对比度高、视觉效果好和低噪声的图像.为获取具有良好光照的图像以引导确定与输入图像尺寸大小一致的Gamma校正图,提出基于Retinex模型的先验图像生成方法.针对所提先验图像生成方法在极低光照区域中存在颜色失真的问题,提出一种基于融合的Gamma校正图估计方法,采用反正切变换恢复极低光照区域的颜色和对比度,以提升Gamma校正图在极低光照区域的增强性能.为抑制输出图像的噪声,考虑到完全平滑的Gamma校正图不会平滑细节纹理的特点,提出基于域变换递归滤波的Gamma校正图优化方法,降低输出图像噪声的同时保持颜色和对比度.实验结果表明,所提方法不仅在主客观图像质量评价上优于现有大多数主流算法,而且在计算效率上具有十分显著的优势.

基于语义信息和注意力机制的低光照图像增强

针对低光照条件下拍摄的图片存在低对比度、噪声等问题,提出了一种结合语义信息与注意力机制的低光照增强方法。首先,利用一对联合训练的U-Net网络,通过共享特征提取器,分别得到低光照图像的初步增强结果和语义信息分布概率图;然后,通过注意力机制模块把通过U-Net网络得到的低光照增强特征和语义特征进行信息融合,解决低光照下图片边缘信息丢失和曝光不足导致的图像模糊不清的问题。实验表明,该方法在处理低光照对比度不高和曝光不均匀图片时,可有效消除图像伪影以及提高图像饱和度与不同区域块的对比度。

基于层间引导的低光照图像渐进增强算法

低光照图像的图像质量通常较低,低光照图像增强(LLIE)旨在提高这类图像的视觉质量。针对现有的LLIE算法大多专注增强亮度和对比度、忽略细节增强的问题,提出一个基于层间引导的低光照图像渐进增强算法(PELG),兼顾图像亮度和细节增强。首先,使用拉普拉斯金字塔(LP)降低任务复杂度,提高算法效率;其次,利用各频率分量间的相关性,在低频和高频分量之间构建基于Transformer的层间引导融合模块,在各高频分量之间构建轻量级的层间引导融合模块,有效精炼金字塔较低层增强信息指导较高层处理图像,实现基于层间引导的渐进增强;最后,通过LP重建亮度均匀、细节清晰的增强图像。实验结果表明,所提算法的峰值信噪比(PSNR)在LOL(LOw-Light dataset)-v1上比DSLR(Deep Stacked Laplacian Restorer)高2.3 dB,在LOL-v2上比UNIE(Unsupervised Night Image Enhancement)高0.55 dB;与其他基于深度学习的LLIE算法相比,所提算法运行速度快,增强结果在客观和主观质量上均获得明显提升,更适用于实际场景。

融合残差结构与注意力机制的暗光图像增强算法

目的低光工况或拍摄技巧影响都可能获得低光照图像,为解决此类图像对比度低、噪声大、颜色失真等问题,提出一种卷积神经网络增强模型RetKIND,包括分解网络、亮度调整网络和降噪网络。方法它借助残差模块(RB)和跳跃连接,有效抑制分解网络在分解时产生的噪声;融合U-Net架构、空洞卷积和EBAM高效注意力机制构建降噪网络,利用空洞卷积扩大感受野,提取更多图像信息,提高EBAM在通道和空间上提取反射图的细节、纹理、颜色等特征的能力,实现图像去噪;由UC(亮度调整网络中的自定义模块)和普通卷积组成亮度调整网络,旨在减少光照图细节缺失,提高光照分量对比度。融合去噪后的反射分量和增强后的光照分量,得到正常光照图像。结果仿真结果表明:在LOL数据集上,相较R2RNet,FPSNR和FSSIM值分别上升了6.2%和4.2%;相较URetinex-Net,FPSNR和FSSIM值分别上升了5.9%和1.2%;相较DEANet,FPSNR和FSSIM值分别上升了2.9%和1.1%。结论Ret-KIND模型既能提升图像亮度,又能降低图像的噪声,有助于推动低光图像增强模型应用到目标检测领域。

一种用于夜间目标跟踪的图像增强方法

基于深度学习的视觉目标跟踪方法已经在一些公开的数据集和光照条件良好的现实场景中取得了较好的成绩,但是此类方法在面临极低亮度的夜间场景时跟踪效果有较大幅度的下降。针对上述问题,基于Retinex理论和U-Net编解码器结构设计了一个低光照图像增强网络,方法结合注意力机制增强对全局信息的利用,利用深监督加快网络的收敛,最后以反射分量作为网络的输出。夜间场景图像经过图像增强后将得到接近正常光照场景的图像,再将此图像送入目标跟踪网络进行目标跟踪。方法结合视觉目标跟踪网络SiamRPN在DarkTrack2021数据集上进行了实验,结果表明,在基准网络之前插入的低光照图像增强网络,夜间场景下视觉目标跟踪的成功率和精确度可以提升13.0%和14.7%。

低光照图像的亮度增强与颜色恢复方法研究

低光照图像由于能见度低,不利于人眼观察和计算机视觉处理中的目标特征识别。为此,论文提出了一种基于同态滤波与颜色恢复相结合的低光照图像增强方法。首先,采用同态滤波对低光图像进行初步处理,增强图像的亮度和纹理;其次,在Lab颜色空间下,对a、b颜色通道进行偏色分析,并基于直方图规定化对经过同态滤波处理的图像的a、b颜色通道进行色彩匹配校正;最后,将三通道合并转换到RGB颜色空间,得到最终的增强图像。实验表明,该图像增强方法对低光照图像的亮度增强和颜色恢复具有较好的性能,且更符合人眼视觉。