基于生成对抗网络的自然场景低照度增强模型

当前大多数低照度图像增强模型在自然环境中难以兼顾照度增强和原图特征保留两方面的效果,而且不能很好地适应多种不同的低照度场景,为此,提出一种基于生成对抗网络的改进模型。首先通过标准卷积提取浅层特征,然后利用光照一致性损失构建全局-局部照明学习(GLIE)模块。在GLIE内部设计基于全局-局部的特征提取结构,通过移位窗口自注意力机制和多尺度空洞卷积分别实现场景级特征提取和光照增强平滑。通过原图特征保留块对GLIE的输出特征和浅层特征进行拼接融合和通道注意力加强,实现对原图特征的保留和噪声抑制。在此基础上,通过改进的损失函数在模型训练过程中同时实现对照度增强和原图特征保留的有效监督。实验结果表明,该模型主观效果真实自然,与Retinex-Net、EnlightenGAN等主流模型相比,其对原图色彩纹理细节保留和噪声抑制的效果更好,在整体测试数据集上自然图像质量评估指标和亮度顺序误差分别达到3.88和199.4,在不同测试数据集中2个指标都取得了前3名的结果,整体性能良好。

光照不均匀条件下无人机航拍低照度图像增强方法

增强图像时高低频参数未增强,没有更好地保留图像的细节和平衡图像的亮度,因此,提出一种光照不均匀条件下无人机航拍低照度图像增强方法。首先通过高斯滤波预处理无人机航拍图像,实现无人机航拍图像中的噪声抑制,将预处理后的图像通过小波分解得到图像的高频参数和低频参数,分别通过双边滤波算法、软阈值方法和直方图对图像的低频参数和高频参数进行增强,采用小波重构对增强后的图像高频参数和低频参数进行重构,得到增强后的无人机航拍图像。通过实验验证,该方法能够实现一种效果较好的图像增强,在原始图像基础上,通过文中方法增强原始亮度8.14%、对比度提高了37.90%以及清晰度增加了31.01%,使得图像的整体质量得到了显著提升,为后续的图像分析、处理提供了更加准确、丰富的信息。

基于CRTNet的低照度图像增强方法

针对低照度环境下获取的图像与颜色失真问题,该文结合了通道注意力和空间注意力的机制,提出了一种基于颜色还原Transformer网络(color restoraration Transformer networks, CRTNet)的低照度图像增强方法。CRTNet由颜色注意力模块(color attention module, CAM)、颜色映射模块(color map module, CMM)和顺序增强结构组成。首先,CAM分为颜色通道注意力模块和颜色空间注意力模块两部分,利用Transformer的全局信息捕捉能力,颜色通道注意力模块关注有意义的颜色通道并赋予更高权重,生成通道注意力向量,颜色空间注意力模块使用三层卷积结构,关注高维空间中的空间细节信息,生成空间注意力权重图;其次,CMM通过线性拟合过程提取图像高维特征,对64D空间中的特征进行通道和空间两个维度的缩放和平移获得图像全局信息和细节信息,并与原始图像特征相结合,补充原始图像特征中颜色、亮度、对比度和细节等信息,实现颜色增强;最后,采用顺序增强结构,将CMM的输出作为输入重复进行3次CAM和CMM操作,以拟合更高阶的函数映射,实现低照度图像的有效增强。对公共数据集的实验和用户研究表明,所提方法在定量测量、细节与颜色复原方面取得了最好的结果。

基于改进暗通道先验的海上低照度图像增强算法

针对基于暗通道先验的低照度图像增强算法在处理极端海上低光环境下图像时会存在光晕效应、色彩失真的问题,提出了1种基于暗通道先验的自适应海上低照度图像增强算法。首先,通过选取图像类型划分指标,将数据集中的图像分类,并通过Otsu方法和图像直方图分布,获取图像的区域划分阈值,将图像进行划分得到局部区域图,分析各类图像的局部区域图之间的关系;最后,通过对不同的局部区域图采用不同的改进暗通道先验算法进行处理,将1个图像中的2个增强后局部区域图合并,得到整张图像的增强结果,并对增强后图像进行主客观的图像质量评价。实验结果表明,该算法解决了现有算法在处理极端海上低照度图像时存在光晕效应和色彩失真的问题,并使不同环境下的海上低照度图像都能达到较好的恢复效果。

金字塔渐进融合低照度图像增强网络

针对现有低照度图像增强网络对不同尺度特征信息存在感知与表达能力不足的问题,提出金字塔渐进融合低照度图像增强网络模型。网络对图像进行多次下采样操作以组成特征金字塔,通过在特征金字塔的三个不同分支上加入跳跃连接,将不同尺度的特征图进行相互融合。通过精细恢复模块进一步提取精炼信息,将特征图恢复到正常的光照图像。结果表明,该网络模型不但能有效地提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,同时能够有效地抑制图像中的暗部噪声,使增强后的图像整体画面真实自然。

基于任务解耦的低照度图像增强方法

低照度条件下拍摄的照片往往存在亮度低、颜色失真、噪声高、细节退化等多重耦合问题,因此低照度图像增强是一个具有挑战性的任务.现有基于深度学习的低照度图像增强方法通常聚焦于对亮度和色彩的提升,导致增强图像中仍然存在噪声等缺陷.针对上述问题,本文提出了一种基于任务解耦的低照度图像增强方法,根据低照度图像增强任务对高层和低层特征的不同需求,将该任务解耦为亮度与色彩增强和细节重构两组任务,进而构建双分支低照度图像增强网络模型(Two-Branch Low-light Image Enhancement Network,TBLIEN).其中,亮度与色彩增强分支采用带全局特征的U-Net结构,提取深层语义信息改善亮度与色彩;细节重构分支采用保持原始分辨率的全卷积网络实现细节复原和噪声去除.此外,在细节重构分支中,本文提出一种半双重注意力残差模块,能在保留上下文特征的同时通过空间和通道注意力强化特征,从而实现更精细的细节重构.在合成和真实数据集上的广泛实验表明,本文模型的性能超越了当前先进的低照度图像增强方法,并具有更好的泛化能力,且可适用于水下图像增强等其他图像增强任务.

基于HSV与级联卷积神经网络的图像增强模型在低照度图像中的应用

为改善恶劣情况下低照度图像亮度不均匀、细节信息丢失等问题,将传统的红、绿、蓝(RGB)颜色空间转换到色调、饱和度、亮度(HSV)颜色空间,通过HSV颜色空间进行分量提取和图像增强。利用特征提取网络和纹理细化网络构建级联卷积神经网络,并与视觉感官色彩空间相结合,进行低照度图像的增强。采用正则化缓解模型的过拟合现象,并通过仿真实验对比验证了该模型在低照度图像上的增强效果,亮度、对比度、饱和度以及色调方面均表现出良好的增强效果。模型在RELLISUR数据集和Exclusive-Dark数据集上的峰值信噪比分别为24.32和26.70,结构相似度分别为0.97和0.96,对比度分别为9.12和8.89,在两个数据集上的运算时间分别为1.33 s和1.38 s。除运算时间方面较为落后外,其余指标均为最优值,并且结构相似度最接近于1,表明该模型能够有效还原图像细节信息,具有良好的科学性与实用性。

基于光谱反射率的低照度图像增强方法研究

低照度图像增强技术是机器视觉研究热点之一,Retinex理论模型假设图像是反射分量与光照分量乘积,通过去除或校正光照分量并结合物体的反射特性来恢复图像,被广泛应用在传统算法和深度学习增强模型中。光谱反射率是颜色的指纹,多光谱图像比普通图像的信息量更为丰富。色度学理论和Retinex理论都认为图像的颜色特性取决于反射系数,但光谱反射率是基于仪器测量获得真实的数据,而图像反射分量是基于图像分解假设的数据,目前文献没有从光谱角度对低照度图像增强进行研究。受Retinex理论启发结合深度学习非线性拟合能力,用颜色的光谱反射率代替RetinexNet网络中的图像反射分量,用CIE标准光源的光谱功率分布代替网络中的图像照明分量,提出了一种基于光谱反射率的低照度图像增强方法。首先对图像数据库中正常光照图像进行光谱重建,构建低照度图像与正常光照的多光谱图像数据集。然后训练将低照度图像转换成多光谱图像的深度学习网络模型。任意低照度图像通过网络模型得到多光谱图像,多光谱图像根据色度学理论得到CIEXYZ三刺激值,再通过标准颜色空间转换到RGB颜色空间中显示。该方法在公开LOL数据集上进行训练与测试,结果表明在图像噪声抑制和颜色恢复方面都优于常用方法,证明该方法对低照度图像增强的优越性和有效性。

基于照度图引导的低照度图像增强网络

在低照度环境下采集的图像,由于光照的不均匀性,存在能见度差、对比度低和颜色失真等问题.现有的大多数低照度图像增强方法存在过增强或欠增强的现象,影响视觉感知和后续目标检测任务.针对上述问题,提出一种基于照度图引导的低照度图像增强网络.首先根据低照度图像的灰度分布特点构造对应的照度图,度量低照度图像不同区域块的明暗程度;然后利用照度图作为网络增强的引导图,与低照度图像一起送入图像增强网络来获得增强后的图像.为了解决训练数据不足的问题,提出一种基于内循环和概率旋转的数据增强方法来扩充训练数据样本的数量和多样性;同时,针对目前图像增强方法中普遍存在照度不均匀的问题,基于直方图匹配的思想构建一种直方图损失函数,约束并指导网络的训练.在合成数据集LOL和真实图像上的实验结果表明,所提网络在低照度图像增强方面获得了更好的主观视觉效果;与经典的RetinexNet方法相比,所提方法在PSNR和SSIM客观定量指标上分别提高了7.905 dB和0.328;该网络对后续目标检测任务的检测率可提高10.17%~17.19%.

融合局部-全局关系的多尺度低照度图像增强

在光照较差的场景中,由于抵达成像设备的光子数量有限,捕获的图像往往会表现出高噪声、低可见度以及色彩偏差等问题.基于卷积神经网络的低照度图像增强是一种有效的增强方法,但由于不恰当的网络结构设计,现有基于卷积神经网络的低照度图像增强方法易使增强的图像出现模糊、色彩偏差等问题.为了缓解上述现象,本文提出一种多尺度局部-全局关系耦合网络以提高卷积神经网络的特征表示能力.该网络由多尺度-多分支信息融合模块、局部-全局关系耦合模块以及输入可知的注意力特征融合3部分构成.为了验证所提方法的优越性,本文在多个低照度数据集上进行了定性、定量对比实验,并从网络结构和损失函数两方面开展消融实验,进一步验证了本文所提方法的有效性.

基于多尺度特征融合的变电站低照度表计图像增强网络

针对变电站低照度表计图像亮度不足、对比度不强、噪声过多以及细节缺失等问题,提出了一种基于多尺度特征融合的低照度图像增强网络。该网络模型包含3个子网络,分别为浅层特征提取网络、深层特征融合网络和亮度调整网络。首先,利用InceptionV3网络构成的浅层特征提取模块,对低照度图像的边缘、纹理等细节进行初步提取;其次,设计了由上下采样结构组成的深层特征融合网络,引入多任务Transformer模块,调整特征图像细节、色差,并去除噪声;同时,设计了融合注意力机制的跨层注意力增强模块,自适应地融合不同特征层之间的特征关系;最后,经过亮度调整网络,使输出的图像亮度更加均匀,提升了人眼感官效果。从不同尺度的增强图像中提取L1损失,再对其加和即可得到衡量网络的训练损失的总损失函数。消融对比试验结果表明,所提网络与其他算法相比,在提高图像亮度、减少噪声的同时还原了细节信息,在LOL和MIT‒Adobe FiveK测试集上的rPSNR值分别提升了3.57%和4.32%,sSSIM值分别提升了1.58%和1.49%。所设计模型表现出较强的泛化性、鲁棒性和准确性,可实现对实际变电站低照度表计图像的增强,为后续仪表识别读数提供参考。

基于通道注意力与光照权重的无监督低照度图像增强

现有部分无监督低照度图像增强方法在增强图像曝光不足的区域时会降低其高光区域亮度,导致增强后的图像出现伪影;单一的TV损失既无法区别照明特征图的细节,还会忽略照明特征图边缘明暗度差异突出的地区,导致光晕现象的产生。为此,提出一种基于通道注意力与光照权重的无监督低照度图像增强方法 VARRNet。首先,VARRNet将图像转化为HSV空间,将V空间与Retinex理论结合以避免损失信息;其次,为了防止在亮度增强过程中生成伪影,设计了一个亮度估计网络引入通道注意力ECA分配输入特征图的权重,以恢复曝光不足区域的亮度,并有效保持高光区域的亮度;最后,在亮度估计网络中结合TV损失与光照分量权重来保留增强后特征图的丰富细节信息,消除强边缘处的光晕。在与当前流行的5个低照度图像增强方法进行比较实验发现,VARRNet在亮度增强、细节保留、色彩恢复、伪影抑制和光晕去除等方面均取得了更好的可视化效果。

改进的生成对抗网络低照度图像增强

针对目前低照度图像增强方法,由于缺乏足够的低照度数据集,容易出现模型泛化能力差和过拟合的问题,本文提出一种改进的生成对抗网络低照度图像增强方法.在保持原生成对抗网络主干不变的基础上做了系列改进:首先在真实图像与生成图像中应用可微增强对数据进行扩容.其次,为了更有效地提取特征,提升训练效果,生成网络添加了残差结构和scSE注意力机制.此外,为了提高模型训练的稳定性,网络优化过程使用huber函数平滑损失值.实验表明,本文所提方法与主流低照度增强方法相比,在多项评价指标方面具有明显优势.

一种基于ARD⁃GAN的低照度图像增强方法

为解决低照度图像增强过程中噪声放大、细节不足以及色彩还原问题,本文提出一种基于注意力机制残差密集生成对抗网络(Attention Residual Dense⁃Generative Adversarial Networks,ARD⁃GAN)的低照度图像增强方法.首先,该方法在全局光照估计模块(Global Illumination Estimation Module,GIEM)中生成全局曝光注意力图,以引导后续模块更好地进行照度增强;其次,使用卷积残差模块(Convolution and Residual Module,CRM)和基于通道注意力的残差密集模块(Channel Attention Residual Dense Module,CARDM)分别提取浅层特征和深层特征,并将不同层次的特征融合以获取更好的细节信息;然后,在CARDM基础上将密集连接与批归一化相结合抑制噪声;最后改进了损失函数,使增强后图像色彩还原更好.实验表明,ARD⁃GAN有与主流算法相比,在主观视觉和客观评价指标上均得到更好的效果.

局部与全局相融合的孪生低照度视频增强网络

在低照度环境下拍摄到的视频往往有对比度低、噪点多、细节不清晰等问题,严重影响后续的目标检测、分割等计算机视觉任务.现有的低照度视频增强方法大都是基于卷积神经网络构建的,由于卷积无法充分利用像素之间的长程依赖关系,生成的视频往往会有部分区域细节丢失、颜色失真的问题.针对上述问题,提出了一种局部与全局相融合的孪生低照度视频增强网络模型,通过基于可变形卷积的局部特征提取模块来获取视频帧的局部特征,并且设计了一个轻量级自注意力模块来捕获视频帧的全局特征,最后通过特征融合模块对提取到的局部特征和全局特征进行融合,指导模型能生成颜色更真实、更具细节的增强视频.实验结果表明,本方法能有效提高低照度视频的亮度,生成颜色和细节都更丰富的视频,并且在峰值信噪比和结构相似性等评价指标中也都优于近几年提出的方法.

面向舞台场景的改进Retinex低照度图像增强

针对舞台场景拍摄亮度动态范围受限问题,提出一种基于改进Retinex算法的舞台低照度增强方法。先对舞台场景的低照度图像采用改进的Retinex算法进行增强处理,得到整体增强后图像。将原图与增强后图像进行融合,处理掉过度增强和不需要增强的背景区域,得到最终图像。其中,改进的Retinex算法采用高斯-拉普拉斯高通滤波先求出反射分量后求出光照分量,解决反射分量细节丢失的问题。然后对反射分量进行对比度和细节增强处理,再与光照分量相乘得出增强后图像。本方法在软件平台验证的基础上进行FPGA硬件平台验证。实验结果表明,与其他经典方法相比,本方法在不同的舞台场景,尤其是明暗差距较大的舞台场景上,视觉效果明显,峰值信噪比(PSNR)平均提高了57.06%,结构相似性(SSIM)平均提高了27.34%。处理后的图像还原了舞台的真实亮度动态范围,并且色彩饱和度较好自然不失真,保证了较好的图像质量。

基于照度调整的矿井非均匀照度视频图像增强算法

由于煤矿井下空间环境受粉尘等因素的影响,视频监控系统获取的作业环境图像存在照度低、照度不均匀等问题,而且现有的算法在处理煤矿非均匀照度图像时会出现颜色失真或者过增强现象,这不利于对图像的判读和应用。结合煤矿的实际数据,提出了一种新的图像增强算法,克服了现有算法存在的问题:分析井下视频图像特点,采用具有边缘保持特性的多尺度引导滤波获取照度分量;基于Retinex理论,将图像分解为照度分量与反射分量;针对照度不均匀的特性,提出一种新的"S型"曲线函数对其进行调整;分析图像的特性,引入受限对比度自适应直方图对其对比度进行增强;提出新的图像增强模型,利用细节增强系数和照度增强系数实现对图像的综合增强。与其他4种算法的对比试验表明,本文算法在主观评价和客观评价方面都优于上述算法。实验证明,本算法具有有效提升图像整体亮度和对比度,同时避免光源附近亮区域的过增强现象的特点,能够满足矿山实际应用需求。

注重明度感知的通用渐进式无监督图像增强方法

针对低照度图像增强研究中真实成对训练数据获取难、现有方法难以同时兼顾上下游视觉任务等问题,设计一种注重明度感知的渐进式无监督图像增强方法。具体地,采用多项损失共同引导模型训练进程,从而摆脱对成对训练数据的依赖;借助所提明度感知参数估计网络,仅需0.035 M参数即可完成特征提取;为提高非线性调整能力并减少迭代次数,设计一种高阶非线性映射曲线。为验证所提方法有效性,在图像增强领域广泛使用的权威数据集上开展定性与定量实验,结果均表明所提方法优于已有图像增强方法。此外,以无人机夜间目标跟踪作为典型下游视觉感知任务展开测试,在相关权威评估基准上的试验结果表明,所提方法对现有跟踪器在夜间场景的性能有显著提升,其精度与成功率的增益分别为21.50%与32.23%。大量实验结果表明所提方法可以显著改善低照度图像视觉效果,并有效缓解夜间场景下因低照度挑战所致下游视觉算法性能下降问题。

低照度图像增强方法综述

低照度图像增强作为图像处理领域的一个重要分支,其目的是为了提高输入图像的亮度、对比度,同时抑制图像中的噪声,增强细节区域,以提升图像整体的视觉效果。针对低照度图像增强问题,梳理了代表性方法,从基于域处理、基于Retinex理论、基于图像去雾算法和基于深度学习等4种类型,详细介绍了各类算法的基本原理及步骤流程,并对各算法的实际增强效果进行了评价。据此,分析指出了目前低照度图像增强的瓶颈问题。最后,结合各种算法的特点,对低照度图像增强算法未来的发展趋势进行了总结和展望。

多级分解的Retinex低照度图像增强算法

针对现有算法对图像边缘细节增强不足及无法有效控制各尺度信息增强程度的问题,提出了多级分解的Retinex低照度图像增强算法。该算法在Retinex分解模型和双边滤波的基础上,通过设置不同的滤波参数,获取表征图像不同尺度信息的反射分量和照度分量;通过使用指数函数对分解得到的各级反射分量进行增强,能够有效提升图像边缘细节的表达能力;通过使用S型函数对最终的照度分量进行处理,能够在提升低照度图像整体亮度的同时抑制高亮度区域;通过颜色恢复函数对增强图像进行后处理,进一步避免色彩偏差和失真的问题。实验结果表明,新算法能够改善低照度图像的视觉质量,在清晰度、信息熵、对比度等指标方面都有所提升。