金字塔渐进融合低照度图像增强网络

针对现有低照度图像增强网络对不同尺度特征信息存在感知与表达能力不足的问题,提出金字塔渐进融合低照度图像增强网络模型。网络对图像进行多次下采样操作以组成特征金字塔,通过在特征金字塔的三个不同分支上加入跳跃连接,将不同尺度的特征图进行相互融合。通过精细恢复模块进一步提取精炼信息,将特征图恢复到正常的光照图像。结果表明,该网络模型不但能有效地提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,同时能够有效地抑制图像中的暗部噪声,使增强后的图像整体画面真实自然。

基于任务解耦的低照度图像增强方法

低照度条件下拍摄的照片往往存在亮度低、颜色失真、噪声高、细节退化等多重耦合问题,因此低照度图像增强是一个具有挑战性的任务.现有基于深度学习的低照度图像增强方法通常聚焦于对亮度和色彩的提升,导致增强图像中仍然存在噪声等缺陷.针对上述问题,本文提出了一种基于任务解耦的低照度图像增强方法,根据低照度图像增强任务对高层和低层特征的不同需求,将该任务解耦为亮度与色彩增强和细节重构两组任务,进而构建双分支低照度图像增强网络模型(Two-Branch Low-light Image Enhancement Network,TBLIEN).其中,亮度与色彩增强分支采用带全局特征的U-Net结构,提取深层语义信息改善亮度与色彩;细节重构分支采用保持原始分辨率的全卷积网络实现细节复原和噪声去除.此外,在细节重构分支中,本文提出一种半双重注意力残差模块,能在保留上下文特征的同时通过空间和通道注意力强化特征,从而实现更精细的细节重构.在合成和真实数据集上的广泛实验表明,本文模型的性能超越了当前先进的低照度图像增强方法,并具有更好的泛化能力,且可适用于水下图像增强等其他图像增强任务.

基于改进暗通道先验的海上低照度图像增强算法

针对基于暗通道先验的低照度图像增强算法在处理极端海上低光环境下图像时会存在光晕效应、色彩失真的问题,提出了1种基于暗通道先验的自适应海上低照度图像增强算法。首先,通过选取图像类型划分指标,将数据集中的图像分类,并通过Otsu方法和图像直方图分布,获取图像的区域划分阈值,将图像进行划分得到局部区域图,分析各类图像的局部区域图之间的关系;最后,通过对不同的局部区域图采用不同的改进暗通道先验算法进行处理,将1个图像中的2个增强后局部区域图合并,得到整张图像的增强结果,并对增强后图像进行主客观的图像质量评价。实验结果表明,该算法解决了现有算法在处理极端海上低照度图像时存在光晕效应和色彩失真的问题,并使不同环境下的海上低照度图像都能达到较好的恢复效果。

基于光谱反射率的低照度图像增强方法研究

低照度图像增强技术是机器视觉研究热点之一,Retinex理论模型假设图像是反射分量与光照分量乘积,通过去除或校正光照分量并结合物体的反射特性来恢复图像,被广泛应用在传统算法和深度学习增强模型中。光谱反射率是颜色的指纹,多光谱图像比普通图像的信息量更为丰富。色度学理论和Retinex理论都认为图像的颜色特性取决于反射系数,但光谱反射率是基于仪器测量获得真实的数据,而图像反射分量是基于图像分解假设的数据,目前文献没有从光谱角度对低照度图像增强进行研究。受Retinex理论启发结合深度学习非线性拟合能力,用颜色的光谱反射率代替RetinexNet网络中的图像反射分量,用CIE标准光源的光谱功率分布代替网络中的图像照明分量,提出了一种基于光谱反射率的低照度图像增强方法。首先对图像数据库中正常光照图像进行光谱重建,构建低照度图像与正常光照的多光谱图像数据集。然后训练将低照度图像转换成多光谱图像的深度学习网络模型。任意低照度图像通过网络模型得到多光谱图像,多光谱图像根据色度学理论得到CIEXYZ三刺激值,再通过标准颜色空间转换到RGB颜色空间中显示。该方法在公开LOL数据集上进行训练与测试,结果表明在图像噪声抑制和颜色恢复方面都优于常用方法,证明该方法对低照度图像增强的优越性和有效性。

基于照度图引导的低照度图像增强网络

在低照度环境下采集的图像,由于光照的不均匀性,存在能见度差、对比度低和颜色失真等问题.现有的大多数低照度图像增强方法存在过增强或欠增强的现象,影响视觉感知和后续目标检测任务.针对上述问题,提出一种基于照度图引导的低照度图像增强网络.首先根据低照度图像的灰度分布特点构造对应的照度图,度量低照度图像不同区域块的明暗程度;然后利用照度图作为网络增强的引导图,与低照度图像一起送入图像增强网络来获得增强后的图像.为了解决训练数据不足的问题,提出一种基于内循环和概率旋转的数据增强方法来扩充训练数据样本的数量和多样性;同时,针对目前图像增强方法中普遍存在照度不均匀的问题,基于直方图匹配的思想构建一种直方图损失函数,约束并指导网络的训练.在合成数据集LOL和真实图像上的实验结果表明,所提网络在低照度图像增强方面获得了更好的主观视觉效果;与经典的RetinexNet方法相比,所提方法在PSNR和SSIM客观定量指标上分别提高了7.905 dB和0.328;该网络对后续目标检测任务的检测率可提高10.17%~17.19%.

融合局部-全局关系的多尺度低照度图像增强

在光照较差的场景中,由于抵达成像设备的光子数量有限,捕获的图像往往会表现出高噪声、低可见度以及色彩偏差等问题.基于卷积神经网络的低照度图像增强是一种有效的增强方法,但由于不恰当的网络结构设计,现有基于卷积神经网络的低照度图像增强方法易使增强的图像出现模糊、色彩偏差等问题.为了缓解上述现象,本文提出一种多尺度局部-全局关系耦合网络以提高卷积神经网络的特征表示能力.该网络由多尺度-多分支信息融合模块、局部-全局关系耦合模块以及输入可知的注意力特征融合3部分构成.为了验证所提方法的优越性,本文在多个低照度数据集上进行了定性、定量对比实验,并从网络结构和损失函数两方面开展消融实验,进一步验证了本文所提方法的有效性.

基于通道注意力与光照权重的无监督低照度图像增强

现有部分无监督低照度图像增强方法在增强图像曝光不足的区域时会降低其高光区域亮度,导致增强后的图像出现伪影;单一的TV损失既无法区别照明特征图的细节,还会忽略照明特征图边缘明暗度差异突出的地区,导致光晕现象的产生。为此,提出一种基于通道注意力与光照权重的无监督低照度图像增强方法 VARRNet。首先,VARRNet将图像转化为HSV空间,将V空间与Retinex理论结合以避免损失信息;其次,为了防止在亮度增强过程中生成伪影,设计了一个亮度估计网络引入通道注意力ECA分配输入特征图的权重,以恢复曝光不足区域的亮度,并有效保持高光区域的亮度;最后,在亮度估计网络中结合TV损失与光照分量权重来保留增强后特征图的丰富细节信息,消除强边缘处的光晕。在与当前流行的5个低照度图像增强方法进行比较实验发现,VARRNet在亮度增强、细节保留、色彩恢复、伪影抑制和光晕去除等方面均取得了更好的可视化效果。

改进的生成对抗网络低照度图像增强

针对目前低照度图像增强方法,由于缺乏足够的低照度数据集,容易出现模型泛化能力差和过拟合的问题,本文提出一种改进的生成对抗网络低照度图像增强方法.在保持原生成对抗网络主干不变的基础上做了系列改进:首先在真实图像与生成图像中应用可微增强对数据进行扩容.其次,为了更有效地提取特征,提升训练效果,生成网络添加了残差结构和scSE注意力机制.此外,为了提高模型训练的稳定性,网络优化过程使用huber函数平滑损失值.实验表明,本文所提方法与主流低照度增强方法相比,在多项评价指标方面具有明显优势.

改进Retinex的低照度图像增强研究

针对低照度图像在增强过程中出现的色彩失真、亮度不均、细节模糊等问题,提出一种改进Retinex低照度图像增强算法。算法基于HSI色彩空间,首先利用Retinex模型将亮度分量I分解为L成分和R成分;采用对比度受限自适应直方图均衡化拉伸L成分,提升图像对比度,基于均方差量化R成分,增强图像整体亮度;并利用均值滤波提取图像细节层,提升图像细节信息;根据I分量与S分量的相关性,提出一种饱和度分量S的自适应拉伸函数,调整图像色彩,最后将增强图像转回RGB色彩空间。实验结果表明,所提算法图像亮度增强适宜,对比度有效提升,细节清晰,图像色彩舒适自然,符合人眼视觉习惯;峰值信噪比、结构相似性、信息熵分别最高达到18.79 dB、0.92、7.59,均高于对比算法。

基于Transformer的多尺度优化低照度图像增强网络

低照度图像中亮度、颜色、细节等特征往往存在于不同尺度的信息中,因此实现高质量低照度图像增强极具挑战性.现有基于深度学习的方法无法充分利用多尺度特征,也无法有效结合多个尺度的特征,不能全面提升图像的亮度、颜色和细节质量.针对上述问题,文中提出基于Transformer的多尺度优化低照度图像增强网络(Transformer-Based Multi-scale Optimized Network for Low-Light Image Enhancement,TMO).首先,设计基于Transformer的多任务增强模块,经多任务训练后具有对亮度、颜色、细节的全局建模能力,因此可以初步应对低照度图像存在的亮度不足、颜色偏差、细节模糊、噪声较多等多退化类型挑战.然后,设计结合全局和局部多尺度特征的架构,逐步优化不同尺度的特征.最后,提出多尺度特征融合模块和自适应增强模块,在学习和融合各尺度间信息关联的同时实现在各局部多尺度分支中自适应地增强图像.在6个包含成对图像或不成对图像的公开数据集上的广泛实验表明,文中网络能够有效地综合解决图像中亮度、颜色、细节、噪声等多退化类型问题.

基于多尺度深度可分离卷积的低照度图像增强算法

为解决低照度图像颜色失真、对比度低以及现有增强算法存在的细节丢失严重、参数过多等问题,提出基于多尺度深度可分离卷积的低照度图像增强算法。首先,设计多尺度混合空洞卷积模块,在扩大感受野的同时解决网格效应;其次,设计多尺度特征提取模块,提取不同尺度的特征信息;最后,对不同尺寸的特征图使用2种模块,将低层空间信息与高层语义信息充分融合,获得最终输出。用深度可分离卷积代替标准卷积可大大减少网络参数量与计算量。实验结果表明,所提算法能有效地提高图像的亮度和对比度,减少模型参数量,且图像纹理细节及色彩恢复较好。

基于知识蒸馏的夜间低照度图像增强及目标检测

为了实现夜间低照度图像的增强,提高目标检测模型在夜间低照度条件下的检测精度并减小模型的计算成本,提出了一种基于知识蒸馏和数据增强的夜间低照度图像增强以及目标检测多任务模型,基于高质量图像模型进行知识蒸馏,利用高质量图像的特征信息指导模型训练,从而使模型在夜间低照度图像中提取到与高质量图像类似的特征信息。利用这些特征信息可以实现图像的对比度增强、去噪以及目标检测。实验结果表明,提出的蒸馏方法可以提升16.58%的夜间低照度目标检测精度,且用该方法增强的图像可以达到主流的基于深度学习的图像增强的效果。

受生物视觉启发的无人机航拍低照度图像增强算法

针对无人机航拍低照度图像存在亮度低、噪声大、细节不明显等问题,受人类视觉系统中的双路径模型启发,提出一种双路径模型的无人机航拍低照度图像增强算法。构建了一种基于残差单元的U-Net网络将图像分解为结构通路和细节通路;提出了一种改进的生成对抗网络对结构通路进行增强处理,并添加边缘增强模块来增强图像的边缘信息;在细节通路中采取噪声抑制策略减少噪声对图像的影响;融合2条路径的输出得到增强后的图像。实验结果表明,新算法提高了图像的亮度和细节信息,客观评价指标上优于其他对比算法。此外,还验证了所提算法对低照度条件下目标检测算法的影响,实验结果表明,新算法能够有效提升目标检测算法的性能。

基于光线散射衰减模型的低照度图像增强

针对传统图像增强算法在总体照度低且光照分布不均的环境内易造成图像过度增强和自然度保存能力弱的问题,提出了一种基于光线散射衰减模型的低照度图像增强算法。首先,本文提出了光线散射衰减模型,该模型合理解释了非均匀光照分布的成像过程,其次,通过Max-RGB滤波器分别估计每个像素的照度,初始化照明图,然后,根据光照随图像分割区域入射角、入射距离平滑衰减的特性,利用深度信息和梯度信息优化光照分量,获得精确照明图;此外,利用暗通道先验中的透射率所具有的局部相似性来约束反射分量估计;最后,通过提出的光线散射衰减模型融合优化光照分量和反射分量,获得最终的低照度增强图像。通过与NPE,LIME,HE,ALSM,MSRCR,MF,WV_SIRE算法比较,在不同场景的低照度图像上,无参考各向异性质量评估器(BIQAA)最大为0.019 6,模糊检测累积概率(CPBD)最大为0.680 1,无参考空间域图像质量评估器(BRISQUE)最小为21.471 5,自然图像质量评估器(NIQE)最小为2.699 5,综合性能优于其他对比算法。实验结果表明,本文算法能够有效抑制噪声,提高图像对比度和亮度,更好地保留图像自然度。

基于DBAFFNet的低照度图像增强

针对当前低照度图像增强后存在色偏、细节损失和噪声放大的问题,提出了基于双分支自适应特征融合网络的低照度图像增强方法。首先,设计自适应特征融合模块,在深层特征中融合更多细节和颜色信息;其次,构建通道及空间注意力模块,使网络着重于图像细节和颜色的恢复;最后,根据Retinex理论设计Poisson-Retinex损失函数,抑制图像的噪声,从而提高图像的增强效果。在多个数据集上的主观和客观对比结果表明,所提方法不仅能恢复增强图像的颜色和细节,而且能更好地抑制噪声,从而获得良好的增强效果。

一种基于MR-VAE的低照度图像增强方法

针对低照度图像多重失真特点(低亮度、多噪声和模糊等),本文基于变分自编码器提出了一种多重构变分自编码器(Multiple Reconstruction-Variational AutoEncoder,MR-VAE),逐步增强、从粗到细地生成高质量低照度增强图像.MR-VAE由特征概率分布捕获、全局重构和细节重构三个模块构成,核心思想是将全局特征与局部特征分阶段重建、将多重失真问题逐步解决,全局重构模块构建图像全局特征,提高全局亮度,得到较粗糙的图像;细节重构模块权衡去噪与去模糊,生成细节更逼真、噪声更少与局部亮度更合适的图像;此外,本文定义了一个多项损失函数替代l 2损失,以引导网络生成高质量图像.实验结果表明,多重构与多项损失函数的设计提高了网络生成复杂图像、处理多重失真的低照度图像性能,且提高了生成图像的质量、信噪比和视觉特性.

多级分解的Retinex低照度图像增强算法

针对现有算法对图像边缘细节增强不足及无法有效控制各尺度信息增强程度的问题,提出了多级分解的Retinex低照度图像增强算法。该算法在Retinex分解模型和双边滤波的基础上,通过设置不同的滤波参数,获取表征图像不同尺度信息的反射分量和照度分量;通过使用指数函数对分解得到的各级反射分量进行增强,能够有效提升图像边缘细节的表达能力;通过使用S型函数对最终的照度分量进行处理,能够在提升低照度图像整体亮度的同时抑制高亮度区域;通过颜色恢复函数对增强图像进行后处理,进一步避免色彩偏差和失真的问题。实验结果表明,新算法能够改善低照度图像的视觉质量,在清晰度、信息熵、对比度等指标方面都有所提升。

基于物理模型与边界约束的低照度图像增强算法

针对低照度下图像降质严重的问题,该文提出一种基于边界约束与图像亮度的低照度图像增强算法。该算法首先通过改进的边界约束对伪雾图进行透射率估计,并对其进行优化;同时从伪雾图"雾"的形成原理出发,利用低照度图像的亮度分量进行伪雾图大气光值的估计;最后将增强后的伪雾图反转,即得到增强后的低照度图像。实验结果表明,针对低照度下的图像,该算法可以有效地提升对比度和亮度,过增强现象得到改善;效果优于对比算法,且复杂度低。

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法。以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失。设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强。构建具有判别图像局部区域能力的判别器结构,约束生成器输出增强效果更加自然的图像。实验结果表明,该方法能够有效增强水上低照度图像,场景还原和细节保留能力优于SRIE和LIME等方法。

基于卷积神经网络的Retinex低照度图像增强

利用传统Retinex模型进行低照度图像分解和增强时,需要人工不断地进行参数调试以达到最优解,这会降低整个过程的效率。此外,现有的基于Retinex理论的低照度图像增强方法在进行图像增强时未能很好地兼顾反射分量和光照分量,会存在低照度图反射分量噪点多、光照分量亮度低且细节不够突出的问题。基于此,提出了一种数据驱动的深层网络来学习低照度图像的分解和增强,通过端到端的网络训练来进行模型参数的学习。该网络先将低照度图分解为反射分量和光照分量,针对反射分量噪点多的问题,采用改进的去噪卷积神经网络(New Denoising Convolutional Neural Network,NDnCNN)模型进行去噪;针对光照分量亮度低、细节不够突出的问题,引入卷积块注意力模型(Convolutional Block Attention Model,CBAM)进行细节增强并指导网络进行光照分量的修正;最后用去噪后的反射分量和修正后的光照分量进行图像重建。经测试,增强后的低照度图亮度提升,细节突出,信息丰富,图像失真小且真实自然。