金字塔渐进融合低照度图像增强网络

针对现有低照度图像增强网络对不同尺度特征信息存在感知与表达能力不足的问题,提出金字塔渐进融合低照度图像增强网络模型。网络对图像进行多次下采样操作以组成特征金字塔,通过在特征金字塔的三个不同分支上加入跳跃连接,将不同尺度的特征图进行相互融合。通过精细恢复模块进一步提取精炼信息,将特征图恢复到正常的光照图像。结果表明,该网络模型不但能有效地提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,同时能够有效地抑制图像中的暗部噪声,使增强后的图像整体画面真实自然。

基于任务解耦的低照度图像增强方法

低照度条件下拍摄的照片往往存在亮度低、颜色失真、噪声高、细节退化等多重耦合问题,因此低照度图像增强是一个具有挑战性的任务.现有基于深度学习的低照度图像增强方法通常聚焦于对亮度和色彩的提升,导致增强图像中仍然存在噪声等缺陷.针对上述问题,本文提出了一种基于任务解耦的低照度图像增强方法,根据低照度图像增强任务对高层和低层特征的不同需求,将该任务解耦为亮度与色彩增强和细节重构两组任务,进而构建双分支低照度图像增强网络模型(Two-Branch Low-light Image Enhancement Network,TBLIEN).其中,亮度与色彩增强分支采用带全局特征的U-Net结构,提取深层语义信息改善亮度与色彩;细节重构分支采用保持原始分辨率的全卷积网络实现细节复原和噪声去除.此外,在细节重构分支中,本文提出一种半双重注意力残差模块,能在保留上下文特征的同时通过空间和通道注意力强化特征,从而实现更精细的细节重构.在合成和真实数据集上的广泛实验表明,本文模型的性能超越了当前先进的低照度图像增强方法,并具有更好的泛化能力,且可适用于水下图像增强等其他图像增强任务.

基于改进暗通道先验的海上低照度图像增强算法

针对基于暗通道先验的低照度图像增强算法在处理极端海上低光环境下图像时会存在光晕效应、色彩失真的问题,提出了1种基于暗通道先验的自适应海上低照度图像增强算法。首先,通过选取图像类型划分指标,将数据集中的图像分类,并通过Otsu方法和图像直方图分布,获取图像的区域划分阈值,将图像进行划分得到局部区域图,分析各类图像的局部区域图之间的关系;最后,通过对不同的局部区域图采用不同的改进暗通道先验算法进行处理,将1个图像中的2个增强后局部区域图合并,得到整张图像的增强结果,并对增强后图像进行主客观的图像质量评价。实验结果表明,该算法解决了现有算法在处理极端海上低照度图像时存在光晕效应和色彩失真的问题,并使不同环境下的海上低照度图像都能达到较好的恢复效果。

基于光谱反射率的低照度图像增强方法研究

低照度图像增强技术是机器视觉研究热点之一,Retinex理论模型假设图像是反射分量与光照分量乘积,通过去除或校正光照分量并结合物体的反射特性来恢复图像,被广泛应用在传统算法和深度学习增强模型中。光谱反射率是颜色的指纹,多光谱图像比普通图像的信息量更为丰富。色度学理论和Retinex理论都认为图像的颜色特性取决于反射系数,但光谱反射率是基于仪器测量获得真实的数据,而图像反射分量是基于图像分解假设的数据,目前文献没有从光谱角度对低照度图像增强进行研究。受Retinex理论启发结合深度学习非线性拟合能力,用颜色的光谱反射率代替RetinexNet网络中的图像反射分量,用CIE标准光源的光谱功率分布代替网络中的图像照明分量,提出了一种基于光谱反射率的低照度图像增强方法。首先对图像数据库中正常光照图像进行光谱重建,构建低照度图像与正常光照的多光谱图像数据集。然后训练将低照度图像转换成多光谱图像的深度学习网络模型。任意低照度图像通过网络模型得到多光谱图像,多光谱图像根据色度学理论得到CIEXYZ三刺激值,再通过标准颜色空间转换到RGB颜色空间中显示。该方法在公开LOL数据集上进行训练与测试,结果表明在图像噪声抑制和颜色恢复方面都优于常用方法,证明该方法对低照度图像增强的优越性和有效性。

基于照度图引导的低照度图像增强网络

在低照度环境下采集的图像,由于光照的不均匀性,存在能见度差、对比度低和颜色失真等问题.现有的大多数低照度图像增强方法存在过增强或欠增强的现象,影响视觉感知和后续目标检测任务.针对上述问题,提出一种基于照度图引导的低照度图像增强网络.首先根据低照度图像的灰度分布特点构造对应的照度图,度量低照度图像不同区域块的明暗程度;然后利用照度图作为网络增强的引导图,与低照度图像一起送入图像增强网络来获得增强后的图像.为了解决训练数据不足的问题,提出一种基于内循环和概率旋转的数据增强方法来扩充训练数据样本的数量和多样性;同时,针对目前图像增强方法中普遍存在照度不均匀的问题,基于直方图匹配的思想构建一种直方图损失函数,约束并指导网络的训练.在合成数据集LOL和真实图像上的实验结果表明,所提网络在低照度图像增强方面获得了更好的主观视觉效果;与经典的RetinexNet方法相比,所提方法在PSNR和SSIM客观定量指标上分别提高了7.905 dB和0.328;该网络对后续目标检测任务的检测率可提高10.17%~17.19%.

融合局部-全局关系的多尺度低照度图像增强

在光照较差的场景中,由于抵达成像设备的光子数量有限,捕获的图像往往会表现出高噪声、低可见度以及色彩偏差等问题.基于卷积神经网络的低照度图像增强是一种有效的增强方法,但由于不恰当的网络结构设计,现有基于卷积神经网络的低照度图像增强方法易使增强的图像出现模糊、色彩偏差等问题.为了缓解上述现象,本文提出一种多尺度局部-全局关系耦合网络以提高卷积神经网络的特征表示能力.该网络由多尺度-多分支信息融合模块、局部-全局关系耦合模块以及输入可知的注意力特征融合3部分构成.为了验证所提方法的优越性,本文在多个低照度数据集上进行了定性、定量对比实验,并从网络结构和损失函数两方面开展消融实验,进一步验证了本文所提方法的有效性.

基于通道注意力与光照权重的无监督低照度图像增强

现有部分无监督低照度图像增强方法在增强图像曝光不足的区域时会降低其高光区域亮度,导致增强后的图像出现伪影;单一的TV损失既无法区别照明特征图的细节,还会忽略照明特征图边缘明暗度差异突出的地区,导致光晕现象的产生。为此,提出一种基于通道注意力与光照权重的无监督低照度图像增强方法 VARRNet。首先,VARRNet将图像转化为HSV空间,将V空间与Retinex理论结合以避免损失信息;其次,为了防止在亮度增强过程中生成伪影,设计了一个亮度估计网络引入通道注意力ECA分配输入特征图的权重,以恢复曝光不足区域的亮度,并有效保持高光区域的亮度;最后,在亮度估计网络中结合TV损失与光照分量权重来保留增强后特征图的丰富细节信息,消除强边缘处的光晕。在与当前流行的5个低照度图像增强方法进行比较实验发现,VARRNet在亮度增强、细节保留、色彩恢复、伪影抑制和光晕去除等方面均取得了更好的可视化效果。

改进的生成对抗网络低照度图像增强

针对目前低照度图像增强方法,由于缺乏足够的低照度数据集,容易出现模型泛化能力差和过拟合的问题,本文提出一种改进的生成对抗网络低照度图像增强方法.在保持原生成对抗网络主干不变的基础上做了系列改进:首先在真实图像与生成图像中应用可微增强对数据进行扩容.其次,为了更有效地提取特征,提升训练效果,生成网络添加了残差结构和scSE注意力机制.此外,为了提高模型训练的稳定性,网络优化过程使用huber函数平滑损失值.实验表明,本文所提方法与主流低照度增强方法相比,在多项评价指标方面具有明显优势.

改进Retinex的低照度图像增强研究

针对低照度图像在增强过程中出现的色彩失真、亮度不均、细节模糊等问题,提出一种改进Retinex低照度图像增强算法。算法基于HSI色彩空间,首先利用Retinex模型将亮度分量I分解为L成分和R成分;采用对比度受限自适应直方图均衡化拉伸L成分,提升图像对比度,基于均方差量化R成分,增强图像整体亮度;并利用均值滤波提取图像细节层,提升图像细节信息;根据I分量与S分量的相关性,提出一种饱和度分量S的自适应拉伸函数,调整图像色彩,最后将增强图像转回RGB色彩空间。实验结果表明,所提算法图像亮度增强适宜,对比度有效提升,细节清晰,图像色彩舒适自然,符合人眼视觉习惯;峰值信噪比、结构相似性、信息熵分别最高达到18.79 dB、0.92、7.59,均高于对比算法。

基于Transformer的多尺度优化低照度图像增强网络

低照度图像中亮度、颜色、细节等特征往往存在于不同尺度的信息中,因此实现高质量低照度图像增强极具挑战性.现有基于深度学习的方法无法充分利用多尺度特征,也无法有效结合多个尺度的特征,不能全面提升图像的亮度、颜色和细节质量.针对上述问题,文中提出基于Transformer的多尺度优化低照度图像增强网络(Transformer-Based Multi-scale Optimized Network for Low-Light Image Enhancement,TMO).首先,设计基于Transformer的多任务增强模块,经多任务训练后具有对亮度、颜色、细节的全局建模能力,因此可以初步应对低照度图像存在的亮度不足、颜色偏差、细节模糊、噪声较多等多退化类型挑战.然后,设计结合全局和局部多尺度特征的架构,逐步优化不同尺度的特征.最后,提出多尺度特征融合模块和自适应增强模块,在学习和融合各尺度间信息关联的同时实现在各局部多尺度分支中自适应地增强图像.在6个包含成对图像或不成对图像的公开数据集上的广泛实验表明,文中网络能够有效地综合解决图像中亮度、颜色、细节、噪声等多退化类型问题.

基于多尺度深度可分离卷积的低照度图像增强算法

为解决低照度图像颜色失真、对比度低以及现有增强算法存在的细节丢失严重、参数过多等问题,提出基于多尺度深度可分离卷积的低照度图像增强算法。首先,设计多尺度混合空洞卷积模块,在扩大感受野的同时解决网格效应;其次,设计多尺度特征提取模块,提取不同尺度的特征信息;最后,对不同尺寸的特征图使用2种模块,将低层空间信息与高层语义信息充分融合,获得最终输出。用深度可分离卷积代替标准卷积可大大减少网络参数量与计算量。实验结果表明,所提算法能有效地提高图像的亮度和对比度,减少模型参数量,且图像纹理细节及色彩恢复较好。

基于生成对抗网络的低光照图像增强算法

传统的基于深度学习的方法在低照度图像增强中已经有比较好的发挥,但是这些方法通常需要成对的数据集进行训练,而相对应的数据集正是目前难以收集的。目前的增强方法在真实的低照度图像增强中也会产生增强效果不完美和出现图像噪声等问题。针对这些问题,设计了无监督生成对抗网络,使其可以不用配对训练数据集进行训练,并且把网络分解为注意力机制网络和增强网络2个子网络。通过注意力机制网络把低照度图像中的低光区域和亮光区域区分开,并使用残差增强网络结合全局局部判别器,对图像进行增强。实验结果表明,本文的方法在低光照图像增强方面优于Enlighten-GAN、Cycle-GAN等方法。

基于知识蒸馏的夜间低照度图像增强及目标检测

为了实现夜间低照度图像的增强,提高目标检测模型在夜间低照度条件下的检测精度并减小模型的计算成本,提出了一种基于知识蒸馏和数据增强的夜间低照度图像增强以及目标检测多任务模型,基于高质量图像模型进行知识蒸馏,利用高质量图像的特征信息指导模型训练,从而使模型在夜间低照度图像中提取到与高质量图像类似的特征信息。利用这些特征信息可以实现图像的对比度增强、去噪以及目标检测。实验结果表明,提出的蒸馏方法可以提升16.58%的夜间低照度目标检测精度,且用该方法增强的图像可以达到主流的基于深度学习的图像增强的效果。

基于光线散射衰减模型的低照度图像增强

针对传统图像增强算法在总体照度低且光照分布不均的环境内易造成图像过度增强和自然度保存能力弱的问题,提出了一种基于光线散射衰减模型的低照度图像增强算法。首先,本文提出了光线散射衰减模型,该模型合理解释了非均匀光照分布的成像过程,其次,通过Max-RGB滤波器分别估计每个像素的照度,初始化照明图,然后,根据光照随图像分割区域入射角、入射距离平滑衰减的特性,利用深度信息和梯度信息优化光照分量,获得精确照明图;此外,利用暗通道先验中的透射率所具有的局部相似性来约束反射分量估计;最后,通过提出的光线散射衰减模型融合优化光照分量和反射分量,获得最终的低照度增强图像。通过与NPE,LIME,HE,ALSM,MSRCR,MF,WV_SIRE算法比较,在不同场景的低照度图像上,无参考各向异性质量评估器(BIQAA)最大为0.019 6,模糊检测累积概率(CPBD)最大为0.680 1,无参考空间域图像质量评估器(BRISQUE)最小为21.471 5,自然图像质量评估器(NIQE)最小为2.699 5,综合性能优于其他对比算法。实验结果表明,本文算法能够有效抑制噪声,提高图像对比度和亮度,更好地保留图像自然度。

受生物视觉启发的无人机航拍低照度图像增强算法

针对无人机航拍低照度图像存在亮度低、噪声大、细节不明显等问题,受人类视觉系统中的双路径模型启发,提出一种双路径模型的无人机航拍低照度图像增强算法。构建了一种基于残差单元的U-Net网络将图像分解为结构通路和细节通路;提出了一种改进的生成对抗网络对结构通路进行增强处理,并添加边缘增强模块来增强图像的边缘信息;在细节通路中采取噪声抑制策略减少噪声对图像的影响;融合2条路径的输出得到增强后的图像。实验结果表明,新算法提高了图像的亮度和细节信息,客观评价指标上优于其他对比算法。此外,还验证了所提算法对低照度条件下目标检测算法的影响,实验结果表明,新算法能够有效提升目标检测算法的性能。

基于DBAFFNet的低照度图像增强

针对当前低照度图像增强后存在色偏、细节损失和噪声放大的问题,提出了基于双分支自适应特征融合网络的低照度图像增强方法。首先,设计自适应特征融合模块,在深层特征中融合更多细节和颜色信息;其次,构建通道及空间注意力模块,使网络着重于图像细节和颜色的恢复;最后,根据Retinex理论设计Poisson-Retinex损失函数,抑制图像的噪声,从而提高图像的增强效果。在多个数据集上的主观和客观对比结果表明,所提方法不仅能恢复增强图像的颜色和细节,而且能更好地抑制噪声,从而获得良好的增强效果。

基于调色板的半交互式低照度唐卡图像增强

唐卡作为热贡艺术重要表现形式之一,其结构复杂、颜色鲜艳、线条清晰、绘画精美,受到越来越多的人喜爱。在实际采集过程中,由于各个寺院灯光昏暗,在此条件下拍摄的图像常存在光照不均匀、噪声多、颜色失真、细节信息丢失等问题。因此提出了一种基于调色板的半交互式低照度唐卡图像增强方法:首先基于Retinex模型设计了一个卷积块注意力模块(CBAM)与U-Net相结合的低照度增强网络RCUNet,通过针对性设计损失函数,进行无监督迭代训练,对光照图、反射图和噪声图进行重构,并在得到最终分解结果后,对光照图、反射图进行调整,合成增强的结果。然后,采用改进的K-means算法,对增强后的图像提取主要颜色生成对应的调色板,通过修改调色板颜色进一步修正增强后图片的颜色。最后,与目前流行的几种低照度增强方法,在唐卡数据集上进行了定量、定性对比实验,实验结果表明该方法在NIQE,PIQE和PSNR 3个指标上取得了最好的结果。

多尺度特征融合的低照度光场图像增强算法

光场图像(LFI)记录了目标场景丰富的三维结构和纹理等信息,在多种计算机视觉任务中拥有巨大优势。但是,低光照条件下采集的光场图像存在亮度低、噪声大等问题,降低了图像质量。提出了一种多尺度特征融合的低照度光场图像增强算法,引入数码单反相机(DSLR)图像来监督网络的训练以提升低照度光场图像的质量。为了充分挖掘和利用光场信息,通过角度和空间Transformer在不同尺度上对光场图像进行特征提取,捕获每个子孔径图像的互补信息以及局部和远程依赖关系。提出一个循环融合模块,利用长短时记忆网络保留不同尺度特征的长时记忆,同时通过局部和全局融合层自适应地聚合整个特征空间中的有用信息。设计了一个4D残差模块从聚合的特征重建目标光场子视图。此外,还构建了一个低照度LFI和正常光照DSLR图像配对的数据集来训练所提出的网络。实验结果表明,所提网络能够有效地提升低照度光场图像的质量,相比其他算法拥有明显的优势。

融合多尺度密集块的低照度交通图像增强模型

车辆检测与跟踪是智能交通领域的重要内容,复杂的光照强度与多变的交通场景使高速公路拍摄图像细节模糊、对比度低,图片信息提取干扰性强。提出一种基于注意力机制融合多尺度残差稠密块的生成对抗网络用于低照度交通图像增强。通过伽马校正、相机响应函数和手工调节方法合成不同照度图像作为数据集,涵盖更广泛亮度曲线,模拟真实夜晚场景;引入注意力机制通过表征不同通道与高频信息间关联性,同时采用最大池化和平均池化捕获纹理信息和背景信息间依赖关系增强图像整体完整性;搭建多尺度融合的残差稠密连接网络,深度提取图像复杂特征利用并行支路融合不同级别和层次的信息,提升网络对细节的整体感知力,保留图片信息一致性;采用双线性加卷积结构代替反卷积层消除伪影现象。实验结果表明与主流方法相比,该网络的增强效果评价指标PSNR和SSIM分别提升26.37%、14.14%,图片增强使细节纹理清晰、图像自然视觉效果提高,为交通领域的视觉任务提供技术支持。

多级分解的Retinex低照度图像增强算法

针对现有算法对图像边缘细节增强不足及无法有效控制各尺度信息增强程度的问题,提出了多级分解的Retinex低照度图像增强算法。该算法在Retinex分解模型和双边滤波的基础上,通过设置不同的滤波参数,获取表征图像不同尺度信息的反射分量和照度分量;通过使用指数函数对分解得到的各级反射分量进行增强,能够有效提升图像边缘细节的表达能力;通过使用S型函数对最终的照度分量进行处理,能够在提升低照度图像整体亮度的同时抑制高亮度区域;通过颜色恢复函数对增强图像进行后处理,进一步避免色彩偏差和失真的问题。实验结果表明,新算法能够改善低照度图像的视觉质量,在清晰度、信息熵、对比度等指标方面都有所提升。