基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。

基于渐进多尺度注意力残差网络的单幅图像去雨方法

雨水会严重影响场景的能见度,降低成像质量,影响许多计算机视觉系统,如视频监控、自动驾驶等的正常工作。因此从退化的含雨图像中去除雨水是一项迫切的任务。论文提出了一种新的基于渐进式多尺度注意力残差网络模型(PMARnet)用于单幅图像去雨。首先考虑到复杂雨天场景一般包含多个不同特性的雨层,该网络将去雨过程分解为多个阶段,每个阶段使用残差网络预测不同的雨层,避免梯度消失。进一步采用了多尺度注意力残差模块(MAR),以更好地利用多尺度信息提取各层雨带的语义和空间细节特征,有效地表征每个雨层。在Rain100H和Rain100L两个公开数据集中与十一种先进的模型和方法进行了实验对比,我们的模型得到了最好的结果。其中,在Rain100H中,峰值信噪比(PSNR)达到28.06,结构相似度(SSIM)为0.89,较第二好的方法分别提升2.41%和1.14%;在Rain100L中,PSNR达到37.25,SSIM为0.98,较第二好的方法分别提升3.16%和1.03%,证明了该方法的有效性。论文所提出的PMARnet可以有效地在雨条纹层和干净背景图像层之间传播信息。PMARnet网络很好地利用了雨条纹层和背景层,取得了良好的去雨效果。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

一种结合卷积自编码和补丁惩罚的生成对抗网络单图像去雨方法

针对传统的图像去雨方法存在去雨图像失真、生成伪影等问题,提出一种结合卷积自编码和补丁惩罚的生成对抗网络单图像去雨方法。首先,该方法采用卷积自编码组成生成器网络,使用对称跳跃连接提高生成器网络的训练效率和收敛性能,实现对图像细节信息和二维信号空间信息的重构;其次,引入马尔可夫鉴别器在图像补丁层次上进行惩罚,去除生成图像中的伪影;最后,提出一种新的精细化损失函数参与训练网络模型,进一步增强模型的去雨深度。采用峰值信噪比和结构相似性作为模型的评价标准,实验结果表明,该方法在现实雨图和合成雨图的去雨处理上都有良好的表现,基本还原了图像细节内容,并保证了较高的视觉质量。

非对称端到端的无监督图像去雨网络

现有的基于学习的单幅图像去雨网络大都关注雨天图像中雨痕对于视觉成像的影响,而忽略了雨天环境下由于空气中湿度的增加所产生的雾气对视觉成像的影响,因此造成去雨后图像的生成质量低、纹理细节信息模糊等问题。针对该问题,提出一种非对称端到端的无监督图像去雨网络模型,该模型主要包含雨雾去除网络、雨雾特征提取网络和雨雾生成网络,并由它们组成两个不同数据域映射转换模块:Rain-Clean-Rain和Clean-Rain-Clean。上述三个子网络构成并行的两条转换路径:去雨路径和雨雾特征提取路径。在雨雾特征提取路径上,提出一种基于全局和局部注意力机制的雨雾感知提取网络,利用雨雾特征存在的全局自相似性和局部差异性学习雨-雾相关特征;在去雨路径上,引入雨天图像退化模型和上述提取的雨雾相关特征作为先验知识以增强雨雾图像生成的能力,从而约束雨雾去除网络,提高它从雨天数据域到无雨数据域的映射转换能力。在不同雨天图像数据集上的实验结果表明,与较先进的去雨方法CycleDerain相比,在合成雨雾数据集HeavyRain上所提方法的峰值信噪比(PSNR)提升了31.55%,能适应不同的雨天场景,具有更好的泛化性,并且能更好地复原图像的细节和纹理信息。

小波分频自注意力Transformer图像去雨网络

针对视觉Transformer对高频信息捕捉能力弱以及目前许多图像去雨方法易丢失细节的问题,提出小波分频自注意力Transformer图像去雨网络(WFDST-Net)。小波分频自注意力Transformer(WFDST)作为WFDST-Net的主要模块,其利用不可分提升小波变换获取特征图的低频分量和高频分量,分别在低频和高频中进行自注意力交互,使模块从低频中学习恢复全局结构的能力,在高频中强化捕捉雨纹等线条细节的能力,增强对不同频域特征的建模能力。WFDST-Net采用U形架构并通过不可分提升小波变换获取多尺度特征,可在捕获不同形状高频雨纹的同时保证信息的完整性。相比其他图像去雨相关的Transformer,WFDST-Net具有更低的参数量。此外,提出VOCRain250数据集用于联合图像去雨和语义分割任务,该数据集比目前广泛使用的BDD150更具优势。实验表明,所提方法增强了视觉Transformer对不同频域信息的捕获能力,并在合成和真实数据集以及VOCRain250中的表现优于目前先进的去雨方法,能有效去除复杂雨纹并保留更多细节特征。

基于改进扩散模型的图像去雨方法

针对图像去雨过度、泛化性差的问题,提出运用改进扩散模型进行单幅图像去雨的方法。通过前向过程添加高斯噪声使数据变为高斯分布,设计残差模块双输入信息通道、添加ECA(efficient channel attention)通道注意力机制模块以构建噪声估计网络,实现全局平均池化而不降低维数,从而捕获局部跨通道交互信息;利用模型网络进行反向采样,预测并剔除雨痕噪声,实现图像去雨。最后通过模拟雨滴数据集和Rain100数据集对改进的扩散模型与其他4种算法进行对比实验测试,实验结果表明改进的扩散模型能够有效去除雨痕,其中雨滴和雨线的峰值信噪比分别为30.328 5和34.896 5,结构相似性分别为0.927 1和0.962 0;自制真实雨图数据集,使用YOLOv7算法对去雨后的图像进行车辆检测,结果表明采用改进的扩散模型去雨能够有效提高车辆检测置信度,进一步验证了所提方法具有良好的去雨效果和泛化能力。

多尺度残差群网络的图像去雨算法

雨天作为一种常见的天气条件会对计算机视觉造成一定影响,图像中会出现雨纹与细节模糊,从而需要一种高效的单幅图像去雨算法来改善图像质量。现有图像去雨算法大多只关注于去除雨纹,而忽略了恢复去雨后图像的细节信息。针对此,为了更好地检测雨纹提出了浅层特征提取模块和深层特征提取模块,其中,浅层特征提取模块选取残差密集块,深层特征提取模块选取两个双注意力模块和两个卷积层作为残差块构成的残差群。为了恢复图像细节信息,提出了一种包含全局分支和局部分支的多尺度细节恢复模块。在合成数据集和真实数据集上的大量实验表明,所提算法的PSNR和SSIM分别达到了40.41 dB和0.989,同时保留了图像细节信息。

基于Swin Transformer的单图像去雨算法

在雨中拍摄的图像通常都会包含很多雨痕,这些雨痕会遮盖图像中的细节信息,从而使得后续图像分类、目标检测等计算机视觉任务变的更加困难。因此,去除图像中的雨痕并恢复其中的细节信息至关重要。针对上述问题,提出了一种基于Swin Transformer的单图像去雨算法。首先通过最大颜色通道获取到近似的雨痕图,然后通过编码器-解码器结构进行多尺度特征提取和融合,进而得到更好的去雨图像。实验结果表明,该算法在Rain1200数据集和Rain1400数据集上的结构相似性分别为0.922和0.914,峰值信噪比分别为33.28 dB和31.31 dB,相比于目前主流单图像去雨算法,该算法在去除雨痕和恢复背景细节上的效果更优。

多通道多尺度的注意力机制单幅图像去雨方法

为了去除受雨天天气影响而出现在图像中的雨纹和雨线,本文提出了一种基于多通道多尺度的注意力机制单幅图像去除雨纹和雨线的方法,通过多尺度特征提取与网络融合,提取多尺度卷积神经网络不同通道的雨纹和雨线特征。首先利用双边滤波进行图像分解;然后对低频部分进行多尺度的特征提取与融合,并且使用区域注意力进一步提取图像的特征信息,同时对高频部分利用多尺度特征提取的卷积神经网络进行特征学习;最后将2部分相加,得到了去除雨纹和雨线更彻底的清晰图像,在合成数据集和真实数据集上分别与其他去雨方法进行对比分析。分析结果表明:本文去除雨纹和雨线后得到的图像更加清晰,并且图像的部分区域细节丢失更少,本文方法提升了去雨后的图像质量,从而改善了该方法在图像处理、计算机视觉和机器学习等领域的应用效果和性能。

基于多特征交互和密集残差的图像去雨

针对雨天环境下获取图像质量差,导致后续机器视觉任务效率低下的问题,提出一种基于多特征交互和密集残差的图像去雨算法.首先,提出多重特征交互卷积模块提取不同空间下雨线的语义特征,增强信息利用程度;其次,构建多维空间权重注意模块,将不同空间信息权重初步融合并增强雨线特征;然后,结合密集连接和残差网络的优点,设计一种密集残差融合模块,在提高网络学习能力的同时实现对信息的重复利用,进一步校正雨纹信息;最后,通过将多种损失函数线性组合,并结合雨天成像模型提高输出图像质量.在多个公开数据集上的实验结果表明,本文所提算法的主客观评价指标均优于所对比的经典及新颖算法,在去除雨纹的同时能更有效地保留图像背景细节信息.

基于深度学习的船舶舱外监控图像去雨研究

由于降雨条纹会严重降低监控图像的识别效果,从而延误船舶驾驶员对航行态势的感知与判断,现有方法不能适应不同密度大小的雨条纹,并且无法有效保留背景细节。为解决这一问题,提出了一种基于深度学习的图像去雨网络,该网络可以呈现雨天图像和干净图像之间的细节层中的残差,细节层能够将信息从下层传播到上层,而上层由级联网络组成。实验结果和数据分析表明,提出的方法在人工合成图像和自然真实图像上都能表现出良好的去雨效果,主观评价和客观评价均优于其他对比算法。

基于密集混合注意力和全局补偿的图像去雨网络

针对现有图像去雨算法提取雨线特征效果不佳导致雨纹残留的问题,提出一种基于密集混合注意力和全局补偿的图像去雨网络。通过多层卷积运算,提取输入雨天图像的浅层特征。融合密集连接与残差网络的优势,引入多注意力机制,设计密集残差注意力模块,以此实现特征循环利用并捕获图像的多尺度特征。加入全局补偿模块以确保特征图像提取的全面性。通过卷积层重建特征,得到清晰且无雨的图像。实验证明,所提出的算法优于现有的经典和新颖算法,能有效清除雨痕,并提升图像的整体视觉感受。

基于图像分解与字典分类的单幅图像去雨算法

针对单幅图像下,基于稀疏表示的去雨算法存在残差较大而导致图像恢复效果不理想的问题,提出了一种优化图像高频部分几何分量的去雨方法.首先采用平滑滤波做图像分解,得到雨图像的高频部分;然后结合稀疏表示与近邻传播算法分离出图像高频部分的雨分量,用图像的高频部分减去雨分量并做平滑处理,以此作为几何分量;此外,对稀疏表示过程得到的字典进行再分类,完善雨分量与非雨分量的区分,最后完成图像恢复.实验结果表明,该方法能有效利用图像的几何信息来解决纹理恢复误差较大的问题,实现更精确的纹理恢复和雨分量去除.

面向单幅图像去雨的非相干字典学习及其稀疏表示研究

提出一种非相干字典学习及稀疏表示方法,并将其应用于单幅图像去雨。该方法在字典学习阶段,为降低有雨原子与无雨原子间的相似性,引入字典的非相干性,构建新的目标函数,不仅可以保证有雨字典与无雨字典的可分性,而且学习的非相干字典具有类似于紧框架的性质,可以逼近等角紧框架。通过有雨字典与无雨字典对高频图像的稀疏表示,能够更好地分离出高频图像中的有雨分量与无雨分量,将高频无雨分量与低频图像融合实现图像去雨。采用合成雨图与真实雨图对算法进行验证,实验结果表明,算法所学习的非相干字典具有较好的稀疏表示性能,去雨后的图像雨线残留较少,边缘细节保持较好,视觉效果更为清晰自然。

群稀疏残差约束的引导字典学习算法及其单幅图像去雨

为了更有效地进行单幅图像去雨,提出一种群稀疏残差约束的引导字典学习算法.该算法特点在于利用混合高斯模型从自然图像中学习外部字典,面向有雨图像构建了基于外部字典引导的内部字典学习模型,并将内部字典的低秩性增加到字典学习目标函数中.该模型可以有效地利用自然图像与有雨图像先验知识之间的互补性,有助于同时恢复潜在稀疏的与稠密的图像细节.其次,基于图像的非局部自相似准则,利用群结构稀疏表示确保了相似图像块的编码系数尽可能接近,并对该模型引入残差约束,可有效地提高学习字典的重构能力与泛化能力.实验结果表明,在合成图像与真实图像上与其他算法相比,使用所提算法去雨后的图像具有更丰富的细节信息,图像更清晰,大大改善了整体视觉效果.

基于景深和稀疏编码的图像去雨算法

降雨天气往往会导致室外监控视频质量下降,会使成像的图像产生畸变和模糊现象.为了改善雨天拍摄的图像的质量,该文提出了一种基于景深和稀疏编码的图像去雨算法.针对基于图像分解的去雨算法存在的低频成分中的雨痕残留和轮廓边缘丢失,以及高频部分的背景误判问题,该文利用联合双边滤波和短时傅里叶变换将图像进行分解,使得图像低频部分中的轮廓得到较好的保留,并引入景深改善低频成分中的雨痕残留和高频成分中与雨痕具有相同梯度的背景误判问题.该算法主要分为四个部分:图像分解、字典学习、基于主成分分析和支持向量机的原子聚类,景深修正.首先是利用图像分解提取出图像低频和高频成分,对于图像分解的方法,主要采用的是双边滤波和短时傅里叶变换相结合的方法,此方法对图像的轮廓和边缘保持度较高.接下来,对低频成分进行保留,对高频成分进行进一步处理.根据图像本身的纹理特性将高频成分进行分类,基于每一类再对高频成分进行分块处理,得到每一类图像的字典,从而进行字典学习.然后,利用主成分分析和支持向量机对字典进行分类,根据梯度信息分为含雨字典和非雨字典两类,应用正交匹配追踪获得基于新高频字典的稀疏系数,从而获得高频成分中非雨成分.最后,对于高频成分中和雨痕具有相同梯度的背景误判问题,通过景深,将图像高频按纹理和梯度方向进行二次分类,将高频成分中和雨条纹具有相同梯度的背景进行保留,有效提高分类准确性.同时,利用景深提取出含雨图像中的显著性特征来进一步去除低频成分中的残留雨痕.本文利用主观视觉效果以及客观指标对算法进行评估,实验结果证明主观效果得到明显的改善,客观指标也得到了提升,证明了该文基于景深和稀疏编码的图像去雨算法能够在去雨的同时较好地保留图像的纹理细节.

基于注意机制的轻量化稠密连接网络单幅图像去雨

图像中附着的雨条纹对背景造成的破坏严重影响了对图像信息的分析和后续研究。为了恢复被雨条纹破坏的背景纹理特征,提出一种基于注意机制的轻量化稠密连接网络针对单幅图像进行去雨。注意机制有利于网络准确定位降雨区域,稠密连接网络的使用增强了特征的复用,缓解了梯度消失和模型退化问题。利用多尺度通道混洗深度可分离卷积实现网络轻量化设计,降低了网络参数规模,提升了网络运行效率。在合成数据集和真实数据集上的去雨结果表明,所提算法在定量指标和定性分析上都优于现有算法。

基于窗口自注意力网络的单图像去雨算法

单图像去雨研究旨在利用退化的雨图恢复出无雨图像,而现有的基于深度学习的去雨算法未能有效地利用雨图的全局性信息,导致去雨后的图像损失部分细节和结构信息.针对此问题,提出一种基于窗口自注意力网络(Swin Transformer)的单图像去雨算法.该算法网络主要包括浅层特征提取模块和深度特征提取网络两部分.前者利用上下文信息聚合输入来适应雨痕分布的多样性,进而提取雨图的浅层特征.后者利用Swin Transformer捕获全局性信息和像素点间的长距离依赖关系,并结合残差卷积和密集连接强化特征学习,最后通过全局残差卷积输出去雨图像.此外,提出一种同时约束图像边缘和区域相似性的综合损失函数来进一步提高去雨图像的质量.实验表明,与目前单图像去雨表现优秀的算法MSPFN、 MPRNet相比,该算法使去雨图像的峰值信噪比提高0.19 dB和2.17 dB,结构相似性提高3.433%和1.412%,同时网络模型参数量下降84.59%和34.53%,前向传播平均耗时减少21.25%和26.67%.

基于融合残差与注意力机制的图像去雨网络

针对已有去雨网络无法更好地保留图像边缘纹理细节的问题,提出一种基于融合残差与注意力机制的图像去雨网络.首先,对原始图像进行浅层学习,从中提取出关键的浅层特征;然后,为了避免浅层信息的丢失,将多注意力模块与残差结构融合构成注意力残差块,将已提取的浅层特征信息输入到其中进行更高层语义特征学习,在其中运用多注意力模块获得不同形状、尺寸雨纹的多尺度特征,构建不同通道间的依赖性以及使网络更加关注雨纹和高频区域的图像信息特征;最后,通过卷积层进行特征重构,得到去除雨纹的清晰图像.实验结果表明,新算法在Rain100H、Rain100L和Rain12公开测试集上分别获得28.91、36.86 dB和35.14 dB的峰值信噪比,以及95.0%、99.0%和97.1%的结构相似性.新算法客观评价指标均优于其他对比算法,主观视觉效果得以有效提升,能够去除不同密度雨纹的同时更好地保留图像的细节信息.