双重注意力引导的弱监督雨滴图像增强

基于深度学习的雨滴图像增强方法普遍存在高度依赖配对样本数据集,雨滴去除后图像背景细节模糊等问题。对此,提出一种双重注意力引导的弱监督雨滴图像增强方法。该方法设计构建弱监督雨滴图像增强网络,仅需来自雨滴图像域与干净图像域的图像进行训练,可有效降低对配对样本数据集的依赖性;同时,将双重注意力引入生成网络,引导特征提取与多分支掩模生成,掩模同输入的雨滴图像融合后,获得背景清晰的干净图像,实现雨滴图像增强。实验结果表明,该方法在Raindrop数据集上PSNR达到27.0711dB,SSIM达到0.8996,更好地保留了图像背景细节与颜色信息,证明该方法的可行性与有效性。

雨滴实地拍摄基准图像数据集及评估

在雨天透过玻璃窗拍摄时,附着在玻璃表面的雨滴通常会出现在图像中,这不仅降低了图像的可见度,还会使许多计算视觉算法无法正常工作。图像雨滴去除研究,是指从这类雨天图像中去除雨滴的具体科研研究。该研究领域面临着很大的挑战,主要原因是自然界中的雨滴形态多种多样、各不相同,不同透明度的雨滴也会影响背景图像的成像质量,从而增加了识别并去除雨滴的困难度,对去雨滴算法的性能提升造成了负面影响。为了方便研究者全面了解该领域,将从以下两个方面详尽介绍单幅图像去雨滴研究:单幅图像去雨滴算法和单幅图像联合去雨算法;同时也对该领域的所有算法进行了总结与评估。在基于深度学习的方法中,算法的性能往往受限于数据集的质量,但现有的雨滴数据集中均存在雨滴图像质量不高、图像数量不足等常见情况。为此,建立了雨滴实地拍摄基准图像数据集(HEMC),在拍摄过程中,尽量避免相机抖动、窗户反射和其他外界条件的干扰,从而提高了数据集中训练集的图像质量和测试集的精准度,进而间接提升了算法性能。同时,利用主观视觉效果以及客观指标对数据集进行了多方面的评估,实验结果展现了HEMC数据集中图像的多样性以及客观指标的稳定性。此外,通过对雨滴数据集间的交叉验证,证实了HEMC数据集在已有去雨滴算法中的通用性与稳定性。

融合快速傅里叶卷积的域变换图像去雨滴方法

在下雨天气中,玻璃上的雨滴会对图像质量产生严重影响,且目前的去雨滴方法过度依赖成对图像,使得无监督图像雨滴去除面临较大挑战。针对这一问题,提出一种域变换图像去雨滴方法。构建域变换网络(DTN),通过有雨与无雨域之间的变换,以无监督的方式实现图像的雨滴去除。同时,通过引入快速傅里叶卷积(FFC)来设计生成网络和判别网络,实现全局与局部特征的信息交互。在FFC中,通过频谱变换(ST)对空间域和频域进行转换,克服传统卷积神经网络(CNN)感受野不足的问题,从而更好地感知细小的雨滴。在2个真实的雨滴测试集上进行去雨滴实验,结果表明,该方法在定量结果和视觉效果上均优于现有的先进方法。与改进前的U-Net+马尔可夫判别网络相比,改进后的该方法在峰值信噪比(PSNR)和结构相似性指数(SSIM)上分别提升3.37 dB和0.0313,并且其能在去除雨滴的同时还原更多的图像纹理细节。

基于编码-解码结构的多阶段图像去雨滴方法

针对附着镜头或玻璃表面的雨滴会造成图像退化的问题,提出了一种多阶段渐进式图像去雨滴方法。整个去雨滴过程被分解为多个更易于实现的阶段。首先在每个阶段设计多尺度融合的编码—解码网络以学习雨滴特征,通过构建带有门控循环单元的多尺度扩张卷积来细化内部传递的空间特征。然后引入无降维的通道注意力机制对特定空间特征下的通道信息进行提取。最后为加强每个阶段各部分之间的信息交换,采用跨阶段特征融合机制,在每个阶段的编码—解码网络之间加入横向连接,以实现特征信息的横向传递。在每个阶段之间加入监督注意模块,以增强不同阶段之间的信息传递,最终渐进地实现雨滴的去除。实验表明该方法能够有效地去除雨滴。

基于轻量级神经网络的单幅图像去雨滴模型

目前单幅图像去雨滴网络的特征图存在较高的相似性和冗余性,导致模型的参数量庞大,极大限制了其在实际应用中的部署。本文提出一种基于轻量级神经网络的单幅图像去雨滴模型。采用一种幻像特征生成残差块,用于解决网络中特征图的相似性和冗余性问题。设计了一种复合折叠式重用机制,有效改善了由于参数减少带来的模型性能下降。提出一种轻量级门控循环单元,用于强化折叠式去雨滴架构中的深度特征交互,进一步提高了模型的性能。实验结果表明:本文提出的轻量级去雨滴模型在性能持平或略高于目前3种算法的前提下,分别实现了模型参数量的18、37及51倍的压缩,较好解决了在实际应用中的部署问题。

渐进式多尺度特征融合的图像去镜头雨滴方法

针对附着在镜头上的雨滴会造成图像退化和背景信息丢失问题,提出一种渐进式多尺度特征融合的单幅图像去镜头雨滴的方法,以采样至不同尺度的镜头雨滴附着图像为输入,通过重复堆叠的残差模块和循环神经网络进行渐进式雨滴特征提取,捕获从局部到全局的雨滴特征信息,在不同空间维度上探索互补的信息来更好地表征尺寸形状多变、位置随机分布的雨滴,对多尺度的雨滴特征进行融合,最后按照线性叠加物理模型恢复出清晰背景图像。使用公开数据集进行训练得到去镜头雨滴模型,在其测试集以及真实采集的镜头雨滴附着图像上进行了测试,在量化指标和可视化结果方面都取得了较好的效果,并表现出良好的泛化性能。

Snake模型在雨滴边缘检测中的应用

数字摄像技术在降水粒子的自动观测中具有非常好的应用前景,如何在数字图像中准确地进行降水粒子的边缘检测是其中的一项关键技术。Snake模型具有很好的融合图像上层知识和底层特征的能力,能够实现目标轮廓的准确定位。结合雨滴图像自身的特点,提出了目标形心的自动标定方法,在此基础上改进了Snake模型初始轮廓点的选取方法,并通过贪婪算法进行迭代处理,实现了基于Snake模型的雨滴边缘检测算法。算法能够准确地对数字图像中的雨滴边缘轮廓进行检测,且具有较好的稳定性。与传统的边缘检测算子相比,该方法对雨滴图像获得了更好的边缘检测效果。

基于生成对抗网络的输电线路机巡影像去雨滴方法

无人机巡线过程中摄像机镜头上可能会沾有雨滴,雨滴对图像的细节信息影响较为严重,使图像中目标输电设备辨识度下降,阻碍了无人机巡检技术的实用化。为此,对雨滴图像形成原理进行研究,提出了基于生成对抗网络的输电线路机巡影像去雨滴方法。该方法应用注意力递归网络生成雨滴注意力图,利用上下文自动编码解码器生成去雨滴图像,在判别网络中引入全局判别器和局部判别器共同监督去雨滴图像的生成。实验结果表明,所提出的方法能够去除图像中的雨滴并对雨滴覆盖区域背景图像进行修复,与传统方法相比能够生成更高质量的去雨滴图像。

线阵光学降水现象自动测量系统

采用平行光成像的方式,研制了基于线阵图像传感器的降水现象自动测量系统,用于揭示大气降水物理特征及本质。首先,根据降水粒子微物理特征和降水现象业务观测的需求,设计了光学系统及高速线阵图像数据采集处理平台。然后,针对降水观测系统连续运行条件下线阵实时采集数据量大、不便于传输及处理的特点,利用现场可编程门阵列(FPGA)芯片实现片内线阵数据实时二值化处理及编码传输。为消除平行光源性能漂移及传感器光强响应非均匀性等对成像阈值设置的影响,保证长期运行测量精度和一致性,设计了基于微处理器软核MicroBlaze的自适应阈值设置方案。在室内定标实验的基础上,与翻斗雨量计进行初步观测对比试验。实验室定标结果表明,系统最小分辨率优于0.1mm,实际同步观测累加降水量误差在15%左右,两者变化趋势大致相同,有较好的线性相关性。提出的系统满足降水现象自动测量对稳定可靠、自动化、精细化的要求。