基于注意力机制的多尺度特征融合图像去雨方法

雨纹分布和形状具有多样性,现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此,本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成,多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息,并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合,组间利用全局特征融合注意力模块更好地融合不同层次的特征,通过像素注意力使网络重点关注于雨纹区域.在仿真和真实雨像数据集上与其他现有图像去雨算法相比,本文方法的定量指标有着明显提高,去雨后的图像视觉效果较好且具有良好的泛化性.

多分辨率融合密集网络的图像去雨方法

针对现有的去雨方法无法彻底去除雨纹并且去雨后图像存在细节丢失问题,提出一种多分辨率融合密集网络的图像去雨方法。网络主体由多个多分辨并行融合模块构成,始终保持空间精确的高分辨率并从低分辨率中接收大量的上下文信息。使用一种基于选择性卷积核机制SKNet的多尺度特征融合模块,通过非线性的方法有效聚合来自不同分辨率流的特征。在不同的分辨率流中使用一种改进的残差模块,采用相邻层次的多种尺度的卷积来获取丰富的雨纹信息。模块间使用密集连接,加强不同模块之间的特征传播。实验表明,所提方法在合成及真实雨像数据集上的评价指标与其他去雨方法相比有所提高,去除雨纹的同时能够保留更多的细节信息。