基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.

基于DOCnet的强对流天气分类识别

强对流天气对人民生命财产有严重威胁,精确识别强对流天气有益于更好地预测强对流天气。为了解决传统机器学习方法忽视不同强对流天气在雷达图上的不同形状表达和传统机器学习方法计算量大等问题,提出一种基于DOCnet的多类强对流天气分类识别方法。该网络使用深度倍频卷积分别提取雷达图像的高频特征和低频特征,在去除低频特征图中冗余空间减少参数量的同时,增大了提取低频特征图和高频特征图卷积层的感受野,能充分提取雷达图的图像特征,提高模型对强对流天气的分类准确度。通过泛洪法训练模型,提高了模型泛化能力。在风暴事件图像(SEVIR)数据的测试集中,DOCnet模型对强降水、雷暴大风、冰雹、龙卷风4类强对流天气分类的平均命中率为90.54%,平均临界成功指数为81.2%,平均空报比率为11.9%。与基线模型相比,DOCnet的命中率提高了15.02个百分点;与表现最好的MobileNetV2相比,DOCnet的命中率高出5.87%。实验结果表明,DOCnet能够有效提高强对流天气分类效果。

基于深度频率特征注意力机制的图像去雨方法

针对雨图像中由于雨线和雨幕效应导致背景信息模糊、清晰度下降的问题,本文提出一种基于深度频率特征注意力机制的图像去雨方法。首先,构建基于频率去雨模型的参数估计网络,设计基于空间尺度变换和倍频卷积的频率特征分解模块区分参数频率特征,降低低频特征空间冗余,提高运算效率。其次,在雨线检测模块中利用多频通道注意力机制映射雨线层权重信息,增强权重特征多样性,提高雨线检测性能。最后,设计基于焦频损失的去雨修复网络,进一步修复去雨模型估计图像,通过缩小频率差距提高图像修复质量,增强网络的抗干扰能力。实验结果表明,所提方法能够有效去除真实雨图像场景中的雨线,抑制雨幕效应,保留图像背景信息完整,图像清晰度较高。