基于CNN和Transformer的轻量级超分辨率重建网络研究

随着深度学习的发展,单图像超分辨率技术取得了长足的进步。然而,现有的大多数研究都专注于卷积神经网络来构建具有大量层数的更深层次的网络模型。这些方法难以应用于现实场景,因为它们不可避免的伴随着复杂操作所带来的计算和内存成本问题。为此,我们提出了一种用于单图像超分辨率重建的轻量级混合模型——轻量级融合CNN-Swin Transformer网络。具体来说,我们使用带有移动窗口的Swin Transformer块充分学习图像的长期依赖性,并构建了一个基于CNN的局部特征提取块来有效地提取图像的局部特征细节。同时,设计了一个多路径动态卷积块来学习图像的边缘特征。实验结果表明,与基于Transformer的单图像超分辨率模型相比,本文提出的模型取得了更好的结果。

基于残差Swin Transformer的天气图像识别技术研究

人类活动经常受到天气条件的影响,基于图像的自动天气识别在实际应用中具有重要意义。然而现有方法均使用卷积神经网络,未能有效地利用图像的全局信息和像素点之间长距离的依赖关系,且识别的天气类型较少,识别精度较低。为解决这些问题,尝试将视觉Transformer应用到天气识别领域,同时提出一种基于残差Swin Transformer的模型,并使用先进的优化器Ranger来提高天气识别的正确率。该模型在包含11种天气现象的公开数据集WEAPD上进行验证,实验结果表明,其整体性能优于其他先进的识别网络,识别正确率达到93.6%,可为天气图像识别和天气预报研究提供参考。