空域和频域特征解耦的红外与可见光图像融合

现有的红外与可见光图像融合算法大都在空间域上进行卷积操作,实现特征提取、特征融合、图像重建。受限于卷积神经网络的局部建模特性,此类方法未能考虑图像的全局上下文信息,从而限制了融合算法的鲁棒性。针对上述问题,受到图像在频域上服从谱卷积定理的全局建模属性的启发,提出了一种基于空域和频域特征解耦的红外与可见光图像融合算法,分别解耦出源图像在空间域和频域中的高低频信息表征,并进行互补交互融合,以提高融合算法的鲁棒性。提出的方法主要由频域解耦分支、空间域解耦分支以及多频谱卷积注意力融合模块三部分构成。首先,频域解耦分支利用频率掩膜解耦出源图像在傅里叶域中的高低频信息表征,得到源图像的全局上下文信息。然后,空间域解耦分支包括两个并行的可逆神经网络模块和轻量级Transformer模块,分别用于解耦出源图像在空间域中的高低频信息表征,得到源图像的局部上下文信息。最后,提出一种多频谱卷积注意力融合模块,实现高低频表征信息的互补交互融合,促使融合图像保留更多的红外显著信息和可见光纹理细节信息。在MSRS、TNO、RoadScene三个数据集上的定性和定量实验表明提出的方法取得了优异的性能。相比2023年提出的DATFusion融合方法,在信息熵、平均梯度、VIF等多个客观评价指标上分别提升13.3%、46.6%、10.3%。