结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络

合成孔径雷达(synthetic aperture radar,SAR)与光学图像融合旨在利用卫星传感器的成像互补性,生成更全面的地貌信息.然而,由于各单一卫星传感器数据分布的异质性和成像物理机制的差异,现有网络模型在融合过程中往往存在成像精度低的问题.为了解决上述问题,本文提出DNAP-Fusion,一种新的结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络(dual non-local-aware-based pyramid fusion net).该方法利用双非局部注意力模块,在空间尺度逐渐减小的多级图像金字塔中提取SAR图像的结构信息和光学图像的纹理细节.然后在空间和通道维度上融合它们的互补特征.然后,通过图像重构将融合特征注入上采样光学图像中,得到最终的融合结果.此外,在网络训练之前,采用图像封装决策来增强同一场景中SAR和光学图像中目标之间的共性关系.定性和定量的实验结果表明,提出的方法优于现有融合方法,其中客观评价指标中的相关系数(correlation coefficient,CC)为0.9906,峰值信噪比(peak signal to noise ratio,PSNR)为32.1560 dB.此外,所提方法有效地融合了SAR图像和可见光图像的互补特征,为提高遥感图像融合的精度和有效性提供了一种有价值的思路和方法.