红外与可见光图像融合的U-GAN模型

红外与可见光图像进行融合是解决单一传感器成像不足的有效手段,目的是得到适合人眼并有利于下一步应用和处理的融合图像。为解决大部分方法特征提取不全面,细节纹理丢失及公共数据集样本较少不利于训练等问题,提出一种用于图像融合的端到端网络结构。将U-net特有的卷积结构用于图像融合,最大程度地提取并保留源图像的重要特征信息。再通过生成对抗网络得到最后的融合结果,将U-net提取的特征输入生成器与包含红外图像的鉴别器进行对抗,得到训练模型。实验结果表示,所提算法能够得到轮廓清晰、纹理突出、目标明显的融合图像,SD、SF、SSIM、AG等指标明显得到提升。