基于多判别器双流生成对抗网络的红外与可见光图像融合

针对现有的红外与可见光图像融合方法对源图像信息保留不充分的问题,改进了一种基于多判别器双流生成对抗网络(Generative Adversarial Network,GAN)的红外与可见光图像融合算法。改进的GAN融合框架包含一个生成器与四个判别器,将差分图像作为辅助信息,从而进一步提升网络的融合性能。算法中的差分图像不仅被作为源图像的附加信息,引导生成器关注不同模态图像的独特信息,还被用作真实数据分布,协助差分判别器与生成器进行对抗训练。所改进网络模型中,生成器采用双编码器-单解码器结构,其中编码器旨在提取不同模态特征,主要采用密集连接结构,并结合注意力模块;解码器旨在根据联结高维特征重构出融合图像。判别器对输入图像是来自真实图像还是融合图像进行判断,并根据判断的结果对生成器进行约束优化。实验结果表明,相较于对比算法,所提算法在主观判读和客观指标评价两方面均取得了更优异的融合效果。