改进双路径生成对抗网络的红外与可见光图像融合

为了使融合图像保留更多源图像的信息,该文提出一种端到端的双融合路径生成对抗网络(GAN)。首先,在生成器中采用结构相同、参数独立的双路径密集连接网络,构建红外差值路径和可见光差值路径以提高融合图像的对比度,引入通道注意力机制以使网络更聚焦于红外典型目标和可见光纹理细节;其次,将两幅源图像直接输入到网络的每一层,以提取更多的源图像特征信息;最后,考虑损失函数之间的互补,加入差值强度损失函数、差值梯度损失函数和结构相似性损失函数,以获得更具对比度的融合图像。实验表明,与多分类约束的生成对抗网络(GANMcC)、残差融合网络(RFnest)等相关融合算法相比,该方法得到的融合图像不仅在多个评价指标上均取得了最好的效果,而且具有更好的视觉效果,更符合人类视觉感知。

基于SGWT和多显著性的红外与可见光图像融合

由于谱图小波变换(Spectral Graph Wavelet Transform, SGWT)可充分利用图像在图域中的光谱特性,本文结合其对不规则小区域表达的优势,提出了一种基于多显著性的红外与可见光融合算法。首先应用SGWT将源图像分解成一个低频子带和若干个高频子带;对于低频系数,将多个互补的低层特征结合起来,提出了一种适合人眼视觉特征的多显著性融合规则,对于高频系数,充分考虑邻域像素的相关性,提出了一种区域绝对值取大规则;最后,应用了一种加权最小二乘优化(weighted least squares,WLS)方法对谱图小波重构的融合图像进行优化,在突出显著目标的同时尽可能多地保留可见光的背景细节。实验结果表明,与DWT(Discrete Wavelet Transform)、NSCT(Non-down Sampled Contourlet Transform)等7种相关算法相比,在突出红外目标的同时还能保留更多的可见光背景细节,具有较好的视觉效果;同时在方差、熵、Qabf和互信息量4个客观评价上也均占据优势。

基于图像增强和滚动引导滤波的红外与可见光图像融合

针对红外与可见光图像融合易发生热目标亮度损失、可见光图像细节信息丢失的问题,提出一种基于图像增强和滚动引导滤波的多尺度融合算法。首先,提出一种自适应图像增强方法,提高可见光图像的整体亮度,并保持细节处的对比度。然后,根据特征的不同将源图像分解为三层,采用基于引导滤波的显著性提取方法得到亮度层;利用滚动引导滤波良好的尺度感知和边缘保持特性,并结合高斯滤波得到基础层和细节层。最后,对亮度层采用像素值取大的融合规则,提出一种新的最小二乘优化方案对基础层进行融合,使用修正拉普拉斯能量和作为清晰度的度量对细节层进行融合。实验结果表明,与其他融合方法相比,所提方法在主观评价和客观评价上都有较好的表现。