基于FRGF和改进PCNN的红外可见光图像融合

为解决图像融合中边缘细节保留不理想的问题,本文提出了一种快速滚动引导滤波器和改进脉冲耦合神经网络相结合的红外可见光图像融合方法。提出的快速滚动引导滤波器可以较好地在保留边缘、细节纹理信息的同时有效提高运行效率。首先,利用快速滚动引导滤波和高斯滤波对源图像进行多尺度分解;其次,为了使基础层图像更好地突出轮廓信息,采用相似性匹配的融合规则对图像进行融合;然后,细节层采用改进参数自适应脉冲耦合神经网络规则进行融合;最后,经过多尺度重构得到融合结果图。实验结果表明,与其它5种融合方法相比,该算法不仅在视觉效果上得到了提升,而且能够充分保存图像的边缘和纹理等信息,极大地提高了运行效率。另外,该方法在客观评价指标上均优于对比方法。

卷积自编码融合网络的红外可见光图像融合

可见光图像能够充分反映场景的细节信息,红外图像能够反映目标的热度信息,利用两者的互补信息进行融合,可以得到具有目标信息和场景细节的图像.本文提出一种基于卷积自编码融合网络的红外与可见光图像融合的方法.首先利用卷积编码网络从两类源图像中提取相应特征,产生在不同维度上包含源图像各项信息的特征图;接着对两类图像的特征图利用等权重相加的融合规则将其进行融合,得到包含两类源图像信息的特征图,然后利用卷积解码网络对其进行重建,最终得到一张包含两类源图像信息的融合图像.通过对多组红外与可见光图像进行实验,实验结果证明本文提出的方法可以得到较好的融合结果.该方法的融合结果无论从主观视觉效果还是客观定量评价,都优于一些主流的红外与可见光图像融合方法.

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于双分支边缘卷积融合网络的红外与可见光图像融合方法

提出一种基于双分支边缘卷积融合网络的红外与可见光图像融合方法。首先,提出一种改进的双分支边缘卷积结构,将图像包含的信息分解为公共信息和模态信息,并于每个分支引入边缘卷积块,更好的提取深度特征;然后在融合层引入卷积注意力模块对模态特征进行增强;最后基于所本文编解码网络特点,提出一种重建损失结合融合损失的损失函数。经过大量的消融性实验和对比实验表明,本文方法能够很好的保留原图像中的公共信息和模态信息,并且相比目前最新的融合方法在主观和客观评价上都具有优秀的综合性能。

基于无监督显著性掩码引导的红外与可见光图像融合网络

在具有挑战性的拍摄环境中,使用单张红外或可见光图像很难捕获清晰详细的纹理信息以及热辐射信息。然而,红外和可见光图像融合允许保存来自红外图像的热辐射信息和来自可见光图像的纹理细节。现有的许多方法在融合过程中直接生成融合图像,忽略了对源图像像素级权重贡献的估计,强调了不同源图像之间的学习。为此,提出了基于无监督显著性掩码引导的红外与可见光图像融合网络,利用密集结构在源图像中进行全面的特征提取。它产生一个权重估计概率来评估每个源图像对融合图像的贡献。此外,由于红外与可见光图像缺乏真实标签,难以使用有监督学习,UMGN还引入了显著性掩码,便于网络集中学习红外图像的热辐射信息和可见光纹理信息。在训练过程中还引入了加权保真度项和梯度损失,以防止梯度退化。与大量其他最先进的方法进行对比实验,结果证明了所提出的UMGN方法的优越性和有效性。

基于RPCA的红外与可见光图像融合

图像融合中,多数边缘保持滤波器在优化过程中会损坏细节和纹理信息,并且噪声也会严重影响融合结果,使得融合结果之间出现边界模糊和细节丢失问题。提出了一种基于RPCA(Robus principal compo-nent association)算法的红外光和可见光图像融合方法,可有效提高图象清晰度和视觉信息的保真度。首先,利用鲁棒主成分分析(RPCA)分解源图像为低秩部分和稀疏部分,并运用相对全变分和平均能量法对两者进行处理,最后通过NSCT逆变换获得融合图像。实验结果表明,与其他方法相比,该方法所得融合图像的平均梯度、空间频率、边缘强度、互信息量均有提升,提升量级分别为10.6%到72.6%、15%到60.2%、9.7%到69.6%,22.7%到229.7%。

孪生Swin Transformer的红外与可见光图像融合算法

为解决基于卷积神经网络(convolutional neural networks,CNN)的红外与可见光图像融合算法融合过程中未考虑原图像远程依赖关系的问题,提出了一种孪生Swin Transformer的红外与可见光图像融合算法,构建了孪生网络模型。使用潜在低秩表示(latent low-rank representation,LatLRR)分解方法将原图像分解,再分别融合以提升图像融合的精度;使用Swin Transformer分别提取分解后图像的特征,获取图像的远程依赖关系;使用l1-norm正则化方法求解特征范数,利用Softmax分别获得分解后图像的权重图;利用线性加权方法重构融合图像,通过简单的线性加和获得最终融合图像。在评测基准VIFB上对所提算法进行评测,实验结果表明,所提算法与20种融合算法相比,定性性能优良;定量分析,在由13种评价指标组成的评价体系中,该算法能够取得3个最优值,超过大部分融合算法;在运行时间方面,该算法的运行时间成本低于大部分融合算法。所提融合算法相较于其他融合算法,在主观和客观方面均表现出更好的融合性能。

基于NSST和NSGA-III的红外和可见光图像融合

针对图像融合方法容易丢失源图像结构信息的问题,该文提出一种基于非下采样剪切波变换(Non-Subsample Shearlet Transform,NSST)和第三代非支配排序遗传算法(Non-dominated Sorting Genetic Algorithm III,NSGA-III)的红外和可见光图像融合方法.首先,将源图像进行NSST变换得到低频和高频子带图像;其次,针对低频图像,设计了一种新的基于NSGA-III的融合规则,先使用区域能量法对图像进行预融合,以预融合图像作为参考图像,再通过NSGA-III算法进行优化获得融合低频图像;针对高频图像,用绝对值取大规则.最后,利用NSST逆变换重构融合图像.算法性能在TNO数据集上进行验证,并与其他先进的融合算法进行比较,定性与定量的结果均表明,提出的方法目标突出,并保留了源图像更多的结构信息.

用于红外与可见光图像融合的注意力残差密集融合网络

为了解决当前红外与可见光图像融合算法中易出现场景信息缺失、目标区域细节模糊、融合图像不自然等问题,提出一种用于红外与可见光图像融合的注意力残差密集融合网络(ARDFusion)。本文整体架构是一种自编码器网络,首先,利用存在最大池化层的编码器对源图像进行多尺度特征提取,然后,利用注意力残差密集融合网络分别对多个尺度的特征图进行融合,网络中的残差密集块可以连续存储特征并且最大程度地保留各层特征信息,注意力机制可以突出目标信息并获取更多与目标、场景有关的细节信息。最后,将融合后的特征输入到解码器中,通过上采样和卷积层对特征进行重构,得到融合图像。本文提出了一种用于红外与可见光图像融合的注意力残差密集融合网络,实验结果表明,较已有文献的其他典型融合算法,具有较好的融合效果,能够更好地保留可见光图像中的光谱特性且红外目标显著,并在主观评价和客观评价方面都取得了较好的融合性能。

基于快速交替引导滤波和CNN的红外与可见光图像融合

为了解决红外与可见光图像融合中出现细节信息丢失,边缘模糊以及伪影的问题,本文提出一种快速交替引导滤波,在保证融合图像质量的前提下有效提高运行效率,结合CNN(卷积神经网络)以及红外特征提取进行有效的融合。首先,对源图像利用四叉树分解和贝塞尔插值来提取红外亮度特征结合可见光图像得到初始融合图像。其次,通过快速交替引导滤波获取源图像的基础层与细节层信息,基础层通过CNN与拉普拉斯变换得到融合后的基础图像,细节层通过显著性测量的方法得到融合后的细节图像。最后,将初始融合图、基础融合图以及细节融合图进行相加得到最终融合结果。本算法涉及到的快速交替引导滤波以及特征提取性能使得最终融合结果中包含丰富的纹理细节信息,边缘清晰。经实验表明,本算法所得融合结果在视觉方面具有较好的保真度,客观评价指标较对比方法其信息熵、标准差、空间频率、小波特征互信息、视觉保真度以及平均梯度分别平均提高了9.9%,6.8%,43.6%,11.3%,32.3%,47.1%。

基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合(Infrared and Visible Image Fusion,IVIF)是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。

基于双分解的双通道PCNN红外与可见光图像融合

为解决红外与可见光图像融合过程中存在的对比与清晰度较低和小目标易丢失等问题,提出了基于在双分解模型下的双通道PCNN(dPCNN)图像融合算法。首先对两幅源图像进行预增强处理,通过鲁棒的主成分分析(RPCA)将处理后图像分解为稀疏层与低秩层,接着,再利用非下采用剪切波变换(NSST)对的稀疏层进行多尺度分解得到低频子带与高频子带,然后对低秩层和低频子带采用局部加权能量与拉普拉斯能量两者取大的规则进行融合,对高频子带则利用dPCNN的点火图进行融合,最后将得到的融合成分进行逆变换或合成来得到最终融合图像。实验表明,该算法的融合图像目标信息对比突出、小目标信息明显,对源图像信息保留较好,客观评价指标也明显也优于其他算法,其中互信息有了大幅度的提升,有效地提升了红外与可见光图像的融合效果。

视觉多通路机制启发的多场景感知红外与可见光图像融合框架

现有的红外与可见光图像融合算法往往将日间场景与夜间场景下的图像融合视为同一个问题,这种方式忽略了在日间场景与夜间场景下进行图像融合的差异性,使得算法融合性能受限。生物视觉系统强大的自适应特性能够在不同场景下最大限度地捕获输入视觉刺激中的有效信息,实现自适应的视觉信息处理,有可能为实现性能更为优异的红外与可见光图像融合算法带来新的思路启发。针对上述问题,该文提出一种视觉多通路机制启发的多场景感知红外与可见光图像融合框架。其中,受生物视觉多通路特性启发,该文框架中设计了分别感知日间场景信息与夜间场景信息的两条信息处理通路,源图像首先分别输入感知日间场景信息与感知夜间场景信息的融合网络得到两幅中间结果图像,而后再通过可学习的加权网络生成最终的融合图像。此外,该文设计了模拟生物视觉中广泛存在的中心-外周感受野结构的中心-外周卷积模块,并将其应用于所提出框架中。定性与定量实验结果表明,该文所提方法在主观上能够显著提升融合图像的图像质量,同时在客观评估指标上优于现有融合算法。

基于双注意力机制的红外与可见光图像融合方法

针对大多数基于GAN的红外与可见光图像融合方法仅在生成器使用注意力机制,而鉴别阶段缺乏注意力感知能力的问题,提出了一种基于双注意力机制生成对抗网络(doubleattention generative adversarial networks,DAGAN)的红外与可见光图像融合方法。DAGAN提出一种多尺度注意力模块,该模块在不同尺度空间中将空间注意力和通道注意力结合,并将其应用在图像生成阶段和鉴别阶段,使生成器和鉴别器均能感知图像中最具鉴别性的区域,同时提出了一种注意力损失函数,利用鉴别阶段的注意力图计算注意力损失,保存更多目标信息和背景信息。公开数据集TNO测试表明:与其他7种融合方法相比,DAGAN具有最好的视觉效果与最高的融合效率。

基于交替梯度滤波器和改进PCNN的红外与可见光图像融合

为了克服红外与可见光图像融合过程中在目标物体的边缘处产生虚影的问题,提出一种基于交替梯度滤波器和改进脉冲耦合神经网络的图像融合方法。在梯度滤波器的基础上结合滚动引导滤波器和平滑迭代恢复滤波器提出一种交替梯度滤波器,可以同时实现小结构消除,局部强度保持和边缘恢复的特性。利用交替梯度滤波器分解源图像,分解为近似层和残差层。近似层采用多尺度形态学算子和最大区域能量与源图像相结合的融合规则,残差层用改进参数自适应脉冲耦合神经网络融合规则进行融合。最后,经过交替梯度滤波器重构得到融合结果图。实验结果表明,与其他5种融合方法进行比较,本文方法的客观评价指标平均梯度、标准差、信息熵、空间频率、边缘强度和视觉保真度分别平均提高了18%,10%,2.8%,16%,51%,11.2%,且能够避免在目标物体的边缘处产生虚影,较好地保留源图像的亮度、边缘、细节及纹理等信息。

一种新的红外与可见光图像融合评价方法

在对源图像进行区域划分与关联的基础上,结合红外与可见光图像的成像特点和图像融合任务需求,定义了两个图像区域特征,基于该特征和融合图像与源图像的信息熵及互信息(mutual information,MI),构造了融合图像区域相似度评价指标,提出了一种新的无参红外与可见光融合图像质量评价方法。实验表明,本文所建立的融合图像质量评价指标,比目前常用的几种评价指标更接近人的视觉观感。

基于稀疏特征的红外与可见光图像融合

针对传统的红外与可见光图像融合算法提取目标信息不突出的问题,提出一种基于非下采样剪切波变换和稀疏结构特征的融合方法.首先用非下采样剪切波变换分解源图像;然后通过主成分分析提取低频子带系数中边缘和轮廓等显著特征,引导低频成分融合规则的设计,同时基于结构信息的稀疏性指导融合高频子带系数;最后经过非下采样剪切波变换逆变换得到融合后的图像.实验结果表明,该方法在保留可见光图像背景信息的基础上,突显了红外图像的结构信息,有效提高了融合效果.

基于低秩稀疏表示的红外与可见光图像序列融合方法

考虑到红外与可见光图像序列间的高度相关性,本文提出了基于低秩稀疏表示的红外与可见光图像序列融合方法。首先,利用低秩稀疏表示理论分别将红外图像序列与可见光图像序列进行背景与目标分离,获取低秩分量与稀疏分量。其次,利用Laplace金字塔融合方法将每帧红外与可见光图像的低秩分量进行融合。再次,采用最大值选择规则将每帧红外与可见光图像的稀疏分量进行融合。最后,融合低秩分量与融合稀疏分量相加获得最终融合图像。本文算法在Nato-camp与BristolEdenProject数据集上进行了性能验证。主观视觉分析与客观评价指标表明本文算法比传统的融合算法具有更优越的性能。