基于目标增强与鼠群优化的红外与可见光图像融合算法

针对传统红外与可见光图像融合结果存在目标模糊、信息丢失问题,提出一种基于目标增强与鼠群优化的红外与可见光图像融合方法,记为TERSFuse。为了减少融合结果中原始图像细节信息丢失,分别构建了红外对比度增强模块和基于亮度感知的可见光图像增强模块;利用拉普拉斯金字塔变换对红外和可见光增强图像进行多尺度分解,从而得到对应的高、低频图像;为了使融合结果充分保留原始图像信息,分别采用“最大绝对值”规则对红外和可见光高频图像进行融合以及通过计算权重系数对低频图像进行融合;设计了基于鼠群优化的图像重构模块以实现高频图像和低频图像重构权重的自适应分配,进而提高融合图像的视觉效果。为了验证所提算法优势,与7种经典融合算法进行比较,实验结果表明所提算法不仅具有良好的视觉效果,而且融合图像能够保留原始图像丰富的边缘纹理和对比度信息。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于预训练固定参数和深度特征调制的红外与可见光图像融合网络

为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自然图像分别作为U型网络结构(UNet)的输入和输出,采用自编码器技术完成预训练。所获得编码器模块能有效提取输入图像的多尺度深度特征功能,而解码器模块则能将其重构为与输入图像差异极小的输出图像;在无监督融合训练阶段,将预训练编码器和解码器模块的网络参数保持固定不变,而在两者之间新增包含Transformer结构的融合模块。其中,Transformer结构中的多头自注意力机制能对编码器分别从红外和可见光图像提取到的深度特征权重进行合理分配,从而在多个尺度上将两者融合调制到自然图像深度特征的流型空间上来,进而保证融合特征经解码器重构后所获得融合图像的视觉感知效果。大量实验表明:与当前主流的融合模型(算法)相比,所提PDNet模型在多个客观评价指标方面具有显著优势,而在主观视觉评价上,也更符合人眼视觉感知特点。

基于AGF和CNN的红外与可见光图像融合

针对红外与可见光图像融合中出现的边缘模糊和细节丢失等问题,本文提出了一种基于交替引导滤波器(AGF)与掩膜引导卷积神经网络(CNN)的融合算法。首先,将源图像通过交替引导滤波分解为基础层与细节层;然后,将基础层通过能量属性的融合规则得到基础融合图像,细节层在基于掩膜引导的损失函数的指导下,通过卷积神经网络得到融合后的细节图像;最后,将基础融合图像与细节融合图像相加得到最终融合图像;实验结果表明,本文方法能够在突出显著热目标的同时保留丰富的背景边缘纹理信息,在客观评价指标上相较对比方法取得了更好的效果,证明了本文算法的优越性。

基于快速联合双边滤波器和改进PCNN的红外与可见光图像融合

针对红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出了一种结合快速联合双边滤波器(fast joint bilateral filter,FJBF)和改进脉冲耦合神经网络(pulse coupled neural network,PCNN)的红外与可见光图像融合方法,在保证融合图像质量的前提下有效提高运行效率。首先,利用快速联合双边滤波器对源图像进行分解;其次,为了更好地提取图像中显著结构和目标信息,针对基础层图像采用一种基于视觉显著图(visual significance map,VSM)的加权平均融合规则,针对细节层图像采用改进脉冲耦合神经网络模型进行融合,其中PCNN的所有参数都可以根据输入波段自适应调节;最后,将基础层融合图与细节层融合图叠加重构得到融合图像。实验结果表明,该方法提高了融合图像的效果,有效地保留了目标、背景细节和边缘等重要信息。

多尺度和卷积注意力相结合的红外与可见光图像融合

针对红外与可见光图像融合时,单一尺度特征提取不足、红外目标与可见光纹理细节丢失等问题,提出一种多尺度和卷积注意力相结合的红外与可见光图像融合算法。首先,设计多尺度特征提取模块和可变形卷积注意力模块相结合的编码器网络,多感受野提取红外与可见光图像的重要特征信息。然后,采用基于空间和通道双注意力机制的融合策略,进一步融合红外和可见光图像的典型特征。最后,由3层卷积层构成解码器网络,用于重构融合图像。此外,设计基于均方误差、多尺度结构相似度和色彩的混合损失函数约束网络训练,进一步提高融合图像与源图像的相似性。本算法在公开数据集上与7种图像融合算法进行比较,在主观评价和客观评价方面,所提算法相较其它对比算法具有较好的边缘保持性、源图像信息保留度,较高的融合图像质量。

基于GAN轻量化改进的红外与可见光图像融合算法

普通神经网络难以生成符合人眼视觉的红外与可见光融合图像,且网络模型复杂、占用内存过大。本文改进现有的生成对抗网络(GAN)框架:首先,在生成器中融入深度卷积和逐点卷积,设计小卷积核的卷积网络以减少网络参数;其次,对源图像进行掩膜处理以减少提取特征过程中源图像信息的丢失;然后将处理后的图像和生成器得到的融合图像共同输入到鉴别器中,以增强网络对可见光图像保留源图像信息的能力;最后,在性能评价阶段将损失函数设置为梯度损失、对抗损失和内容损失函数,以约束融合图像,使其包含更多的可见光图像的背景信息以及红外图像的目标信息。在TNO image fusion dataset上进行了仿真实验,结果表明所提算法在降低网络复杂度、减少运算参数的同时可得到细节丰富、目标明确的融合图像。

基于光照权重分配和注意力的红外与可见光图像融合深度学习模型

针对现有红外与可见光图像融合模型在融合过程中忽略光照因素、使用常规的融合策略,导致融合结果存在细节信息丢失、显著信息不明显等问题,提出一种基于光照权重分配和注意力的红外与可见光图像融合深度学习模型。首先,设计光照权重分配网络(IWA-Net)来估计光照分布并计算光照权重;其次,引入CM-L1范式融合策略提高像素之间的依赖关系,完成对显著特征的平滑处理;最后,由全卷积层构成解码网络,完成对融合图像的重构。在公开数据集上的融合实验结果表明,所提模型相较于对比模型,所选六种评价指标均有所提高,其中空间频率(SF)和互信息(MI)指标分别平均提高了45%和41%,有效减少边缘模糊,使融合图像具有较高的清晰度和对比度。该模型的融合结果在主客观方面均优于其他对比模型。

基于多尺度及多头注意力的红外与可见光图像融合

针对红外与可见光图像融合容易出现细节丢失,且现有的融合策略难以平衡视觉细节特征和红外目标特征等问题,提出一种基于多尺度特征融合与高效多头自注意力相结合的红外与可见光图像融合方法。首先,为提高目标与场景的描述能力,采用了多尺度编码网络提取源图像不同尺度的特征;其次,提出了基于Transformer的多头转置注意力结合残差密集块的融合策略以平衡融合细节与整体结构;最后,将多尺度特征融合图输入基于巢式连接的解码网络,重建具有显著红外目标和丰富细节信息的融合图像。基于TNO与M^(3) FD公开数据集与7种经典融合方法进行实验,结果表明,本文方法在视觉效果与量化评价指标上表现更佳,生成的融合图像在目标检测任务上取得更好的效果。

基于注意力密集网络的伪彩色红外与可见光图像融合

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。

基于双分支边缘卷积融合网络的红外与可见光图像融合方法

提出一种基于双分支边缘卷积融合网络的红外与可见光图像融合方法。首先,提出一种改进的双分支边缘卷积结构,将图像包含的信息分解为公共信息和模态信息,并于每个分支引入边缘卷积块,更好的提取深度特征;然后在融合层引入卷积注意力模块对模态特征进行增强;最后基于所本文编解码网络特点,提出一种重建损失结合融合损失的损失函数。经过大量的消融性实验和对比实验表明,本文方法能够很好的保留原图像中的公共信息和模态信息,并且相比目前最新的融合方法在主观和客观评价上都具有优秀的综合性能。

基于无监督显著性掩码引导的红外与可见光图像融合网络

在具有挑战性的拍摄环境中,使用单张红外或可见光图像很难捕获清晰详细的纹理信息以及热辐射信息。然而,红外和可见光图像融合允许保存来自红外图像的热辐射信息和来自可见光图像的纹理细节。现有的许多方法在融合过程中直接生成融合图像,忽略了对源图像像素级权重贡献的估计,强调了不同源图像之间的学习。为此,提出了基于无监督显著性掩码引导的红外与可见光图像融合网络,利用密集结构在源图像中进行全面的特征提取。它产生一个权重估计概率来评估每个源图像对融合图像的贡献。此外,由于红外与可见光图像缺乏真实标签,难以使用有监督学习,UMGN还引入了显著性掩码,便于网络集中学习红外图像的热辐射信息和可见光纹理信息。在训练过程中还引入了加权保真度项和梯度损失,以防止梯度退化。与大量其他最先进的方法进行对比实验,结果证明了所提出的UMGN方法的优越性和有效性。

基于Retinex增强的多尺度分解的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法在低照度条件下融合结果对比度差、目标边际模糊、背景细节信息丢失等问题,提出一种基于Retinex增强的多尺度分解的红外与可见光图像融合算法。首先,利用Retinex对弱可见光图像进行单尺度Retinex(SSR)算法信息增强处理;其次,利用交叉双边滤波对源图像进行多尺度分解,先后得到图像的基层图像信息和细节层图像信息,对基础层图像采用绝对值取大策略和引导滤波相结合的融合方法,对细节层图像采用构建权重图和显著图的融合方法;最后,将处理后的基础层图像和细节层图像加权得到融合图像。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,多组图像融合结果表明,本文所提方法的AG、SF、CE和FMI指标均较好。

基于差分融合与边缘增强的轻量级红外与可见光图像融合算法

为了解决现有融合方法在融合性能与计算资源消耗上存在不平衡的问题,提出了一种基于差分融合与边缘增强的轻量级红外与可见光图像融合算法。该方法通过基于结构重参数化的编码器和深度编码块来提取图像特征信息,用差分融合模块(DFM)融合不同模态的特征信息,再将融合后的特征信息通过边缘增强模块(EEM)来强化特征的边缘信息。在训练完成后,用结构重参数化技术优化多分支结构和推理速度,在融合性能不变的情况下,降低网络的计算资源消耗。最后,在MSRS和TNO数据集上进行的实验表明,所提方法在视觉效果和定量指标方面具有优越性。

基于RPCA的红外与可见光图像融合

图像融合中,多数边缘保持滤波器在优化过程中会损坏细节和纹理信息,并且噪声也会严重影响融合结果,使得融合结果之间出现边界模糊和细节丢失问题。提出了一种基于RPCA(Robus principal compo-nent association)算法的红外光和可见光图像融合方法,可有效提高图象清晰度和视觉信息的保真度。首先,利用鲁棒主成分分析(RPCA)分解源图像为低秩部分和稀疏部分,并运用相对全变分和平均能量法对两者进行处理,最后通过NSCT逆变换获得融合图像。实验结果表明,与其他方法相比,该方法所得融合图像的平均梯度、空间频率、边缘强度、互信息量均有提升,提升量级分别为10.6%到72.6%、15%到60.2%、9.7%到69.6%,22.7%到229.7%。

基于坐标注意力的重参数化红外与可见光图像融合网络

针对现有大多数基于深度网络的图像融合方法网络架构复杂、计算成本高,且没有充分考虑多模态图像的固有特性进而难以实现跨模态特征的丰富交互两个问题,提出一种基于坐标注意力机制的重参数化红外与可见光图像融合网络.该网络引入重参数化技巧,并结合残差学习进行特征提取,以在保证融合质量的同时提高计算效率.其次,为增强跨模态特征间的交互性、充分利用多模态图像信息,构建基于坐标注意力的融合模块以生成融合特征.最后,考虑到特征提取过程中可能伴随的信息丢失,设计融合特征增强模块,以利用浅、中层特征进行信息补偿.实验表明,本文方法不仅具有更为低廉的计算成本,且在保证良好视觉效果的同时,实现多个客观评价指标的提升.

孪生Swin Transformer的红外与可见光图像融合算法

为解决基于卷积神经网络(convolutional neural networks,CNN)的红外与可见光图像融合算法融合过程中未考虑原图像远程依赖关系的问题,提出了一种孪生Swin Transformer的红外与可见光图像融合算法,构建了孪生网络模型。使用潜在低秩表示(latent low-rank representation,LatLRR)分解方法将原图像分解,再分别融合以提升图像融合的精度;使用Swin Transformer分别提取分解后图像的特征,获取图像的远程依赖关系;使用l1-norm正则化方法求解特征范数,利用Softmax分别获得分解后图像的权重图;利用线性加权方法重构融合图像,通过简单的线性加和获得最终融合图像。在评测基准VIFB上对所提算法进行评测,实验结果表明,所提算法与20种融合算法相比,定性性能优良;定量分析,在由13种评价指标组成的评价体系中,该算法能够取得3个最优值,超过大部分融合算法;在运行时间方面,该算法的运行时间成本低于大部分融合算法。所提融合算法相较于其他融合算法,在主观和客观方面均表现出更好的融合性能。

基于残差Swin Transformer模块的红外与可见光图像融合研究

针对图像特征提取时,由于图像上下文信息以及图像细节丢失,易导致融合图像的纹理不够清晰、结果不够显著的问题;因此,提出了一种基于残差Swin Transformer模块的红外与可见光图像融合模型,即STB-Fusion模型。红外和可见光图像融合不仅能提供可见光图像丰富的纹理细节和结构信息,还能保留突出的红外目标,以更有效地应用在后续任务中。实验结果表明:STB-Fusion模型生成融合后的图像可以更有效地保留可见光图像丰富的纹理细节和红外图像突出的热辐射信息,在主观视觉和客观评价中均取得了很好的效果。

基于红外与可见光图像配准的高压开关柜母线高温预警

常规的高压开关柜母线高温预警方法以传感器监测温度为主,受到传感器温度偏差的影响,高温预警结果存在失误的问题。因此,设计了基于红外与可见光图像配准的高压开关柜母线高温预警方法。将高压开关柜的运行环境、负荷状况、型号考虑在内,设定高压开关柜母线温升极限,满足开关柜的运行需求。基于红外与可见光图像配准构建母线高温预警模型,利用红外图像成像原理获取温度超限特征,并利用图像配准方式,避免母线高温预警失误的问题。生成高压开关柜母线高温显示预警程序,实时监测高压开关柜母线的温度,并在温度超过阈值时发出预警,确保高压开关柜的正常运行。采用对比实验,验证了该方法的高温预警效果更佳,能够应用于实际生活中。

NSCT框架下动静态联合滤波的红外与可见光图像融合方法

针对NSCT变换在红外与可见光图像融合中的不足,提出一种基于NSCT和动静态联合滤波的红外与可见光图像融合方法。首先,采用NSCT将源图像分解为低频子带和高频子带,进一步采用动静态联合滤波将低频子带分解为低频纹理分量和低频结构分量;再分别针对低频纹理分量、低频结构分量和高频子带的特征,采用不同的融合规则。其中,低频纹理分量以改进拉普拉斯能量和取大为权重图,低频结构分量以绝对值最大和引导滤波为融合规则,高频子带融合以梯度和改进拉普拉斯能量和综合信息作为权重。最后,通过NSCT逆变换得到融合图像。通过对比多组融合图像主、客观评价结果表明,该方法能有效保留边缘信息,保留较多的源图像信息,在视觉质量和客观评价方法优于其他图像融合方法。