一种基于U^(2)⁃Net的红外热成像与可见光图像融合方法

为解决红外热成像分辨率低且成本高昂的问题,结合可见光图像分辨率高、成本低的特点,提出一种采用U^(2)‐Net结构模型对红外热成像与可见光图像中显著目标检测的方法。针对图像中显著目标,通过图像裁剪、轮廓提取、仿射变换、形心计算、尺寸变换、匹配定位与融合等操作,实现目标物体在红外图像与可见光图像中的融合。实验结果表明,通过所提方法将低分辨率红外热成像中目标物体与高分辨率可见光图像融合,能够有效提升目标物体在整体图像中的可视性。

基于特征相似性的红外与可见光图像融合方法

单一图像无法全面描述目标的信息,实际应用价值低,针对当前红外与可见光图像融合方法存在的一些不足,如:融合质量差等,为了获得更加理想的红外与可见光图像融合效果,提出了基于特征相似性的红外与可见光图像融合方法。首先分析当前红外与可见光图像融合的研究进展,指出各种方法的局限性,然后采用红外图像和可见光图像,并对它们进行图像去噪、增强处理,采用卷积神经网络提取红外与可见光图像的特征,最后根据特征相似性进行红外与可见光图像融合,并对红外与可见光图像融合效果进行了测试,结果表明,本方法提升了红外与可见光图像融合质量,融合效果要明显优于其他红外与可见光图像融合方法。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于快速联合双边滤波器和改进PCNN的红外与可见光图像融合

针对红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出了一种结合快速联合双边滤波器(fast joint bilateral filter,FJBF)和改进脉冲耦合神经网络(pulse coupled neural network,PCNN)的红外与可见光图像融合方法,在保证融合图像质量的前提下有效提高运行效率。首先,利用快速联合双边滤波器对源图像进行分解;其次,为了更好地提取图像中显著结构和目标信息,针对基础层图像采用一种基于视觉显著图(visual significance map,VSM)的加权平均融合规则,针对细节层图像采用改进脉冲耦合神经网络模型进行融合,其中PCNN的所有参数都可以根据输入波段自适应调节;最后,将基础层融合图与细节层融合图叠加重构得到融合图像。实验结果表明,该方法提高了融合图像的效果,有效地保留了目标、背景细节和边缘等重要信息。

基于光照权重分配和注意力的红外与可见光图像融合深度学习模型

针对现有红外与可见光图像融合模型在融合过程中忽略光照因素、使用常规的融合策略,导致融合结果存在细节信息丢失、显著信息不明显等问题,提出一种基于光照权重分配和注意力的红外与可见光图像融合深度学习模型。首先,设计光照权重分配网络(IWA-Net)来估计光照分布并计算光照权重;其次,引入CM-L1范式融合策略提高像素之间的依赖关系,完成对显著特征的平滑处理;最后,由全卷积层构成解码网络,完成对融合图像的重构。在公开数据集上的融合实验结果表明,所提模型相较于对比模型,所选六种评价指标均有所提高,其中空间频率(SF)和互信息(MI)指标分别平均提高了45%和41%,有效减少边缘模糊,使融合图像具有较高的清晰度和对比度。该模型的融合结果在主客观方面均优于其他对比模型。

多重关系感知的红外与可见光图像融合网络

为充分整合红外与可见光图像间的一致特征和互补特征,该文提出一种基于多重关系感知的红外与可见光图像融合方法。该方法首先利用双分支编码器提取源图像特征,然后将提取的源图像特征输入设计的基于多重关系感知的跨模态融合策略,最后利用解码器重建融合特征生成最终的融合图像。该融合策略通过构建特征间关系感知和权重间关系感知,利用不同模态间的共享关系、差分关系和累积关系的相互作用,实现源图像一致特征和互补特征的充分整合,以得到融合特征。为约束网络训练以保留源图像的固有特征,设计了一种基于小波变换的损失函数,以辅助融合过程对源图像低频分量和高频分量的保留。实验结果表明,与目前基于深度学习的图像融合方法相比,该文方法能够充分整合源图像的一致特征和互补特征,能够有效保留可见光图像的背景信息和红外图像的热目标,整体融合效果优于对比方法。

M-SWF域红外与可见光图像结构相似性融合

为了解决常规滤波器组在红外与可见光图像融合领域中存在提取结构信息不充分和融合视觉效果不佳的问题,本文提出了一种基于多尺度滑动窗口滤波器(Multi-scale Sliding Window Filter,M-SWF)图像融合方法。首先,提出一种基于SWF的多尺度图像分解方法实现对源图像的结构细节层和基础层提取;其次,采用L1范数融合规则(L1-Fusion,L1F)整合结构细节层,提取图像的结构信息;然后,利用一种图像能量贡献融合规则(Energy Attribute-Fusion,EAF)整合基础层,突出显著性目标;最后,融合图像通过叠加整合后的多尺度结构细节层和基础层得到。实验首先通过分析能量贡献系数,从主客观方面得到M-SWF域内红外与可见光图像融合较为适宜的能量贡献系数;其次,在该取值下,本文提出的M-SWF融合模型与其他的融合方法相比,不仅提高了对源图像结构信息的提取能力,而且通过整合图像的能量属性,改善了融合效果不佳问题,有效地突出了显著性目标。

基于多尺度及多头注意力的红外与可见光图像融合

针对红外与可见光图像融合容易出现细节丢失,且现有的融合策略难以平衡视觉细节特征和红外目标特征等问题,提出一种基于多尺度特征融合与高效多头自注意力相结合的红外与可见光图像融合方法。首先,为提高目标与场景的描述能力,采用了多尺度编码网络提取源图像不同尺度的特征;其次,提出了基于Transformer的多头转置注意力结合残差密集块的融合策略以平衡融合细节与整体结构;最后,将多尺度特征融合图输入基于巢式连接的解码网络,重建具有显著红外目标和丰富细节信息的融合图像。基于TNO与M^(3) FD公开数据集与7种经典融合方法进行实验,结果表明,本文方法在视觉效果与量化评价指标上表现更佳,生成的融合图像在目标检测任务上取得更好的效果。

基于注意力密集网络的伪彩色红外与可见光图像融合

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合(IVIF)作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。

基于GAN改进的红外光与可见光图像融合算法研究

针对夜晚户外场景下,传统的单一鉴别器生成对抗网络(GAN)容易忽略红外光的亮度信息和边缘信息的问题,提出一种基于注意力机制与双鉴别器的红外光与可见光图像融合算法。首先,为了有针对性地获得红外光图像的目标信息和可见光图像的背景纹理信息,在生成器网络中引入通道注意力机制;其次,使用双鉴别器的生成对抗网络,并设计一种新的鉴别器输入,在提高训练稳定性的同时更好地保留源图像信息;最后,损失函数设置为对抗损失、结构相似性损失和梯度损失,以约束鉴别器使其生成细节信息丰富的融合图像。在TNO数据集上的实验结果表明,所提算法得到的融合图像梯度变化更明显、边缘更加清晰,更符合人眼视觉效果。

基于GAN轻量化改进的红外与可见光图像融合算法

普通神经网络难以生成符合人眼视觉的红外与可见光融合图像,且网络模型复杂、占用内存过大。本文改进现有的生成对抗网络(GAN)框架:首先,在生成器中融入深度卷积和逐点卷积,设计小卷积核的卷积网络以减少网络参数;其次,对源图像进行掩膜处理以减少提取特征过程中源图像信息的丢失;然后将处理后的图像和生成器得到的融合图像共同输入到鉴别器中,以增强网络对可见光图像保留源图像信息的能力;最后,在性能评价阶段将损失函数设置为梯度损失、对抗损失和内容损失函数,以约束融合图像,使其包含更多的可见光图像的背景信息以及红外图像的目标信息。在TNO image fusion dataset上进行了仿真实验,结果表明所提算法在降低网络复杂度、减少运算参数的同时可得到细节丰富、目标明确的融合图像。

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。

基于ResNet50与卷积稀疏表达的红外与可见光图像融合算法

提出一种基于ResNet50神经网络与卷积稀疏表达的红外与可见光图像融合算法。通过低通滤波将红外与可见光图像分解成基础层和细节层;运用卷积稀疏表达对基础层进行处理得到新的基础层,使用ResNet50神经网络对细节层进行特征提取,对得到的特征图进行L1正则化和最大选择策略得到最大权重层,经过权重分配得到新的细节层;对新的基础层和细节层进行重建,得到融合图像。该算法针对基础层和细节层提出了新的融合策略,并且能较好地保留细节信息和结构信息。实验结果表明,该算法在主观和客观指标证明上优于对比算法。

基于Retinex增强的多尺度分解的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法在低照度条件下融合结果对比度差、目标边际模糊、背景细节信息丢失等问题,提出一种基于Retinex增强的多尺度分解的红外与可见光图像融合算法。首先,利用Retinex对弱可见光图像进行单尺度Retinex(SSR)算法信息增强处理;其次,利用交叉双边滤波对源图像进行多尺度分解,先后得到图像的基层图像信息和细节层图像信息,对基础层图像采用绝对值取大策略和引导滤波相结合的融合方法,对细节层图像采用构建权重图和显著图的融合方法;最后,将处理后的基础层图像和细节层图像加权得到融合图像。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,多组图像融合结果表明,本文所提方法的AG、SF、CE和FMI指标均较好。

基于无监督显著性掩码引导的红外与可见光图像融合网络

在具有挑战性的拍摄环境中,使用单张红外或可见光图像很难捕获清晰详细的纹理信息以及热辐射信息。然而,红外和可见光图像融合允许保存来自红外图像的热辐射信息和来自可见光图像的纹理细节。现有的许多方法在融合过程中直接生成融合图像,忽略了对源图像像素级权重贡献的估计,强调了不同源图像之间的学习。为此,提出了基于无监督显著性掩码引导的红外与可见光图像融合网络,利用密集结构在源图像中进行全面的特征提取。它产生一个权重估计概率来评估每个源图像对融合图像的贡献。此外,由于红外与可见光图像缺乏真实标签,难以使用有监督学习,UMGN还引入了显著性掩码,便于网络集中学习红外图像的热辐射信息和可见光纹理信息。在训练过程中还引入了加权保真度项和梯度损失,以防止梯度退化。与大量其他最先进的方法进行对比实验,结果证明了所提出的UMGN方法的优越性和有效性。

基于差分融合与边缘增强的轻量级红外与可见光图像融合算法

为了解决现有融合方法在融合性能与计算资源消耗上存在不平衡的问题,提出了一种基于差分融合与边缘增强的轻量级红外与可见光图像融合算法。该方法通过基于结构重参数化的编码器和深度编码块来提取图像特征信息,用差分融合模块(DFM)融合不同模态的特征信息,再将融合后的特征信息通过边缘增强模块(EEM)来强化特征的边缘信息。在训练完成后,用结构重参数化技术优化多分支结构和推理速度,在融合性能不变的情况下,降低网络的计算资源消耗。最后,在MSRS和TNO数据集上进行的实验表明,所提方法在视觉效果和定量指标方面具有优越性。

基于可见光与红外图像融合的装甲目标检测算法

针对基于可见光图像的装甲目标检测算法易受地面复杂环境干扰的问题,提出一种基于可见光与红外图像融合的装甲目标检测算法,通过卷积神经网络自适应融合可见光和红外图像特征,提高对地面复杂环境下装甲目标的检测精度。针对装甲目标检测任务,通过实拍方式构建一个在复杂地面环境下的可见光-红外装甲(Visible-Thermal Armored Vehicle,VTAV)目标图像数据集;基于经典的单阶无锚框检测模型,设计前端特征融合结构、中端特征融合结构和后端特征融合结构;在VTAV数据集上对比不同融合结构和不同融合方式间的检测性能差异。实验结果表明,后端特征融合结构性能最佳,与基于可见光图像的装甲目标检测算法相比,mAP@0.5∶0.95提升2.6%,表明基于可见光与红外图像融合的装甲目标检测算法能够有效提升地面复杂环境下装甲目标的检测精度。

基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。