基于可见光与红外卫星图像融合的舰船目标检测

为解决现有基于可见光卫星图像的舰船目标检测算法在云雾遮挡、海岸干扰等复杂场景下的错检和漏检问题,本文在YOLOv5网络基础上,通过空间特征与谱段特征的联合提取提高网络性能,提出了基于可见光与红外卫星图像融合的舰船目标检测算法VI-YOLOv5。实验结果表明:双模态融合目标检测算法性能优于单模态目标检测算法,在交并比阈值为0.5的情况下,可见光+红外融合网络的平均精度达0.976,相较于单可见光网络提高了2.5%,相较于单红外网络提高了8.9%,有效缓解了复杂场景下出现的错检和漏检问题,验证了可见光与红外卫星图像融合在舰船目标检测任务中的有效性。

基于目标增强与鼠群优化的红外与可见光图像融合算法

针对传统红外与可见光图像融合结果存在目标模糊、信息丢失问题,提出一种基于目标增强与鼠群优化的红外与可见光图像融合方法,记为TERSFuse。为了减少融合结果中原始图像细节信息丢失,分别构建了红外对比度增强模块和基于亮度感知的可见光图像增强模块;利用拉普拉斯金字塔变换对红外和可见光增强图像进行多尺度分解,从而得到对应的高、低频图像;为了使融合结果充分保留原始图像信息,分别采用“最大绝对值”规则对红外和可见光高频图像进行融合以及通过计算权重系数对低频图像进行融合;设计了基于鼠群优化的图像重构模块以实现高频图像和低频图像重构权重的自适应分配,进而提高融合图像的视觉效果。为了验证所提算法优势,与7种经典融合算法进行比较,实验结果表明所提算法不仅具有良好的视觉效果,而且融合图像能够保留原始图像丰富的边缘纹理和对比度信息。

基于特征相似性的红外与可见光图像融合方法

单一图像无法全面描述目标的信息,实际应用价值低,针对当前红外与可见光图像融合方法存在的一些不足,如:融合质量差等,为了获得更加理想的红外与可见光图像融合效果,提出了基于特征相似性的红外与可见光图像融合方法。首先分析当前红外与可见光图像融合的研究进展,指出各种方法的局限性,然后采用红外图像和可见光图像,并对它们进行图像去噪、增强处理,采用卷积神经网络提取红外与可见光图像的特征,最后根据特征相似性进行红外与可见光图像融合,并对红外与可见光图像融合效果进行了测试,结果表明,本方法提升了红外与可见光图像融合质量,融合效果要明显优于其他红外与可见光图像融合方法。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于多层卷积的红外与可见光图像融合算法

针对复杂背景下纹理细节信息丢失、融合图像视觉感受较差等问题,提出了一种基于多层卷积的红外与可见光图像融合算法。该算法的网络框架分为编码器、解码器和融合网络3个部分。在编码器中引入高效通道注意力机制对源图像进行编码处理,融合多层卷积块、梯度卷积块、下采样卷积块以及卷积空间通道注意力机制等形成多层卷积融合网络(MCFN),通过该融合网络进行特征融合,利用解码器重建输出融合图像。选取了5种现有算法与所提算法用8种客观评价指标在两种数据集上进行比较,结果表明,所提算法融合后的图像目标突出、细节清晰、轮廓明显、指标提升显著,符合人体视觉感受。

基于AGF和CNN的红外与可见光图像融合

针对红外与可见光图像融合中出现的边缘模糊和细节丢失等问题,本文提出了一种基于交替引导滤波器(AGF)与掩膜引导卷积神经网络(CNN)的融合算法。首先,将源图像通过交替引导滤波分解为基础层与细节层;然后,将基础层通过能量属性的融合规则得到基础融合图像,细节层在基于掩膜引导的损失函数的指导下,通过卷积神经网络得到融合后的细节图像;最后,将基础融合图像与细节融合图像相加得到最终融合图像;实验结果表明,本文方法能够在突出显著热目标的同时保留丰富的背景边缘纹理信息,在客观评价指标上相较对比方法取得了更好的效果,证明了本文算法的优越性。

基于预训练固定参数和深度特征调制的红外与可见光图像融合网络

为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自然图像分别作为U型网络结构(UNet)的输入和输出,采用自编码器技术完成预训练。所获得编码器模块能有效提取输入图像的多尺度深度特征功能,而解码器模块则能将其重构为与输入图像差异极小的输出图像;在无监督融合训练阶段,将预训练编码器和解码器模块的网络参数保持固定不变,而在两者之间新增包含Transformer结构的融合模块。其中,Transformer结构中的多头自注意力机制能对编码器分别从红外和可见光图像提取到的深度特征权重进行合理分配,从而在多个尺度上将两者融合调制到自然图像深度特征的流型空间上来,进而保证融合特征经解码器重构后所获得融合图像的视觉感知效果。大量实验表明:与当前主流的融合模型(算法)相比,所提PDNet模型在多个客观评价指标方面具有显著优势,而在主观视觉评价上,也更符合人眼视觉感知特点。

基于快速联合双边滤波器和改进PCNN的红外与可见光图像融合

针对红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出了一种结合快速联合双边滤波器(fast joint bilateral filter,FJBF)和改进脉冲耦合神经网络(pulse coupled neural network,PCNN)的红外与可见光图像融合方法,在保证融合图像质量的前提下有效提高运行效率。首先,利用快速联合双边滤波器对源图像进行分解;其次,为了更好地提取图像中显著结构和目标信息,针对基础层图像采用一种基于视觉显著图(visual significance map,VSM)的加权平均融合规则,针对细节层图像采用改进脉冲耦合神经网络模型进行融合,其中PCNN的所有参数都可以根据输入波段自适应调节;最后,将基础层融合图与细节层融合图叠加重构得到融合图像。实验结果表明,该方法提高了融合图像的效果,有效地保留了目标、背景细节和边缘等重要信息。

基于光照权重分配和注意力的红外与可见光图像融合深度学习模型

针对现有红外与可见光图像融合模型在融合过程中忽略光照因素、使用常规的融合策略,导致融合结果存在细节信息丢失、显著信息不明显等问题,提出一种基于光照权重分配和注意力的红外与可见光图像融合深度学习模型。首先,设计光照权重分配网络(IWA-Net)来估计光照分布并计算光照权重;其次,引入CM-L1范式融合策略提高像素之间的依赖关系,完成对显著特征的平滑处理;最后,由全卷积层构成解码网络,完成对融合图像的重构。在公开数据集上的融合实验结果表明,所提模型相较于对比模型,所选六种评价指标均有所提高,其中空间频率(SF)和互信息(MI)指标分别平均提高了45%和41%,有效减少边缘模糊,使融合图像具有较高的清晰度和对比度。该模型的融合结果在主客观方面均优于其他对比模型。

基于可见光与红外图像的弱光条件下目标检测

图像融合是将多个输入图像合并成一个单一图像的技术。可见光红外图像融合能提高目标检测的准确性,但在低光照场景下往往效果不佳。基于此,提出一种新的融合模型DAPR-Net。该模型具有跨层残差连接的编解码结构,将编码器的输出与解码器的对应层的输入相连接,加强各层卷积层间的信息传递。在编码器中设计了双注意力特征提取模块AFEM,使得网络能够更好地区分融合图像与输入的可见光和红外图像之间的差异,同时保留两者的关键信息。在多个公开数据集上与6种先进方法进行对比,实验结果表明,与基准PIAFusion模型相比,该模型在LLVIP和MSRS数据集上的信息熵、空间频率、平均梯度、标准差、视觉保真度指标分别提高了0.849、3.252、7.634、10.38、0.293和2.105、2.23、4.099、27.938、0.343;在YOLOV5目标检测网络上,LLVIP和MSRS数据集的平均精度均值、召回率、精确率、F1值指标分别提高了8.8、1.4、1.9、1.5个百分点和7.5、1.4、8.8、1.2个百分点,相较于其他融合方法表现出更显著的优势。

多重关系感知的红外与可见光图像融合网络

为充分整合红外与可见光图像间的一致特征和互补特征,该文提出一种基于多重关系感知的红外与可见光图像融合方法。该方法首先利用双分支编码器提取源图像特征,然后将提取的源图像特征输入设计的基于多重关系感知的跨模态融合策略,最后利用解码器重建融合特征生成最终的融合图像。该融合策略通过构建特征间关系感知和权重间关系感知,利用不同模态间的共享关系、差分关系和累积关系的相互作用,实现源图像一致特征和互补特征的充分整合,以得到融合特征。为约束网络训练以保留源图像的固有特征,设计了一种基于小波变换的损失函数,以辅助融合过程对源图像低频分量和高频分量的保留。实验结果表明,与目前基于深度学习的图像融合方法相比,该文方法能够充分整合源图像的一致特征和互补特征,能够有效保留可见光图像的背景信息和红外图像的热目标,整体融合效果优于对比方法。

M-SWF域红外与可见光图像结构相似性融合

为了解决常规滤波器组在红外与可见光图像融合领域中存在提取结构信息不充分和融合视觉效果不佳的问题,本文提出了一种基于多尺度滑动窗口滤波器(Multi-scale Sliding Window Filter,M-SWF)图像融合方法。首先,提出一种基于SWF的多尺度图像分解方法实现对源图像的结构细节层和基础层提取;其次,采用L1范数融合规则(L1-Fusion,L1F)整合结构细节层,提取图像的结构信息;然后,利用一种图像能量贡献融合规则(Energy Attribute-Fusion,EAF)整合基础层,突出显著性目标;最后,融合图像通过叠加整合后的多尺度结构细节层和基础层得到。实验首先通过分析能量贡献系数,从主客观方面得到M-SWF域内红外与可见光图像融合较为适宜的能量贡献系数;其次,在该取值下,本文提出的M-SWF融合模型与其他的融合方法相比,不仅提高了对源图像结构信息的提取能力,而且通过整合图像的能量属性,改善了融合效果不佳问题,有效地突出了显著性目标。

基于多尺度及多头注意力的红外与可见光图像融合

针对红外与可见光图像融合容易出现细节丢失,且现有的融合策略难以平衡视觉细节特征和红外目标特征等问题,提出一种基于多尺度特征融合与高效多头自注意力相结合的红外与可见光图像融合方法。首先,为提高目标与场景的描述能力,采用了多尺度编码网络提取源图像不同尺度的特征;其次,提出了基于Transformer的多头转置注意力结合残差密集块的融合策略以平衡融合细节与整体结构;最后,将多尺度特征融合图输入基于巢式连接的解码网络,重建具有显著红外目标和丰富细节信息的融合图像。基于TNO与M^(3) FD公开数据集与7种经典融合方法进行实验,结果表明,本文方法在视觉效果与量化评价指标上表现更佳,生成的融合图像在目标检测任务上取得更好的效果。

面向可见光-红外图像的跨模态行人再识别方法

为降低模型对图像颜色的敏感度,减小可见光和红外模态间的差异,提出一种面向可见光-红外图像的跨模态行人再识别方法。将可见光图像转换到HSV颜色空间,提取只描述图像明暗信息的V分量,降低模型对颜色信息的依赖性;通过轻量级网络对V分量图像进行降维和升维,生成介于可见光和红外图像的中间模态,缩小模态间的差异性;在SYSU-MM01和RegDB数据集上进行性能评估。性能评估结果为Rank-1的数值分别增加了6.67%、1.18%,mAP的数值分别增加了6.47%、1.15%,mINP的数值分别增加了5.59%、0.42%。

基于注意力密集网络的伪彩色红外与可见光图像融合

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。

基于知识蒸馏自适应DenseNet的无人机对地目标可见光与红外图像融合

可见光与红外图像融合旨在利用两种不同传感器之间有效的信息,通过互补的图像特征实现图像增强。然而,当前基于深度学习的融合方法倾向于优先考虑评价指标。模型的复杂性较高,权重参数较大,推理性能低,泛化性较差,不易部署到无人机载边缘计算端。为了应对这些挑战,本文提出了一种新颖的可见光与红外图像融合方法,即知识蒸馏的自适应DenseNet来学习预先存在的融合模型,通过使用超参数(例如宽度和深度)来实现融合效果和模型轻量化。本文提出的方法在典型地面目标数据集进行了评估,实验结果表明,该模型参数仅为77 KB,推理时间为0.95 ms,具有超轻量的网络结构,良好的图像融合效果和复杂场景下较强的泛化能力。

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合(IVIF)作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。

可见光与红外图像联合口罩佩戴检测研究

为缓解疫情期间口罩佩戴检测工作压力,降低检测环节运算负担,提出一种轻量化的可见光与红外图像联合口罩佩戴检测方法。首先,提出了一种基于可见光图像颜色通道选择的人脸检测算法,能够有效减弱光照亮度对检测的影响;然后,提出一种基于边缘结构相似度的可见光图像与红外图像匹配算法,在红外图像上搜索与可见光图像人脸匹配的人脸区域;最后,采用相关滤波检测器在红外图像上判断口罩佩戴情况。为测试方法性能,创建了可见光/红外图像口罩佩戴检测数据集。与5种可见光图像口罩检测算法的对比结果表明,提出的方法具有较高的准确率和召回率。

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。