可见光与红外融合目标跟踪技术研究进展综述

目标跟踪是计算机视觉领域中的一个重要的问题,自从被提出以来逐渐发展出了不同类型的技术方法;由于可见光与红外光在目标跟踪方面存在互补性,两者融合的目标跟踪技术在性能和鲁棒性上比传统目标跟踪方法更具有优势;近年来,人工智能技术的发展推动了可见光与红外融合目标跟踪技术的快速进步;面向可见光与红外融合目标跟踪技术的发展历程,首先针对可见光与红外融合领域经典方法和近年来出现的技术进行梳理和总结,特别是对近两年的研究进展进行了归纳整理,具体包括基于Transformer、基于注意力机制、基于时间序列、自适应融合和基于多模态编解码器的可见光与红外融合目标跟踪方法;然后介绍了可见光与红外融合数据集及目标跟踪的评价指标;最后对未来的发展方向作了展望。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于无监督显著性掩码引导的红外与可见光图像融合网络

在具有挑战性的拍摄环境中,使用单张红外或可见光图像很难捕获清晰详细的纹理信息以及热辐射信息。然而,红外和可见光图像融合允许保存来自红外图像的热辐射信息和来自可见光图像的纹理细节。现有的许多方法在融合过程中直接生成融合图像,忽略了对源图像像素级权重贡献的估计,强调了不同源图像之间的学习。为此,提出了基于无监督显著性掩码引导的红外与可见光图像融合网络,利用密集结构在源图像中进行全面的特征提取。它产生一个权重估计概率来评估每个源图像对融合图像的贡献。此外,由于红外与可见光图像缺乏真实标签,难以使用有监督学习,UMGN还引入了显著性掩码,便于网络集中学习红外图像的热辐射信息和可见光纹理信息。在训练过程中还引入了加权保真度项和梯度损失,以防止梯度退化。与大量其他最先进的方法进行对比实验,结果证明了所提出的UMGN方法的优越性和有效性。

基于双分支边缘卷积融合网络的红外与可见光图像融合方法

提出一种基于双分支边缘卷积融合网络的红外与可见光图像融合方法。首先,提出一种改进的双分支边缘卷积结构,将图像包含的信息分解为公共信息和模态信息,并于每个分支引入边缘卷积块,更好的提取深度特征;然后在融合层引入卷积注意力模块对模态特征进行增强;最后基于所本文编解码网络特点,提出一种重建损失结合融合损失的损失函数。经过大量的消融性实验和对比实验表明,本文方法能够很好的保留原图像中的公共信息和模态信息,并且相比目前最新的融合方法在主观和客观评价上都具有优秀的综合性能。

基于NSST和NSGA-III的红外和可见光图像融合

针对图像融合方法容易丢失源图像结构信息的问题,该文提出一种基于非下采样剪切波变换(Non-Subsample Shearlet Transform,NSST)和第三代非支配排序遗传算法(Non-dominated Sorting Genetic Algorithm III,NSGA-III)的红外和可见光图像融合方法.首先,将源图像进行NSST变换得到低频和高频子带图像;其次,针对低频图像,设计了一种新的基于NSGA-III的融合规则,先使用区域能量法对图像进行预融合,以预融合图像作为参考图像,再通过NSGA-III算法进行优化获得融合低频图像;针对高频图像,用绝对值取大规则.最后,利用NSST逆变换重构融合图像.算法性能在TNO数据集上进行验证,并与其他先进的融合算法进行比较,定性与定量的结果均表明,提出的方法目标突出,并保留了源图像更多的结构信息.

基于RPCA的红外与可见光图像融合

图像融合中,多数边缘保持滤波器在优化过程中会损坏细节和纹理信息,并且噪声也会严重影响融合结果,使得融合结果之间出现边界模糊和细节丢失问题。提出了一种基于RPCA(Robus principal compo-nent association)算法的红外光和可见光图像融合方法,可有效提高图象清晰度和视觉信息的保真度。首先,利用鲁棒主成分分析(RPCA)分解源图像为低秩部分和稀疏部分,并运用相对全变分和平均能量法对两者进行处理,最后通过NSCT逆变换获得融合图像。实验结果表明,与其他方法相比,该方法所得融合图像的平均梯度、空间频率、边缘强度、互信息量均有提升,提升量级分别为10.6%到72.6%、15%到60.2%、9.7%到69.6%,22.7%到229.7%。

孪生Swin Transformer的红外与可见光图像融合算法

为解决基于卷积神经网络(convolutional neural networks,CNN)的红外与可见光图像融合算法融合过程中未考虑原图像远程依赖关系的问题,提出了一种孪生Swin Transformer的红外与可见光图像融合算法,构建了孪生网络模型。使用潜在低秩表示(latent low-rank representation,LatLRR)分解方法将原图像分解,再分别融合以提升图像融合的精度;使用Swin Transformer分别提取分解后图像的特征,获取图像的远程依赖关系;使用l1-norm正则化方法求解特征范数,利用Softmax分别获得分解后图像的权重图;利用线性加权方法重构融合图像,通过简单的线性加和获得最终融合图像。在评测基准VIFB上对所提算法进行评测,实验结果表明,所提算法与20种融合算法相比,定性性能优良;定量分析,在由13种评价指标组成的评价体系中,该算法能够取得3个最优值,超过大部分融合算法;在运行时间方面,该算法的运行时间成本低于大部分融合算法。所提融合算法相较于其他融合算法,在主观和客观方面均表现出更好的融合性能。

基于优化概率神经网络和红外多光谱融合的大气层外空间弹道目标识别

针对大气层外空间弹道目标难识别的问题,该文利用红外多光谱数据融合的思想,提出一种基于粒子群优化概率神经网络(PNN)的大气层外空间弹道目标识别方法。该方法首先通过一种新的多色测温方法提取出弹道目标的温度变化率和有效辐射面积两类动态特征,然后利用高斯粒子群优化(GPSO)方法对PNN的平滑因子进行优化,最后利用优化的PNN完成4类典型空间目标的识别。该方法融合了多光谱信息并提取出了多个动态特征,具有较强的鲁棒性。另外,该方法充分利用了概率神经网络的较高的稳定性和样本容错能力。仿真实验给出了4类典型空间弹道目标的多光谱红外辐射强度序列数据,并进行了目标识别研究。仿真测试结果表明,提出的优化PNN网络对多个弹道目标具有良好的识别能力。

基于拉普拉斯分解耦合亮度调节的可见光与红外图像融合算法

为了解决当前较多可见光与红外图像融合方法的融合结果中的目标信息不突出等问题,引入拉普拉斯分解机制,采用图像的亮度特征来融合可见光与红外图像。借助拉普拉斯分解方法,对输入图像进行分层,求取不同的图层信息。并利用图像的均值特征,计算图像的亮度信息,对低频图层的融合权值进行自适应调整,从而得到一个目标信息完整度较高的融合低频图层。基于图像的空间频率特征,对高频图层所含的细节丰富度进行评估,以获取一个细节丰富的融合高频图层。再利用拉普拉斯逆分解方法,对低、高频图层完成融合。实验数据显示,较已有的融合算法而言,所提算法的融合结果更能突出目标信息,具备更为丰富的细节特征。

基于局部能量匹配的红外偏振图像融合

针对红外偏振融合后图像边缘模糊不清和细节信息不明显等问题,本文提出了一种基于局部能量匹配的红外偏振图像融合方法。首先,融合偏振角图像和偏振度图像得到偏振特征图像;然后运用非下采样剪切波变换(NSST)把偏振特征图像和光强图像分解为低频子带和高频子带,运用顶帽(Top-hat)变换处理偏振图像的低频信息,提取目标;最后采用基于局部能量匹配和局部方差相结合的融合规则融合低频子带和高频子带。实验结果表明,本文算法与NSCT算法相比较,融合后图像的整体互信息值提高了8.7%,方差提高了3.9%,很好的保留了图像的细节信息。

基于非下采样Shearlet变换与剥离策略的可见光与红外图像融合算法

为了使可见光与红外融合图像能更好的表达目标信息,联合非下采样Shearlet变换与剥离策略,对其进行融合。首先,借助非下采样Shearlet变换,获取可见光与红外图像的高、低频成分。然后,通过Otsu阈值分割方法来构建剥离策略,将红外图像中的目标层与其背景层进行剥离,并以目标层为基础,利用图像的区域能量特征,对可见光图像与红外图像背景层的低频系数进行加权计算,并将结果与红外图像的目标层结合,以得到富含目标内容和背景内容的融合低频系数。引入区域方差函数,对图像的细节特征进行测算,通过构造方差加权因子,得到富含细节特征的融合高频系数。最后,对两个融合系数实施非下采样Shearlet逆变换,从而输出融合图像。实验结果显示,本算法融合的图像,比现有融合算法融合的图像更具优良的目标及细节表达能力,可用于获取高质量的可见光与红外融合图像。

一种基于小波变换的红外偏振融合算法

针对红外偏振图像可以较好地抑制背景噪声,对目标边缘信息比较敏感的特点,提出一种基于小波变换的红外偏振融合算法,它主要用于红外辐射强度图像和偏振度图像融合,增加图像的信息量。首先采用小波变换对参与融合的每幅图像分别进行各尺度分解,得到各尺度小波系数,然后针对不同尺度小波系数,采用邻域平均梯度为判据进行融合,得到融合后的各尺度小波系数,最后通过小波逆变换进行图像重构,得到融合图像。融合前后的图像对比表明融合图像在保留辐射强度图像的清晰度的同时,突出了目标的边缘、轮廓信息。相对于辐射强度图像,融合图像的梯度均值提高了112%,相对于偏振度图像,融合图像的标准差提高了151%,信息熵提高了38%。

雨夜条件下的红外可见光视频融合目标跟踪

针对雨夜条件下目标外观特性衰退,造成目标搜索与跟踪过程中难以适应混杂背景干扰及雨滴突变干扰的问题,提出了一种基于背景抑制的红外可见光融合目标跟踪方法。该方法考虑了目标跟踪时间和空间两方面的外观分布特性,采用了多通道成像数据对前景目标进行特征表示,有效抑制了夜间条件下的混杂背景干扰。在目标模型更新过程中,本文通过分析雨滴突变造成的目标表示变化规律,采用突变检测模型,降低了雨滴突变对模型更新的干扰。实验采用了真实环境采集的雨夜条件的红外可见光视频,实验结果说明,本文方法优于现有目标跟踪方法,能够有效提高雨夜条件下的目标跟踪精度。

一种无人机红外/毫米波雷达数据融合方法

无人机用途十分广泛,不管是侦察定位,还是执行其他任务,均需要具有较高的目标跟踪定位能力,通常可将红外传感器和雷达配合使用。文章针对使用红外传感器在直角坐标系下对目标运动状态估计时不稳定且红外传感器与雷达数据率不一致的问题,提出一种将基于修正球坐标系的红外(IR)目标跟踪与毫米波雷达(mmw)跟踪结合在一起的方法,通过使用最优数据压缩方法,将红外与毫米波雷达信息融合,解决了在直角坐标系中使用红外传感器的不稳定问题以及红外传感器数据率明显高于雷达数据率的问题,实现红外与雷达同步数据融合,有效地提高无人机的目标跟踪能力。

一种新的红外与可见光图像融合评价方法

在对源图像进行区域划分与关联的基础上,结合红外与可见光图像的成像特点和图像融合任务需求,定义了两个图像区域特征,基于该特征和融合图像与源图像的信息熵及互信息(mutual information,MI),构造了融合图像区域相似度评价指标,提出了一种新的无参红外与可见光融合图像质量评价方法。实验表明,本文所建立的融合图像质量评价指标,比目前常用的几种评价指标更接近人的视觉观感。

基于交替梯度滤波器和改进PCNN的红外与可见光图像融合

为了克服红外与可见光图像融合过程中在目标物体的边缘处产生虚影的问题,提出一种基于交替梯度滤波器和改进脉冲耦合神经网络的图像融合方法。在梯度滤波器的基础上结合滚动引导滤波器和平滑迭代恢复滤波器提出一种交替梯度滤波器,可以同时实现小结构消除,局部强度保持和边缘恢复的特性。利用交替梯度滤波器分解源图像,分解为近似层和残差层。近似层采用多尺度形态学算子和最大区域能量与源图像相结合的融合规则,残差层用改进参数自适应脉冲耦合神经网络融合规则进行融合。最后,经过交替梯度滤波器重构得到融合结果图。实验结果表明,与其他5种融合方法进行比较,本文方法的客观评价指标平均梯度、标准差、信息熵、空间频率、边缘强度和视觉保真度分别平均提高了18%,10%,2.8%,16%,51%,11.2%,且能够避免在目标物体的边缘处产生虚影,较好地保留源图像的亮度、边缘、细节及纹理等信息。

基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合(Infrared and Visible Image Fusion,IVIF)是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.

用于红外与可见光图像融合的注意力残差密集融合网络

为了解决当前红外与可见光图像融合算法中易出现场景信息缺失、目标区域细节模糊、融合图像不自然等问题,提出一种用于红外与可见光图像融合的注意力残差密集融合网络(ARDFusion)。本文整体架构是一种自编码器网络,首先,利用存在最大池化层的编码器对源图像进行多尺度特征提取,然后,利用注意力残差密集融合网络分别对多个尺度的特征图进行融合,网络中的残差密集块可以连续存储特征并且最大程度地保留各层特征信息,注意力机制可以突出目标信息并获取更多与目标、场景有关的细节信息。最后,将融合后的特征输入到解码器中,通过上采样和卷积层对特征进行重构,得到融合图像。本文提出了一种用于红外与可见光图像融合的注意力残差密集融合网络,实验结果表明,较已有文献的其他典型融合算法,具有较好的融合效果,能够更好地保留可见光图像中的光谱特性且红外目标显著,并在主观评价和客观评价方面都取得了较好的融合性能。

卷积自编码融合网络的红外可见光图像融合

可见光图像能够充分反映场景的细节信息,红外图像能够反映目标的热度信息,利用两者的互补信息进行融合,可以得到具有目标信息和场景细节的图像.本文提出一种基于卷积自编码融合网络的红外与可见光图像融合的方法.首先利用卷积编码网络从两类源图像中提取相应特征,产生在不同维度上包含源图像各项信息的特征图;接着对两类图像的特征图利用等权重相加的融合规则将其进行融合,得到包含两类源图像信息的特征图,然后利用卷积解码网络对其进行重建,最终得到一张包含两类源图像信息的融合图像.通过对多组红外与可见光图像进行实验,实验结果证明本文提出的方法可以得到较好的融合结果.该方法的融合结果无论从主观视觉效果还是客观定量评价,都优于一些主流的红外与可见光图像融合方法.