用于RGBT跟踪的孪生混合信息融合算法

可见光与热红外跟踪(又称RGBT(RGB-Thermal)跟踪)的核心是有效地利用不同模态的信息,针对决策级融合中单分支产生低质结果影响算法判定目标的问题,提出一个用于RGBT跟踪的孪生混合信息融合算法SiamMIF。首先,使用孪生主干网络(SBN)进行多模态特征提取;其次,从信噪比的角度分析低质图像对双分支并行决策产生的影响,进而设计了一个信噪比驱动的信息交互模块(IIM)对低信噪比特征进行信息互补;再次,利用双流无锚跟踪头(ADH)对补偿后的特征进行分类回归;最后,采用自适应轻量决策模块(ALDM)对跟踪结果进行融合,并快速判定目标位置。在4个RGBT基准数据集GTOT、RGBT234、VOT-RGBT2019和LasHeR上的实验结果表明,所提算法在LasHeR数据集上的成功率和精确度分别为0.396和0.518,相较于APFNet(Attribute-based Progressive Fusion Network)提升9.4%和3.6%,在其他3个数据集上也能取得较好结果,且在GPU上的帧率能达到40 frame/s。

基于多层注意力机制的RGBT目标跟踪

挖掘热红外和可见光数据的互补信息,可以有效提升复杂环境下视觉跟踪的鲁棒性。然而大多数方法在特征提取过程中只是独立提取单模态特征,忽略了多层特征建模对准确定位目标位置的重要作用。针对上述问题,本文提出了基于多层注意力机制的RGBT目标跟踪方法。首先,将多模态图片对输入骨干网络以提取两种模态的深度特征,同时在各层特征提取中引入模态注意力模块,用于过滤不准确的多模态信息,有效实现多层次多模态特征建模。此外,为了抑制多模态融合特征中的噪声和冗余信息,本文提出了模态融合模块,并利用该模块进一步实现多模态特征的自适应融合,从而获得更具有判别性的多模态特征。在两个公开数据集上的实验表明,本文方法在RGBT目标跟踪任务上实现了高精度和快速跟踪。

RGBT多模态视觉跟踪方法综述

RGBT视觉跟踪是指融合可见光和热红外多模态图像信息进行视觉跟踪的新兴热点研究课题,合理融合可见光和热红外图像的互补信息可以提高跟踪器的性能和鲁棒性;人工智能技术的发展推动了RGBT多模态视觉跟踪的发展,深度学习技术逐渐代替传统目标跟踪方法,在精确度与速度方面更具有优势;对近年来RGBT多模态视觉跟踪进行了全面综述,整理了RGBT多模态视觉跟踪的发展历程,归纳和讨论了相关算法,具体包括基于相关滤波的方法和基于深度学习的方法;回顾了RGBT多模态视觉跟踪数据集的发展历史,介绍了算法性能评估指标,分析了不同方法在评估数据集上的性能,展望了RGBT多模态视觉跟踪的未来研究趋势;旨在为相关研究者提供全面的概览和参考,以促进RGBT多模态视觉跟踪领域的研究和发展。

动态模态交互和特征自适应融合的RGBT跟踪

目的可见光和热红外模态数据具有很强的互补性,RGBT(RGB-thermal)跟踪受到越来越多的关注。传统RGBT目标跟踪方法只是将两个模态的特征进行简单融合,跟踪的性能受到一定程度的限制。本文提出了一种基于动态交互和融合的方法,协作学习面向RGBT跟踪的模态特定和互补表示。方法首先,不同模态的特征进行交互生成多模态特征,在每个模态的特定特征学习中使用注意力机制来提升判别性。其次,通过融合不同层次的多模态特征来获得丰富的空间和语义信息,并通过设计一个互补特征学习模块来进行不同模态互补特征的学习。最后,提出一个动态权重损失函数,根据对两个模态特定分支预测结果的一致性和不确定性进行约束以自适应优化整个网络中的参数。结果在两个基准RGBT目标跟踪数据集上进行实验,数据表明,在RGBT234数据集上,本文方法的精确率(precision rate,PR)为79.2%,成功率(success rate,SR)为55.8%;在GTOT(grayscale-thermal object tracking)数据集上,本文方法的精确率为86.1%,成功率为70.9%。同时也在RGBT234和GTOT数据集上进行了对比实验以验证算法的有效性,实验结果表明本文方法改善了RGBT目标跟踪的结果。结论本文提出的RGBT目标跟踪算法,有效挖掘了两个模态之间的互补性,取得了较好的跟踪精度。

基于高秩特征和位置注意力的RGBT目标跟踪

RGBT目标跟踪利用可见光(RGB)与热红外(T)两种不同模态的优势来解决单一模态目标跟踪中常见的模态受限问题,以此提升复杂环境下的目标跟踪性能。在RGBT目标跟踪算法中,精准定位目标位置和有效融合两种模态都是非常重要的问题。为了达到精准定位目标以及有效融合两种模态的目的,提出了一种探索高秩的特征图以及引入位置注意力来进行RGBT目标跟踪的新方法。该方法首先根据主干网络的深层与浅层的特征,使用位置注意力来关注目标的位置信息,接着通过探索两种模态融合前的高秩特征图,关注特征的重要性,以指导模态特征融合。为了关注目标位置信息,在行和列上使用平均池化操作。对于高秩特征指导模块,文中根据特征图的秩来指导特征图的融合。并且,为了去除冗余和噪声,实现更加鲁棒的特征表达,直接删除了秩小的特征图。在两个RGBT跟踪基准数据集上的实验结果表明,与其他RGBT目标跟踪方法相比,所提方法在准确度和成功率上取得了更好的跟踪结果。

多尺度选择注意力的双模态目标追踪算法

与可见光相比,红外光在部分复杂环境下仍能保持追踪目标的图像捕捉能力。因此,红外光图像可帮助计算机视觉跟踪算法提高目标跟踪的精度和鲁棒性。但在真实的目标追踪序列场景中,跟踪画面还存在眩光、形变和镜头抖动等干扰。为抵御此类干扰,提出了一种使用多尺度选择注意力的红外可见光融合目标跟踪算法(Selective Kernel Attention Fusion Tracking Network,SKANet)。该算法利用多尺度卷积核以及通道选择注意力,提取不同尺度大小的目标特征并将模型权重聚焦于质量较高的特征图、降低干扰带来的不利影响,从而提高模型的跟踪性能。通过在RGBT234和GTOT数据集上的验证结果表明,该算法可有效抵抗画面中干扰情况带来的不利影响,实现高精度的目标追踪。