用于RGBT跟踪的孪生混合信息融合算法

可见光与热红外跟踪(又称RGBT(RGB-Thermal)跟踪)的核心是有效地利用不同模态的信息,针对决策级融合中单分支产生低质结果影响算法判定目标的问题,提出一个用于RGBT跟踪的孪生混合信息融合算法SiamMIF。首先,使用孪生主干网络(SBN)进行多模态特征提取;其次,从信噪比的角度分析低质图像对双分支并行决策产生的影响,进而设计了一个信噪比驱动的信息交互模块(IIM)对低信噪比特征进行信息互补;再次,利用双流无锚跟踪头(ADH)对补偿后的特征进行分类回归;最后,采用自适应轻量决策模块(ALDM)对跟踪结果进行融合,并快速判定目标位置。在4个RGBT基准数据集GTOT、RGBT234、VOT-RGBT2019和LasHeR上的实验结果表明,所提算法在LasHeR数据集上的成功率和精确度分别为0.396和0.518,相较于APFNet(Attribute-based Progressive Fusion Network)提升9.4%和3.6%,在其他3个数据集上也能取得较好结果,且在GPU上的帧率能达到40 frame/s。