一种时域模板更新的RGBT渐进融合视觉跟踪

由于大多数RGBT跟踪算法的特征提取、融合、匹配方式简单,导致在面临形变、遮挡和低分辨率等问题时跟踪目标丢失。针对以上问题,提出一种时域模板更新的RGBT渐进融合目标跟踪算法SiamDPF。首先,在特征提取阶段,使用空洞卷积与Transformer对两模态的AlexNet网络后两层进行改进,以增强其低分辨率目标的特征表示能力。其次,结合交叉注意力和门控机制提出一种渐进融合模块,对两模态的浅层与深层特征进行渐进交互融合,使模态信息融合更充分。最后,为了让跟踪器能够利用时域上下文信息来改善形变目标的跟踪问题,使用交叉注意力让上一帧目标特征与在线模板特征进行交互更新。在GTOT和RGBT234基准数据集上的实验结果表明,SiamDPF算法在面对目标形变、遮挡、低分辨率等问题时,与其他算法相比其跟踪性能更具鲁棒性。