基于弱监督表示学习的热红外目标跟踪

由于热红外成像技术具有更强的穿透雾、霾、雨、雪的能力,在恶劣天气条件下的成像效果几乎不受影响,使得基于热红外图像的目标跟踪任务越来越被研究者重视。针对基于卷积神经网络的热红外目标跟踪算法在模型训练过程中需要的带有标签的数据不足的问题,提出了一种基于弱监督表示学习的方法,利用少量的标签数据及大量的无标签数据进行模型训练,从而用于热红外目标跟踪任务。首先,利用主动学习的指导在大量无标签的数据中挑选最具有代表性的训练样本;然后,给定每个样本序列的首帧目标的真实标签,利用基础跟踪器生成该序列中其他图像帧中目标的伪标签;之后,利用带有真实标签和伪标签的训练数据进行模型训练;最后,利用训练好的模型在热红外目标跟踪算法测试数据集上进行模型测试。实验结果表明:该方法可以在减少模型训练对标签数据需求的同时保证跟踪器的准确性。

基于位置感知的热红外目标跟踪方法

针对热红外图像中目标缺少细节信息而导致跟踪精度不高的问题,提出一种基于位置感知的目标跟踪方法。首先使用深度空洞残差网络(D-ResNet)提取语义特征,鲁棒表征热红外目标;然后设计位置感知模块,有效感知目标在特征图上的空间位置,提高算法的定位精度;并引入通道注意力模块,在通道域上筛选特征图信息,抑制干扰信息;接着引入区域提取网络,完成目标分类和边框回归;最后使用RGBT234热红外序列对网络进行微调,确保网络能有效学习热红外目标信息。所提方法在VOT-TIR2019、GTOT数据集上分别获得75.3%和91.4%的准确率,速度为30 frame/s。实验结果表明:所提方法在热红外场景下能获得较高的跟踪精度,并能有效应对遮挡、相似物干扰、尺度变化等目标跟踪过程中的常见挑战。

可逆多分支的双模态自适应融合目标跟踪算法

由于可见光和红外图像具有很强的互补性,越来越多的关注集中在通过这两种模态的联合信息进行跟踪。然而,在现有的跟踪算法中,不能有效地学习两者的互补信息并挖掘模态特定特征,这限制了跟踪器的性能。因此,本文提出了一种可逆多分支的双模态自适应融合跟踪网络。首先,设计了一个三分支结构网络,分别用于学习热红外、可见光以及它们的通用特征。这不仅充分利用了两种模态之间的共享信息,还保留了红外和可见光数据之间的差异特性以及丰富的细节信息。此外,还引入了一个模态特征交互模块,以自适应地挖掘模态之间的互补信息并滤除冗余信息。通过在多个公开数据集上进行大量实验证明了该跟踪器的有效性,尤其在面对尺度变化、镜头抖动、遮挡等环境时,表现出卓越的抗干扰能力。