基于Transformer的目标跟踪与分割统一算法

采用相关滤波的判别式目标跟踪算法因具有较好的跟踪效果得到广泛关注,但该类方法使用的矩形框估计法通常只能得到目标正矩形框,难以获得目标更加精细的状态信息,如旋转矩形框、目标轮廓、掩码信息等。为解决上述问题,提出一种基于Transformer的单目标跟踪与分割统一算法T-TS,利用Transformer的注意力机制优势对目标精确定位,通过得到的目标定位编码信息引导目标分割网络对目标进行前、背景分割,获得目标精细掩码,再对掩码进行形态学处理,优化得到目标的最佳旋转矩形框及其轮廓。在跟踪数据集VOT2018和分割数据集DAVIS上进行实验,结果显示,T-TS算法与孪生网络类算法相比具有更高的鲁棒性,与相关滤波类算法相比具有更高的跟踪精度,其在VOT2018上期望平均重叠率指标达到0.463,在视频分割任务上也实现了较好结果,DAVIS2016和DAVIS2017上Jaccard指标分别达到77.3和65.3,运行速度达到34 frame/s。实验结果表明,该算法能够准确得到旋转矩形框,对目标进行精准预测,有效解决目标旋转、形变等问题。