基于双解码器的Transformer多目标跟踪方法

多目标跟踪(MOT)任务需要同时跟踪多个目标并保证目标身份的连续性。针对当前MOT过程中存在目标遮挡、目标ID切换(IDSW)和目标丢失等问题,对基于Transformer的MOT模型进行改进,提出了一种基于双解码器的Transformer多目标跟踪方法。首先,在第一帧中通过模型初始化生成一组轨迹,并在此后的每一帧中用注意力建立帧与帧之间的关联;其次,利用双解码器修正跟踪目标信息,一个解码器用于检测目标,一个解码器用于跟踪目标;然后,完成跟踪后利用直方图模板匹配找回丢失的目标;最后,用卡尔曼滤波跟踪预测遮挡目标,并将遮挡结果与新检测出的目标关联,从而保证跟踪结果的连续性。此外,在TrackFormer的基础上添加表观统计特性和运动特征建模,以实现不同结构之间的融合。在MOT17数据集上的实验结果表明,相较于TrackFomer模型,所提模型的身份F1得分(IDF1)提升了0.87个百分点,多对象跟踪准确性(MOTA)提升了0.41个百分点,IDSW数量减少了16.3%。所提方法在MOT16和MOT20数据集上也取得了不错的成绩。可见所提方法能够有效应对物体遮挡问题,维持目标身份信息,减少目标身份丢失。