时空嵌入感知与多任务协同优化的多目标跟踪

为解决多目标跟踪中遮挡频繁、场景拥挤以及目标尺度多变带来的跟踪挑战,提出时空嵌入感知与多任务协同优化的多目标跟踪方法。提出空间相关性模块以提取空间上带有目标上下文感知的判别力嵌入;提出时序相关性模块聚合来自空间相关性模块提取的嵌入,用于生成时序注意力以引导空间相关性模块在遮挡频繁和拥挤场景下提取更具判别力的嵌入。由此,判别力的嵌入在增强关联鲁棒性的同时可预测更加精确的检测框以克服尺度多变问题,而精确的检测框则促进两个模块提取更加高质量的嵌入,从而实现嵌入提取、位置预测和数据关联多任务间的协同优化。在亲和力矩阵中引入检测框间的GIoU距离以进一步提升遮挡和拥挤场景中关联的鲁棒性。在MOT16、MOT17和MOT20数据集上的实验结果表明,提出的方法表现出比先进方法更优异的跟踪性能。