-
题名结合时空一致性的FairMOT跟踪算法优化
被引量:3
- 1
-
-
作者
彭嘉淇
王涛
陈柯安
林巍峣
-
机构
上海交通大学电子信息与电气工程学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2022年第9期2749-2760,共12页
-
基金
科技创新2030-“新一代人工智能”重大项目(2018AAA0100400)
国家自然科学基金项目(U21B2013,61971277)。
-
文摘
目的视频多目标跟踪(multiple object tracking,MOT)是计算机视觉中的一项重要任务,现有研究分别针对目标检测和目标关联部分进行改进,均忽视了多目标跟踪中的不一致问题。不一致问题主要包括3方面,即目标检测框中心与身份特征中心不一致、帧间目标响应不一致以及训练测试过程中相似度度量方式不一致。为了解决上述不一致问题,本文提出一种基于时空一致性的多目标跟踪方法,以提升跟踪的准确度。方法从空间、时间以及特征维度对上述不一致性进行修正。对于目标检测框中心与身份特征中心不一致,针对每个目标检测框中心到特征中心之间的空间差异,在偏移后的位置上提取目标的ReID(re-identification)特征;对帧间响应不一致,使用空间相关计算相邻帧之间的运动偏移信息,基于该偏移信息对前一帧的目标响应进行变换后得到帧间一致性响应信息,然后对目标响应进行增强;对训练和测试过程中的相似度度量不一致,提出特征正交损失函数,在训练时考虑目标两两之间的相似关系。结果在3个数据集上与现有方法进行比较。在MOT17、MOT20和Hieve数据集中,MOTA(multiple object tracking accuracy)值分别为71.2%、60.2%和36.1%,相比改进前的FairMOT算法分别提高了1.6%、3.2%和1.1%。与大多数其他现有方法对比,本文方法的MT(mostly tracked)比例更高,ML(mostly lost)比例更低,跟踪的整体性能更好。同时,在MOT17数据集中进行对比实验验证融合算法的有效性,结果表明提出的方法显著改善了多目标跟踪中的不一致问题。结论本文提出的一致性跟踪方法,使特征在时间、空间以及训练测试中达成了更好的一致性,使多目标跟踪结果更加准确。
-
关键词
多目标跟踪(MOT)
一致性
特征提取位置偏移
特征正交损失
帧间增强
-
Keywords
multiple object tracking(MOT)
consistency
feature extraction position offset
feature orthogonal loss
inter-frame enhancement
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-