基于像素点回归的孪生网络目标跟踪算法

为了解决孪生网络目标跟踪算法中互相关操作引入过多的背景干扰容易导致跟踪漂移的问题,提出了一种包含高精度相似度匹配且基于像素点回归的孪生网络目标跟踪算法。通过对Transformer的改进,设计出一种高精度的相似度匹配模块用于取代互相关系列操作,用以减少目标的背景干扰,并提出一种基于像素点回归的边界框预测策略用于取代锚框机制,用以提升算法的泛化性能。通过在目标跟踪数据集上的测试结果表明,该算法有效地提升了在包含背景杂乱、遮挡等挑战的复杂场景下的跟踪效果,并且可以实现实时跟踪。

轻量化Transformer目标跟踪数据标注算法

目的基于深度模型的跟踪算法往往需要大规模的高质量标注训练数据集,而人工逐帧标注视频数据会耗费大量的人力及时间成本。本文提出一个基于Transformer模型的轻量化视频标注算法(Transformer-based label network,TLNet),实现对大规模稀疏标注视频数据集的高效逐帧标注。方法该算法通过Transformer模型来处理时序的目标外观和运动信息,并融合前反向的跟踪结果。其中质量评估子网络用于筛选跟踪失败帧,进行人工标注;回归子网络则对剩余帧的初始标注进行优化,输出更精确的目标框标注。该算法具有强泛化性,能够与具体跟踪算法解耦,应用现有的任意轻量化跟踪算法,实现高效的视频自动标注。结果在2个大规模跟踪数据集上生成标注。对于LaSOT(large-scale single object tracking)数据集,自动标注过程仅需约43 h,与真实标注的平均重叠率(mean intersection over union,mIoU)由0.824提升至0.871。对于TrackingNet数据集,本文使用自动标注重新训练3种跟踪算法,并在3个数据集上测试跟踪性能,使用本文标注训练的模型在跟踪性能上超过使用TrackingNet原始标注训练的模型。结论本文算法TLNet能够挖掘时序的目标外观和运动信息,对前反向跟踪结果进行帧级的质量评估并进一步优化目标框。该方法与具体跟踪算法解耦,具有强泛化性,并能节省超过90%的人工标注成本,高效地生成高质量的视频标注。