融合稀疏注意力和时间查询的视频目标检测

在视频目标检测任务中,检测精度受到多重因素影响,包括检测对象随时间的外观变化、视频文件的抖动、散焦导致单帧图像的模糊、重影等,为提高视频文件的目标检测精度、改善目标边缘检测模糊的问题,提出一种改进的端到端的视频目标检测网络。一方面,通过引入稀疏注意力机制使目标前景更加聚焦,减少注意力分散和背景干扰,提升边缘检测的精准度;另一方面,引入时间融合查询模块,利用具有更多信息的浅层编码器链接参考帧的时间查询,实现跨时间上下文的特征融合和目标帧的特征增强。此外,通过利用远近距离稀疏地选取参考帧来补充目标的运动模糊,同时减少冗余。在ImageNet VID和UA-DETRAC这两个数据集上分别对模型进行评估,准确率可达到92.3%和90.9%。实验结果表明,所提模型在视频目标检测任务上效果更好,综合性能较其他先进网络有所提升。