跨域环境下特定多目标跟踪算法的改进

【目的】针对监控视频跨域环境下的多目标跟踪画面中,频繁遮挡、轨迹开始终止时刻未知、目标太小、目标间交互、表观相似以及摄像头视角变化等问题,提出一种改进的多目标跟踪算法。【方法】该算法最大化利用低分检测对象,将未匹配的低分对象进行二次匹配,目标跨域后,依据摄像头拓扑排序规则,以及相邻摄像头的未匹配跟踪轨迹,同时对检测器YOLOv5算法进行优化改进,通过信息流的层层递进,有效解决多尺度问题和小目标信息提取不充分等问题,在相邻的摄像头中快速匹配到跟踪对象,以提高跨域环境下特定多目标跟踪的精度。【结果】对比消融试验表明,本改进算法MOTA达到了62.8%,IDswitch也显著降低。

基于YOLOv5和DeepSort算法的工程车辆识别与多目标跟踪实现

本研究聚焦于传统目标检测技术与基于深度神经网络的工程车辆检测策略的对比分析。通过借助有效技术手段,采用降噪、增强及边缘检测的方式,对图像的质量进行有效优化。为了确保工程车辆检测过程的专业性与高精度,我们借助YOLOv5算法对其进行了处理,该算法的运用可以进一步提高处理速度。对于检测时容易出现的目标遗漏与预测框定位不准确情况,我们借助DeepSORT算法,通过全面的整合对检测目标进行了追踪预测。DeepSORT通过卡尔曼滤波进行数据估计,能实现高效的连续跟踪。为应对拍摄设备晃动及车辆变速行驶引发的目标身份频繁更迭挑战,我们创新性地采用了一种改进的GIoU计算方法。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

基于改进YOLOX与多级数据关联的行人多目标跟踪算法研究

目标跟踪是计算机视觉领域的基本问题,行人多目标跟踪在智能监控、智慧交通等多个领域有着广泛的应用前景。然而实际跟踪场景中存在频繁遮挡、尺度变化等情况,给多目标跟踪算法带来了极大的挑战。为了进一步提升跟踪精度,在DeepSORT的基础上,提出一种基于改进YOLOX与多级数据关联的行人多目标跟踪算法。对于检测器,为了增强网络的特征表达能力,提高检测精度,在YOLOX骨架网络与颈部网络分别引入ECA通道注意力模块与ASFF自适应特征融合模块。对于身份识别特征,为了减少数据关联步骤的错误匹配数量,提高跟踪效率,使用轻量的OSNet重识别网络与NSA卡尔曼滤波获取目标特征。对于数据关联,为了减少身份切换次数,避免目标丢失,将检测与跟踪都进行分类处理,使用不同的相似性计算方法,实现基于检测置信度与轨迹状态的多级数据关联。实验结果表明:与改进前YOLOX与DeepSORT简单结合的算法相比,在YOLOX中引入ECA模块与ASFF模块使误检数量大幅降低,使用YOLOX-s模型时降幅可达17%;结合OSNet模型与NSA卡尔曼滤波的特征提取方法能提高跟踪稳定性,IDF1指标提高0.77%,IDSW减少947;基于检测置信度与轨迹状态的多级数据关联算法可以明显改善跟踪性能,MOTA指标提升3.36%。算法最终在MOT17与MOT20测试集上的MOTA达80.4%与77.7%,IDF1达78.4%与76.7%。提出的行人多目标跟踪方法相较于其他先进算法在跟踪精度与跟踪速度上达到更好的平衡,可为工业上在线行人多目标跟踪应用提供参考。

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。

BEVTrack:基于难例挖掘训练的端到端三维多目标跟踪方法

多目标跟踪已经成为自动驾驶系统中的一个关键组成部分,其目的是在连续的视频流与点云流中识别、定位并标识所有感兴趣的目标。目前三维多目标跟踪方法多依赖人工多阶段调参以保证整体跟踪性能,难以对复杂遮挡或运动进行有效建模。而现有的三维端到端多目标跟踪方法,如MUTR等,精度普遍较低。其核心原因为三维空间中的特征聚合和感知相对于二维图像更具挑战性,简单的网络难以实现复杂的三维特征聚合,并大量的噪声信息与难例信息干扰严重,影响模型的特征提取能力。针对以上问题,本文提出了一种基于难例挖掘训练的端到端多目标跟踪框架BEVTrack。针对三维特征关联问题,本文设计了基于鸟瞰图(BEV)位置编码的三维跟踪查询。通过基于BEV特征的三维跟踪查询,本文方法能够更好地将跟踪查询与实际三维特征进行有效关联,从而大幅度提升了跟踪精度。同时,模型依靠BEV数据进行特征关联,仅需轻量化的网络便可以实现快速有效的跟踪。针对数据噪声问题,本文提出了面向多目标跟踪的难例挖掘训练,通过针对检测难例与跟踪难例分别处理,训练模型去除检测错误噪声与跟踪匹配的能力,从而提升在真实场景下模型处理噪声信息与难例干扰的能力。在实验结果方面,基于Nuscenes数据集,我们进行了大量的对比实验与模型消融实验,实验结果证明本文的方法在该数据集上取得了领先的性能。

基于势平衡多伯努利滤波的多传感器纯方位多目标跟踪

被动传感器不主动发射信号,通常仅获得目标的角度量测信息,无法获得径向距离信息,这种仅利用角度量测信息对多目标跟踪的方法称为纯方位多目标跟踪。实际应用中,纯方位多目标跟踪面临三个主要问题:一是由于被动传感器只获取目标的角度量测,导致量测信息不完备;二是量测方程存在高度非线性;三是由于传感器可能接收到杂波等非目标产生的量测,导致量测源不确定。针对上述问题,本文提出一种多传感器贪婪伪线性粒子势平衡多伯努利滤波。首先采用Rao-Blackwell理论将混合目标状态向量分解,将与量测值相关的位置分量视为非线性分量,而与量测值无关的速度分量视为线性分量,并分别采用粒子滤波器(Particle Filter,PF)和卡尔曼滤波器(Kalman Filter,KF)进行处理,从而有效降低粒子滤波采样维度。其次,针对传统粒子采样严重依赖模型的问题,基于伪线性卡尔曼滤波器(Pseudo-linear Kalman Filter,PLKF)设计一种新型粒子采样方法,即利用PLKF和最新量测信息构造重要性密度函数,并对非线性分量进行粒子采样;在更新阶段采用贪婪量测划分策略选取最优量测集合,并利用最优量测集合中量测信息实现多目标状态集中式融合估计。最后,通过仿真结果验证,本文所提滤波器能在杂波环境中仅利用角度量测对目标进行有效稳定的跟踪,相较于对比方法,所提滤波器能够更为准确估计目标数量和状态。

Track-MT3:一种基于Transformer的新型多目标跟踪算法

针对复杂环境中多目标跟踪数据关联难度大、难以实现目标长时间稳定跟踪的问题,该文创新性地提出了一种基于Transformer网络的端到端多目标跟踪模型Track-MT3。首先,引入了检测查询和跟踪查询机制,隐式地执行量测-目标的数据关联并且实现了目标的状态估计任务。然后,采用跨帧目标对齐策略增强跟踪轨迹的时间连续性。同时,设计了查询变换与时间特征编码模块强化目标运动建模能力。最后,在模型训练中采用了集体平均损失函数,实现了模型性能的全局优化。通过构造多种复杂的多目标跟踪场景,并利用多重性能指标进行评估,Track-MT3展现了优于MT3等基线方法的长时跟踪性能,与JPDA和MHT方法相比整体性能分别提高了6%和20%,能够有效挖掘时序信息,在复杂动态环境下实现稳定、鲁棒的多目标跟踪。

驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法

基于相机传感器的多目标跟踪算法是自动驾驶的重要组成部分。驾驶场景下,基于交并比进行前后帧关联的方案一直存在大量的身份切换,此现象在对向来车以及自车转弯时更加明显。本文将目标在二维平面上的运动速度作为扩展匹配空间的变量,设计了基于目标速度变化的交并比算法:Velocity IoU,从而优化前后帧目标关联。同时,使用自监督的外观模型提取不同目标的外观特征编码。基于上述的运动模型以及外观模型,提出了一种互补的关联策略,最终实现驾驶场景下多类别多目标跟踪。在BDD100K上验证了该方法,对应mMOTA为45.2,mIDF1为55.2,IDs为8793,优于大部分跟踪算法。

基于无人机航拍视频车辆多目标跟踪算法研究

为了提高无人机视觉平台下的车辆多目标跟踪精度,提出了一种改进YOLOv7网络与优化ByteTrack算法相结合的无人机视觉车辆多目标跟踪算法。首先,针对小目标特征不明显的情况,增强了YOLOv7网络浅层语义信息的特征提取能力,同时采用SIoU-Loss对坐标损失函数进行优化,加快锚框收敛速度;其次,根据车辆运动特点,在ByteTrack算法的基础上,将卡尔曼滤波算法的状态向量融入加速度信息;最后,在VisDrone2021数据集上验证算法的有效性。实验结果表明:改进YOLOv7网络的平均检测精度比原网络提高3.2%,跟踪算法准确度比基准算法提高1.2%,高阶跟踪精度提高2.9%。

基于轨迹预测增强的复杂场景多目标跟踪方法

以冬奥会的短道速滑比赛场景为例,针对短道速滑中运动员的目标外观差异性小、运动变化快、目标间遮挡频繁等运动特点,设计一个应用于短道速滑场景的多目标跟踪数据集,并提出一种基于轨迹预测增强的多目标跟踪方法.首先计算包围框交并比距离与外观特征余弦距离,联合判断检测响应与跟踪轨迹的相似性解决目标外观相似问题;然后通过跟踪轨迹的全局特征和运动线索恢复被遮挡目标丢失的信息,提高中断轨迹的重关联能力;最后根据检测先验控制新轨迹的初始化,减少噪声检测对轨迹跟踪中身份交换的影响.实验结果表明,与DeepSORT方法相比,所提方法在短道速滑场景中能够稳定地跟踪轨迹,有效地减少了轨迹中断,其中,IDF1提升21个百分点,MOT准确度提高14.3个百分点;该方法在目标差异性小、运动变化快的短道速滑场景中保证长期稳定跟踪,对多目标跟踪在复杂场景中的应用具有启发意义.

基于Gamma分布贝叶斯RCS估计的多目标跟踪算法

针对密集目标场景下的多目标跟踪算法易出现航迹混批的问题,考虑引入RCS信息辅助跟踪,提出了一种基于Gamma分布的贝叶斯RCS估计的多目标跟踪算法。首先,提出目标RCS状态及量测滤波过程,使用非平稳自回归Gamma过程对状态动力学进行建模,在时间更新中实现贝叶斯RCS估计。然后,在PHD滤波器中引入贝叶斯RCS估计,提出了PHDwRCS滤波器,实现对密集目标的跟踪。针对PHD类滤波器无法实时形成航迹、跟踪精度较低的问题,在TPHD滤波器中引入RCS估计,提出了TPHDwRCS滤波器,实现了对密集目标的有效航迹跟踪。通过计算机仿真实验表明,所提算法能够有效实现贝叶斯RCS估计,引入RCS信息后的PHDwRCS滤波器和TPHDwRCS滤波器能够实现对密集目标的精确跟踪,基于GOSPA度量的定量误差性能得到提升,一定程度上缓解了航迹混批问题。

用于多目标跟踪的高斯混合轨迹预测模型

针对视频中目标之间的遮挡会增加轨迹关联难度的问题,提出了一种高斯混合轨迹预测模型来改善遮挡情况下的关联效果.该模型采用Transformer结构,从对象的历史运动信息中提取更长的时间依赖性,以便更准确地预测跟踪对象在未来的轨迹分布;同时,将模型的输出设置为高斯混合分布,采用多个高斯分布相加来定义跟踪对象在未来的轨迹分布,以利用轨迹分布来计算检测目标和跟踪对象之间的空间相似性.实验结果表明:该模型能够改善跟踪性能,在MOT17数据集上HOTA达到了56.3%.

考虑综合性能最优的非短视快速天基雷达多目标跟踪资源调度算法

合理有效的资源调度是天基雷达效能得以充分发挥的关键。针对天基雷达多目标跟踪资源调度问题,建立了综合考虑目标威胁度、跟踪精度与低截获概率(LPI)的代价函数;考虑目标的不确定、天基平台约束以及长远期期望代价,建立了多约束下的基于部分可观测的马尔可夫决策过程(POMDP)的资源调度模型;采用拉格朗日松弛法将多约束下的多目标跟踪资源调度问题转换分解为多个无约束的子问题;针对连续状态空间、连续动作空间及连续观测空间引起的维数灾难问题,采用基于蒙特卡罗树搜索(MCTS)的在线POMDP算法—POMCPOW算法进行求解,最终提出了一种综合多指标性能的非短视快速天基雷达多目标跟踪资源调度算法。仿真表明,与已有调度算法相比,所提算法资源分配更合理,系统性能更优。

基于注意力和多级线索关联的多目标跟踪网络

针对多目标跟踪(Multi-Object Tracking,MOT)任务中因目标间的相互遮挡导致目标跟踪失败和轨迹关联错误等问题,提出一种新的基于注意力机制和多级线索关联策略的多目标跟踪网络。生成目标可见性图并将其转化为空间注意力图来解决多个目标之间的遮挡问题;在特定目标对象分支网络中,使用通道注意力提高特征鲁棒性;提出结合目标对象的外观、运动以及交互三种线索的多级线索关联策略来匹配当前目标的正确轨迹。在基准数据集MOT16和MOT17上的实验结果表明,与现有方法相比,所提出的方法在多个评价指标上能获得更好的结果。

联合判别性外观和运动线索的行人多目标跟踪

在多目标跟踪任务中,外界噪声的干扰会导致传统方法的系统建模不可靠,从而降低目标位置预测的准确性;而密集人群引起的拥挤和遮挡问题则会严重影响目标外观的可靠性,导致错误的身份关联.为了解决这些问题,本文提出一种多目标跟踪算法Ecsort.该算法在传统运动预测的基础上,引入噪声补偿模块,降低噪声干扰引起的误差,提高位置预测的准确性.其次,引入特征相似度匹配模块,通过学习目标的判别性外观特征,并结合运动线索和判别性外观特征的优势,从而实现精确的身份关联.通过在多目标跟踪基准数据集上进行的大量实验结果表明,与基线模型相比,该方法在MOT17测试集上的IDF1 (ID F1 score)、HOTA (higher order tracking accuracy)、AssA(association accuracy)、DetA (detection accuracy)分别提高了1.1%、0.5%、0.6%、0.3%,在MOT20测试集上的IDF1、HOTA、AssA、DetA分别提高了2.3%、1.9%、3.4%、0.2%.

多目标跟踪中基于SOT和重匹配的防遗漏机制

数据关联是多目标跟踪(Multiple object tracking, MOT)中的重要步骤,一般需要根据特征相似性实现目标和检测物体之间的身份匹配。部分目标或检测物体可能在匹配结束后仍处于孤立状态,可能导致轨迹中断或身份错乱的遗漏现象。为改善MOT的精度和稳定性,抑制数据关联中的遗漏现象,提出了一种基于高性能单目标跟踪器(Single object tracker, SOT)和重匹配的防遗漏机制。该机制运用Transformer和扩散模型,设计了一款契合MOT需求的SOT用于追踪遗漏目标,并通过记忆目标信息对遗漏检测物体实施重匹配。通过消融实验验证了SOT和重匹配方法在防遗漏机制中的作用,并在标准数据集上测试了该机制对MOT算法跟踪性能的影响。结果表明,各算法加入该机制后性能获得全面改善,该机制可有效抑制MOT中的遗漏现象。

多目标跟踪中基于次模优化的轨迹片段生成方法

作为智能视觉任务的基础工作,多目标跟踪(MOT)一直是计算机视觉领域具有挑战性的课题之一。遮挡是影响跟踪准确性的主要因素,为此该文采用基于检测跟踪的思想,以轨迹片段为基础进行关联获取目标的完整轨迹;同时,为提高跟踪鲁棒性,该文将轨迹片段的生成问题转化为运筹学中的设施选址问题,并进而提出基于次模优化的轨迹片段生成方法。该方法融合梯度(HOG)和颜色(CN)两个互补特征进行目标表征,并根据运动信息设计权重系数提高目标匹配准确度,最后提出具有约束的次模最大化算法实现全局范围内的数据关联生成轨迹片段。通过在多个基准数据集上的对比实验,表明该文算法在保证性能的同时能有效处理遮挡问题。

基于改进YOLOV7的变规模网络重叠区域多目标跟踪方法

在实际场景中,目标之间常常存在重叠或部分遮挡的情况,若是未进行有效的多目标检测以及了解变规模网络重叠区域内的节点状况,会导致目标跟踪精度下降。对此,提出一种基于改进YOLOV7的变规模网络重叠区域多目标跟踪方法。首先,采用改进YOLOV7对变规模网络重叠区域多目标进行检测;然后,在目标检测的基础上,对多目标轨迹特征进行提取;最后,基于提取到的多目标轨迹特征,已知目标的速度、方向与距离,实现变规模网络重叠区域的多目标跟踪。实验结果表明,所提方法的跟踪精准度最高达到98%,曼哈顿距离明显小于对比方法,仅在0.1~-0.1之间,性能较优,具有实用性。

基于改进CStrack关联策略的多目标跟踪算法

针对复杂场景下目标外观变化明显、运动不规律易导致轨迹中断和身份切换频繁等问题,从重识别(Re-Identification,Re-ID)特征、数据关联和插值等方面对跟踪器进行改进,提出基于改进CStrack关联策略的多目标跟踪算法。使用外观特征更新模块,减小因视角改变、目标移动导致特征剧烈变化而产生的影响,增强特征间的关联。提出二次关联方法,根据高低置信度检测结果的特点,使用不同的度量方式进行二次关联:第一次关联使用IoU距离融合外观特征作为关联的代价矩阵,第二次使用扩展IoU关联,缓解运动估计偏差、外观不可区分导致度量失效的问题;采用高斯回归算法,考虑运动信息,通过插值补偿漏检。在MOT17、MOT20数据集上进行测试,跟踪精度分别达到73.9%、64.2%。实验结果表明,该方法在跟踪精度上有明显优势,能够较好地适应复杂场景。