一种基于YOLOv4的改进DeepSort目标跟踪算法

针对车辆检测在弱光照和有遮挡情况下出现的漏检问题,提出了一种基于YOLOv4的改进DeepSort目标跟踪算法。首先使用YOLOv4算法对输入图片进行特征提取,获得目标信息,然后采用卡尔曼滤波算法估计车辆的轨迹状态并进行状态更新,最后在级联匹配中运用匈牙利匹配算法对检测框和预测框进行匹配。对未成功匹配的轨迹和检测结果,用广义交并比(GIOU)关联匹配代替交并比(IOU)匹配,提高DeepSort跟踪算法的匹配性能。对比单一检测算法和加入跟踪算法后的车辆检测效果,结果表明,加入跟踪算法后的车辆模型漏检现象变少,检测效果得到提高,鲁棒性增强,且MOTA提高了7.55%,证明了改进方法的有效性。

基于改进YOLOv7-DeepSort的红外视频多目标跟踪

针对红外图像纹理弱及多目标遮挡导致跟踪精度低的问题,构建了基于改进YOLOv7模型和多目标跟踪算法DeepSort的融合红外目标跟踪模型MSB-YOLOv7-DeepSort。采用SE(squeeze and excitation)通道注意力机制和双向特征金字塔网络提高红外目标的特征提取质量;利用轻量化网络MobileNetV3替换YOLOv7骨干网络,提升融合模型的推理速度。实验结果表明,MSB-YOLOv7-DeepSort模型在跟踪准确度、跟踪精确度、正确目标跟踪比例和帧率等方面均具有较好的性能。

基于改进YOLOv5算法和DeepSort算法的多目标检测和跟踪

针对因受水面波纹、反光及目标外观特征相似而导致的游泳池中目标检测跟踪困难的问题,提出一种基于改进YOLOv5算法和DeepSort算法的多目标检测和跟踪方法;通过引入注意力机制改进YOLOv5算法,增强算法对目标特征的提取能力;将检测结果输入到DeepSort算法中,在级联匹配中引入K邻域限制筛选目标检测框,减少因目标外观特征不明显引起的身份切换问题;利用匈牙利算法对检测框和预测框进行匹配,对未匹配成功的检测框采用距离交并比代替交并比进行二次匹配,提高DeepSort算法的跟踪性能;通过对比实验和消融实验验证所提出的多目标检测跟踪算法的性能。结果表明:改进的YOLOv5算法平均精准度提高2%,结合DeepSort算法跟踪检测,身份切换平均减少58次,多目标跟踪精确率为80.26%,比原始YOLOv5算法和Deepsort算法跟踪准确率提升了3.85%。

改进YOLOv5与DeepSort的车辆目标检测跟踪算法

针对当前目标车辆因遮挡、天气等因素造成的漏检,以及跟踪过程中车辆身份丢失和变换等现象,本文提出了一种改进的YOLOv5与DeepSort车辆检测跟踪算法。在车辆目标检测部分,本文在YOLOv5网络中添加了注意力模块CBAM,以更有效地提取目标特征;同时,引入了SIoU作为边界框损失函数,不仅提升了边界框定位的准确性,也加快了边界框的回归速度。在车辆跟踪部分,改进了DeepSort算法,使用扩展卡尔曼滤波器预测非线性环境下的车辆位置,并且使用匈牙利算法将预测轨迹和检测轨迹进行最优匹配,从而在复杂环境下优化由车辆相互覆盖引起的漏检问题。最终,通过改进后的YOLOv5与DeepSort算法进行检测和跟踪,并使用UA-DETRAC数据集进行验证。实验结果表明:改进后的YOLOv5用于目标追踪算法后,平均精确度较原算法提高了4%;结合改进后的DeepSort追踪算法,平均精确度提高至63.6%,比原算法提高了3.6%;车辆目标身份转换的次数比原算法减少了53次,降低了6.6%。改进后的算法模型在追踪精确度和实时性上均表现良好。

基于YOLO v8n-seg和改进Strongsort的多目标小鼠跟踪方法

多目标小鼠跟踪是小鼠行为分析的基本任务,是研究社交行为的重要方法。针对传统小鼠跟踪方法存在只能跟踪单只小鼠以及对多目标小鼠跟踪需要对小鼠进行标记从而影响小鼠行为等问题,提出了一种基于实例分割网络YOLO v8n-seg和改进Strongsort相结合的多目标小鼠无标记跟踪方法。使用RGB摄像头采集多目标小鼠的日常行为视频,标注小鼠身体部位分割数据集,对数据集进行增强后训练YOLO v8n-seg实例分割网络,经过测试,模型精确率为97.7%,召回率为98.2%,mAP50为99.2%,单幅图像检测时间为3.5 ms,实现了对小鼠身体部位准确且快速地分割,可以满足Strongsort多目标跟踪算法的检测要求。针对Strongsort算法在多目标小鼠跟踪中存在的跟踪错误问题,对Strongsort做了两点改进:对匹配流程进行改进,将未匹配上目标的轨迹和未匹配上轨迹的目标按欧氏距离进行再次匹配;对卡尔曼滤波进行改进,将卡尔曼滤波中表示小鼠位置和运动状态的小鼠身体轮廓外接矩形框替换为以小鼠身体轮廓质心为中心、对角线为小鼠体宽的正方形框。经测试,改进后Strongsort算法的ID跳变数为14,MOTA为97.698%,IDF1为85.435%,MOTP为75.858%,与原Strongsort相比,ID跳变数减少88%,MOTA提升3.266个百分点,IDF1提升27.778个百分点,与Deepsort、ByteTrack和Ocsort相比,在MOTA和IDF1上均有显著提升,且ID跳变数大幅降低,结果表明改进Strongsort算法可以提高多目标无标记小鼠跟踪的稳定性和准确性,为小鼠社交行为分析提供了一种新的技术途径。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

基于改进YOLOX与多级数据关联的行人多目标跟踪算法研究

目标跟踪是计算机视觉领域的基本问题,行人多目标跟踪在智能监控、智慧交通等多个领域有着广泛的应用前景。然而实际跟踪场景中存在频繁遮挡、尺度变化等情况,给多目标跟踪算法带来了极大的挑战。为了进一步提升跟踪精度,在DeepSORT的基础上,提出一种基于改进YOLOX与多级数据关联的行人多目标跟踪算法。对于检测器,为了增强网络的特征表达能力,提高检测精度,在YOLOX骨架网络与颈部网络分别引入ECA通道注意力模块与ASFF自适应特征融合模块。对于身份识别特征,为了减少数据关联步骤的错误匹配数量,提高跟踪效率,使用轻量的OSNet重识别网络与NSA卡尔曼滤波获取目标特征。对于数据关联,为了减少身份切换次数,避免目标丢失,将检测与跟踪都进行分类处理,使用不同的相似性计算方法,实现基于检测置信度与轨迹状态的多级数据关联。实验结果表明:与改进前YOLOX与DeepSORT简单结合的算法相比,在YOLOX中引入ECA模块与ASFF模块使误检数量大幅降低,使用YOLOX-s模型时降幅可达17%;结合OSNet模型与NSA卡尔曼滤波的特征提取方法能提高跟踪稳定性,IDF1指标提高0.77%,IDSW减少947;基于检测置信度与轨迹状态的多级数据关联算法可以明显改善跟踪性能,MOTA指标提升3.36%。算法最终在MOT17与MOT20测试集上的MOTA达80.4%与77.7%,IDF1达78.4%与76.7%。提出的行人多目标跟踪方法相较于其他先进算法在跟踪精度与跟踪速度上达到更好的平衡,可为工业上在线行人多目标跟踪应用提供参考。

稀疏约束与时间一致的背景感知相关滤波目标跟踪

背景感知滤波算法通过循环移位采集真实负样本,有效解决了边界效应.但在复杂场景例如遮挡、快速移动、背景干扰等,其较大的采样区域导致过多背景在杂波干扰,从而影响跟踪效果.针对这一问题,本文首先提取灰度HOG特征与颜色CN特征来提高目标外观模型,在基准目标函数基础上引入L1稀疏正则约束形成弹性网络以自适应筛选关键特征,增强滤波器在复杂背景下的判别能力.同时针对BACF在跟踪过程中目标快速变化,本文引入时间正则项提高滤波器抑制畸变的能力.最后,本文提出了一种独立的尺度滤波器算法,准确提供目标尺度大小.实验仿真结果表明,在公开数据集OTB-2013和OTB-2015上,本文算法较基准算法有很大提升,能够较好应对不同复杂场景下的跟踪难题.

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。

BEVTrack:基于难例挖掘训练的端到端三维多目标跟踪方法

多目标跟踪已经成为自动驾驶系统中的一个关键组成部分,其目的是在连续的视频流与点云流中识别、定位并标识所有感兴趣的目标。目前三维多目标跟踪方法多依赖人工多阶段调参以保证整体跟踪性能,难以对复杂遮挡或运动进行有效建模。而现有的三维端到端多目标跟踪方法,如MUTR等,精度普遍较低。其核心原因为三维空间中的特征聚合和感知相对于二维图像更具挑战性,简单的网络难以实现复杂的三维特征聚合,并大量的噪声信息与难例信息干扰严重,影响模型的特征提取能力。针对以上问题,本文提出了一种基于难例挖掘训练的端到端多目标跟踪框架BEVTrack。针对三维特征关联问题,本文设计了基于鸟瞰图(BEV)位置编码的三维跟踪查询。通过基于BEV特征的三维跟踪查询,本文方法能够更好地将跟踪查询与实际三维特征进行有效关联,从而大幅度提升了跟踪精度。同时,模型依靠BEV数据进行特征关联,仅需轻量化的网络便可以实现快速有效的跟踪。针对数据噪声问题,本文提出了面向多目标跟踪的难例挖掘训练,通过针对检测难例与跟踪难例分别处理,训练模型去除检测错误噪声与跟踪匹配的能力,从而提升在真实场景下模型处理噪声信息与难例干扰的能力。在实验结果方面,基于Nuscenes数据集,我们进行了大量的对比实验与模型消融实验,实验结果证明本文的方法在该数据集上取得了领先的性能。

智能汽车轨迹跟踪多目标显式模型预测控制

针对现有智能汽车轨迹跟踪控制算法难以同时保证跟踪精确性、横向稳定性、舒适性以及控制实时性的问题,提出了一种基于多目标优化和显式模型预测控制理论的轨迹跟踪控制策略(MO-EMPC)。首先,建立考虑跟踪精确性、横向稳定性、舒适性的多目标函数及约束。然后,针对传统MPC控制实时性低的问题,设计基于EMPC的多目标优化轨迹跟踪控制器,通过引入多参数二次规划(MPQP)理论,将反复在线优化求解过程转化为等价的分段仿射系统(PPWA),离线计算得到最优显式控制律以供实时控制调用,减少在线运算时间。最后,基于CarSim/Simlink联合仿真方法,将所设计控制器的轨迹跟踪多目标优化效果与MPC控制效果进行对比验证。研究结果表明,所提出的轨迹跟踪策略在保证良好的跟踪精度前提下,横向稳定性、舒适性方面的表现更优于MPC控制器,且算法在线运行速度提高56.63%。

基于状态可观测性和多模态数据PF的移动目标跟踪

为了实现对移动目标的跟踪,提出了一种新颖的基于目标状态可观测性和多模态数据粒子滤波(Particle Filter,PF)的跟踪方案。通过部署在目标移动区域中的传感器获得跟踪目标的距离和到达方向测量值,对接收到的数据进行预处理来计算PF的观测值,以形成一个临时距离图像。通过利用状态更新函数和形成的候选图像模板确定目标状态向量;在PF器中加入额外的加权阶段,使得PF器可自适应地同步多模态数据流,以实现鲁棒的目标跟踪。仿真实验结果验证了所提方案能够有效地跟踪移动目标。

红外地面目标智能抗遮挡跟踪算法研究

针对背景遮挡导致红外地面目标跟踪失败的问题,提出了一种基于改进轨迹预测网络的红外地面目标抗遮挡跟踪器。提出了遮挡判断准则,准确判断红外地面目标的遮挡情况;改进BiTrap轨迹预测网络,一方面通过孪生网络结构引入速度信息,采用单向预测的方法,提出了SiamTrap轨迹预测网络,提高了轨迹预测的精度;另一方面,通过改进训练方法和应用方法,可以更准确地预测地面目标的轨迹。对于短期遮挡,利用SiamTrap网络基于时间上下文信息预测目标遮挡位置。对于长期遮挡,提出了搜索扩展策略来处理真实目标信息缺乏导致的预测误差积累。提出了“二次判定”准则,实现了目标的精确捕获和正常跟踪。在含有遮挡的红外目标跟踪序列上对算法进行了对比测试。与基准跟踪器相比,文中所提算法在OPE评价指标下,成功率和准确率分别提高了5.2%和5.9%。这表明文中算法在应对红外地面目标被遮挡情况下具有良好的鲁棒性。

驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法

基于相机传感器的多目标跟踪算法是自动驾驶的重要组成部分。驾驶场景下,基于交并比进行前后帧关联的方案一直存在大量的身份切换,此现象在对向来车以及自车转弯时更加明显。本文将目标在二维平面上的运动速度作为扩展匹配空间的变量,设计了基于目标速度变化的交并比算法:Velocity IoU,从而优化前后帧目标关联。同时,使用自监督的外观模型提取不同目标的外观特征编码。基于上述的运动模型以及外观模型,提出了一种互补的关联策略,最终实现驾驶场景下多类别多目标跟踪。在BDD100K上验证了该方法,对应mMOTA为45.2,mIDF1为55.2,IDs为8793,优于大部分跟踪算法。

基于Transformer复杂运动辨识的机动星凸形扩展目标跟踪方法

针对复杂的机动扩展目标跟踪问题,利用Transformer网络设计了一种有效的星凸不规则形状机动扩展目标跟踪方法。首先,该文研究利用alpha-shape算法建立了星凸形状的变化模型,实现了静态场景下的星凸形扩展目标的形状估计。然后,通过对目标状态转移矩阵进行重新设计,结合Transformer网络对机动扩展目标运动状态转移矩阵进行实时估计,实现了对复杂机动目标运动过程的精准跟踪。进一步地,将估计得到的形状轮廓与运动状态进行融合,最终实现了对星凸形机动扩展目标的实时跟踪。最后,通过构造复杂的机动扩展目标跟踪场景,利用多重性能指标测试算法对形状和运动状态的综合估计性能,验证了算法的有效性。

高机动目标的改进强跟踪CKF自适应IMM算法

为提升高机动目标跟踪精度,提出了一种改进的强跟踪CKF自适应交互多模型跟踪算法。在IMM算法运动模型集中引入CS-Jerk模型,增强对高机动目标的适应能力,采用奇异值分解(SVD)算法解决模型集中因模型扩维而导致CKF算法无法Cholesky分解的问题;提出了一种改进的强跟踪CKF算法,降低强跟踪CKF算法的计算量;利用模型的后验信息对IMM算法模型转移概率进行自适应调整,提高跟踪精度。仿真结果表明,基于所提算法目标的位置均方根误差均值和速度均方根误差均值较IMM-CKF算法分别降低了22.50%和16.58%,有效提高了目标跟踪精度。

基于联合GLMB滤波器的可分辨群目标跟踪

针对联合广义标签多伯努利(joint generalized labeled multi-Bernoulli, J-GLMB)滤波算法中群目标之间距离较近、容易关联错误的问题,结合超图匹配(hypergraph matching, HGM)提出一种基于HGM-J-GLMB滤波器的可分辨群目标跟踪算法。首先,采用J-GLMB滤波器估计群内各目标的状态、数目及轨迹信息,并利用HGM结果提升量测与预测状态之间的关联性能。其次,通过图理论计算邻接矩阵,获取群结构信息和子群数目。随后,利用群结构信息估计协作噪声,进而校正目标的预测状态。最后,通过平滑算法改善滤波效果,并设置轨迹长度阈值,使其在平滑状态达到消除短轨迹的目的。仿真实验表明,所提算法在线性系统下能有效提升群目标跟踪性能。

多特征融合的无人艇视觉目标长时相关鲁棒跟踪

[目的]针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。[方法]首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。[结果]实验结果表明,相较于传统的长时相关跟踪算法,平均成功率提升15.7%,平均距离精度指标提升30.3%,F-Score指标提升7.0%。[结论]所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。

面向对海监视的舰船目标跟踪与航迹融合数据集

对海监视中航迹实时关联与轨迹融合任务是安全防控、区域态势监视、远程精确打击等军民应用领域的热点和难点问题,高质量的数据集对推动目标跟踪与融合技术在该领域的研究有重要作用。本研究针对目标跟踪与融合领域技术研究的数据需求以及目前公开数据集所存在的数据缺乏、场景设计针对性差、数据格式单一、数据描述不全等问题,通过仿真软件对复杂场景中多传感器多目标探测数据进行仿真,提供了一套面向典型对海监视场景(以舰船为探测对象的2D雷达与侦察传感器﹝ESM﹞)的目标跟踪与航迹融合数据集。其中仿真软件包括剧情发生器和传感器模拟器两部分,是一套成熟的目标跟踪场景仿真环境,提供逼真的探测数据模拟能力。本数据集涵盖的传感器对象包括2D雷达与侦察传感器,目标包括典型的海上舰船类别,并支持携带辐射源配置,设计了高速运动、密集交通、多传感器数据融合、特定舰船侦测和交叉定位等多种典型场景。本数据集中共包含368155条目标点迹,舰船数量为101条,时间范围15000秒,数据格式符合实际设备上报情景、探测误差模型符合实际。本数据集通过对数据误差进行正态性检验、对检测率、虚警率的场景检验以及实地调研,完成了对数据的准确性评估与数据完备性控制,可为舰船目标跟踪、轨迹融合等算法研究与验证提供基础数据。

扩展目标跟踪Student’s t逆Wishart平滑算法

脉冲干扰和离群量测信息等因素通常会导致异常的厚尾噪声,这使得以高斯假设为前提的扩展目标跟踪(ETT)估计器的性能急剧降低,针对该问题该文提出一种基于扩展目标随机矩阵模型(RMM)的Student’s t逆Wishart平滑(StIWS)算法。首先,将目标的运动状态以及过程噪声和量测噪声建模为Student’s t分布以表征异常噪声对扩展目标概率分布的影响,将目标扩展状态建模为服从逆Wishart分布的随机矩阵。然后,在Student’s t贝叶斯平滑框架下,详细推导了能在扩展目标的多重特征动态演变的过程中有效估计目标状态的StIWS算法。最后,通过扩展目标跟踪的仿真实验结果和真实场景实验结果验证了所提算法的有效性。