基于YOLO v8n-seg和改进Strongsort的多目标小鼠跟踪方法

多目标小鼠跟踪是小鼠行为分析的基本任务,是研究社交行为的重要方法。针对传统小鼠跟踪方法存在只能跟踪单只小鼠以及对多目标小鼠跟踪需要对小鼠进行标记从而影响小鼠行为等问题,提出了一种基于实例分割网络YOLO v8n-seg和改进Strongsort相结合的多目标小鼠无标记跟踪方法。使用RGB摄像头采集多目标小鼠的日常行为视频,标注小鼠身体部位分割数据集,对数据集进行增强后训练YOLO v8n-seg实例分割网络,经过测试,模型精确率为97.7%,召回率为98.2%,mAP50为99.2%,单幅图像检测时间为3.5 ms,实现了对小鼠身体部位准确且快速地分割,可以满足Strongsort多目标跟踪算法的检测要求。针对Strongsort算法在多目标小鼠跟踪中存在的跟踪错误问题,对Strongsort做了两点改进:对匹配流程进行改进,将未匹配上目标的轨迹和未匹配上轨迹的目标按欧氏距离进行再次匹配;对卡尔曼滤波进行改进,将卡尔曼滤波中表示小鼠位置和运动状态的小鼠身体轮廓外接矩形框替换为以小鼠身体轮廓质心为中心、对角线为小鼠体宽的正方形框。经测试,改进后Strongsort算法的ID跳变数为14,MOTA为97.698%,IDF1为85.435%,MOTP为75.858%,与原Strongsort相比,ID跳变数减少88%,MOTA提升3.266个百分点,IDF1提升27.778个百分点,与Deepsort、ByteTrack和Ocsort相比,在MOTA和IDF1上均有显著提升,且ID跳变数大幅降低,结果表明改进Strongsort算法可以提高多目标无标记小鼠跟踪的稳定性和准确性,为小鼠社交行为分析提供了一种新的技术途径。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

基于改进YOLOX与多级数据关联的行人多目标跟踪算法研究

目标跟踪是计算机视觉领域的基本问题,行人多目标跟踪在智能监控、智慧交通等多个领域有着广泛的应用前景。然而实际跟踪场景中存在频繁遮挡、尺度变化等情况,给多目标跟踪算法带来了极大的挑战。为了进一步提升跟踪精度,在DeepSORT的基础上,提出一种基于改进YOLOX与多级数据关联的行人多目标跟踪算法。对于检测器,为了增强网络的特征表达能力,提高检测精度,在YOLOX骨架网络与颈部网络分别引入ECA通道注意力模块与ASFF自适应特征融合模块。对于身份识别特征,为了减少数据关联步骤的错误匹配数量,提高跟踪效率,使用轻量的OSNet重识别网络与NSA卡尔曼滤波获取目标特征。对于数据关联,为了减少身份切换次数,避免目标丢失,将检测与跟踪都进行分类处理,使用不同的相似性计算方法,实现基于检测置信度与轨迹状态的多级数据关联。实验结果表明:与改进前YOLOX与DeepSORT简单结合的算法相比,在YOLOX中引入ECA模块与ASFF模块使误检数量大幅降低,使用YOLOX-s模型时降幅可达17%;结合OSNet模型与NSA卡尔曼滤波的特征提取方法能提高跟踪稳定性,IDF1指标提高0.77%,IDSW减少947;基于检测置信度与轨迹状态的多级数据关联算法可以明显改善跟踪性能,MOTA指标提升3.36%。算法最终在MOT17与MOT20测试集上的MOTA达80.4%与77.7%,IDF1达78.4%与76.7%。提出的行人多目标跟踪方法相较于其他先进算法在跟踪精度与跟踪速度上达到更好的平衡,可为工业上在线行人多目标跟踪应用提供参考。

稀疏约束与时间一致的背景感知相关滤波目标跟踪

背景感知滤波算法通过循环移位采集真实负样本,有效解决了边界效应.但在复杂场景例如遮挡、快速移动、背景干扰等,其较大的采样区域导致过多背景在杂波干扰,从而影响跟踪效果.针对这一问题,本文首先提取灰度HOG特征与颜色CN特征来提高目标外观模型,在基准目标函数基础上引入L1稀疏正则约束形成弹性网络以自适应筛选关键特征,增强滤波器在复杂背景下的判别能力.同时针对BACF在跟踪过程中目标快速变化,本文引入时间正则项提高滤波器抑制畸变的能力.最后,本文提出了一种独立的尺度滤波器算法,准确提供目标尺度大小.实验仿真结果表明,在公开数据集OTB-2013和OTB-2015上,本文算法较基准算法有很大提升,能够较好应对不同复杂场景下的跟踪难题.

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。

BEVTrack:基于难例挖掘训练的端到端三维多目标跟踪方法

多目标跟踪已经成为自动驾驶系统中的一个关键组成部分,其目的是在连续的视频流与点云流中识别、定位并标识所有感兴趣的目标。目前三维多目标跟踪方法多依赖人工多阶段调参以保证整体跟踪性能,难以对复杂遮挡或运动进行有效建模。而现有的三维端到端多目标跟踪方法,如MUTR等,精度普遍较低。其核心原因为三维空间中的特征聚合和感知相对于二维图像更具挑战性,简单的网络难以实现复杂的三维特征聚合,并大量的噪声信息与难例信息干扰严重,影响模型的特征提取能力。针对以上问题,本文提出了一种基于难例挖掘训练的端到端多目标跟踪框架BEVTrack。针对三维特征关联问题,本文设计了基于鸟瞰图(BEV)位置编码的三维跟踪查询。通过基于BEV特征的三维跟踪查询,本文方法能够更好地将跟踪查询与实际三维特征进行有效关联,从而大幅度提升了跟踪精度。同时,模型依靠BEV数据进行特征关联,仅需轻量化的网络便可以实现快速有效的跟踪。针对数据噪声问题,本文提出了面向多目标跟踪的难例挖掘训练,通过针对检测难例与跟踪难例分别处理,训练模型去除检测错误噪声与跟踪匹配的能力,从而提升在真实场景下模型处理噪声信息与难例干扰的能力。在实验结果方面,基于Nuscenes数据集,我们进行了大量的对比实验与模型消融实验,实验结果证明本文的方法在该数据集上取得了领先的性能。

智能汽车轨迹跟踪多目标显式模型预测控制

针对现有智能汽车轨迹跟踪控制算法难以同时保证跟踪精确性、横向稳定性、舒适性以及控制实时性的问题,提出了一种基于多目标优化和显式模型预测控制理论的轨迹跟踪控制策略(MO-EMPC)。首先,建立考虑跟踪精确性、横向稳定性、舒适性的多目标函数及约束。然后,针对传统MPC控制实时性低的问题,设计基于EMPC的多目标优化轨迹跟踪控制器,通过引入多参数二次规划(MPQP)理论,将反复在线优化求解过程转化为等价的分段仿射系统(PPWA),离线计算得到最优显式控制律以供实时控制调用,减少在线运算时间。最后,基于CarSim/Simlink联合仿真方法,将所设计控制器的轨迹跟踪多目标优化效果与MPC控制效果进行对比验证。研究结果表明,所提出的轨迹跟踪策略在保证良好的跟踪精度前提下,横向稳定性、舒适性方面的表现更优于MPC控制器,且算法在线运行速度提高56.63%。

基于状态可观测性和多模态数据PF的移动目标跟踪

为了实现对移动目标的跟踪,提出了一种新颖的基于目标状态可观测性和多模态数据粒子滤波(Particle Filter,PF)的跟踪方案。通过部署在目标移动区域中的传感器获得跟踪目标的距离和到达方向测量值,对接收到的数据进行预处理来计算PF的观测值,以形成一个临时距离图像。通过利用状态更新函数和形成的候选图像模板确定目标状态向量;在PF器中加入额外的加权阶段,使得PF器可自适应地同步多模态数据流,以实现鲁棒的目标跟踪。仿真实验结果验证了所提方案能够有效地跟踪移动目标。

红外地面目标智能抗遮挡跟踪算法研究

针对背景遮挡导致红外地面目标跟踪失败的问题,提出了一种基于改进轨迹预测网络的红外地面目标抗遮挡跟踪器。提出了遮挡判断准则,准确判断红外地面目标的遮挡情况;改进BiTrap轨迹预测网络,一方面通过孪生网络结构引入速度信息,采用单向预测的方法,提出了SiamTrap轨迹预测网络,提高了轨迹预测的精度;另一方面,通过改进训练方法和应用方法,可以更准确地预测地面目标的轨迹。对于短期遮挡,利用SiamTrap网络基于时间上下文信息预测目标遮挡位置。对于长期遮挡,提出了搜索扩展策略来处理真实目标信息缺乏导致的预测误差积累。提出了“二次判定”准则,实现了目标的精确捕获和正常跟踪。在含有遮挡的红外目标跟踪序列上对算法进行了对比测试。与基准跟踪器相比,文中所提算法在OPE评价指标下,成功率和准确率分别提高了5.2%和5.9%。这表明文中算法在应对红外地面目标被遮挡情况下具有良好的鲁棒性。

驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法

基于相机传感器的多目标跟踪算法是自动驾驶的重要组成部分。驾驶场景下,基于交并比进行前后帧关联的方案一直存在大量的身份切换,此现象在对向来车以及自车转弯时更加明显。本文将目标在二维平面上的运动速度作为扩展匹配空间的变量,设计了基于目标速度变化的交并比算法:Velocity IoU,从而优化前后帧目标关联。同时,使用自监督的外观模型提取不同目标的外观特征编码。基于上述的运动模型以及外观模型,提出了一种互补的关联策略,最终实现驾驶场景下多类别多目标跟踪。在BDD100K上验证了该方法,对应mMOTA为45.2,mIDF1为55.2,IDs为8793,优于大部分跟踪算法。

基于Transformer复杂运动辨识的机动星凸形扩展目标跟踪方法

针对复杂的机动扩展目标跟踪问题,利用Transformer网络设计了一种有效的星凸不规则形状机动扩展目标跟踪方法。首先,该文研究利用alpha-shape算法建立了星凸形状的变化模型,实现了静态场景下的星凸形扩展目标的形状估计。然后,通过对目标状态转移矩阵进行重新设计,结合Transformer网络对机动扩展目标运动状态转移矩阵进行实时估计,实现了对复杂机动目标运动过程的精准跟踪。进一步地,将估计得到的形状轮廓与运动状态进行融合,最终实现了对星凸形机动扩展目标的实时跟踪。最后,通过构造复杂的机动扩展目标跟踪场景,利用多重性能指标测试算法对形状和运动状态的综合估计性能,验证了算法的有效性。

高机动目标的改进强跟踪CKF自适应IMM算法

为提升高机动目标跟踪精度,提出了一种改进的强跟踪CKF自适应交互多模型跟踪算法。在IMM算法运动模型集中引入CS-Jerk模型,增强对高机动目标的适应能力,采用奇异值分解(SVD)算法解决模型集中因模型扩维而导致CKF算法无法Cholesky分解的问题;提出了一种改进的强跟踪CKF算法,降低强跟踪CKF算法的计算量;利用模型的后验信息对IMM算法模型转移概率进行自适应调整,提高跟踪精度。仿真结果表明,基于所提算法目标的位置均方根误差均值和速度均方根误差均值较IMM-CKF算法分别降低了22.50%和16.58%,有效提高了目标跟踪精度。

基于联合GLMB滤波器的可分辨群目标跟踪

针对联合广义标签多伯努利(joint generalized labeled multi-Bernoulli, J-GLMB)滤波算法中群目标之间距离较近、容易关联错误的问题,结合超图匹配(hypergraph matching, HGM)提出一种基于HGM-J-GLMB滤波器的可分辨群目标跟踪算法。首先,采用J-GLMB滤波器估计群内各目标的状态、数目及轨迹信息,并利用HGM结果提升量测与预测状态之间的关联性能。其次,通过图理论计算邻接矩阵,获取群结构信息和子群数目。随后,利用群结构信息估计协作噪声,进而校正目标的预测状态。最后,通过平滑算法改善滤波效果,并设置轨迹长度阈值,使其在平滑状态达到消除短轨迹的目的。仿真实验表明,所提算法在线性系统下能有效提升群目标跟踪性能。

多特征融合的无人艇视觉目标长时相关鲁棒跟踪

[目的]针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。[方法]首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。[结果]实验结果表明,相较于传统的长时相关跟踪算法,平均成功率提升15.7%,平均距离精度指标提升30.3%,F-Score指标提升7.0%。[结论]所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。

面向对海监视的舰船目标跟踪与航迹融合数据集

对海监视中航迹实时关联与轨迹融合任务是安全防控、区域态势监视、远程精确打击等军民应用领域的热点和难点问题,高质量的数据集对推动目标跟踪与融合技术在该领域的研究有重要作用。本研究针对目标跟踪与融合领域技术研究的数据需求以及目前公开数据集所存在的数据缺乏、场景设计针对性差、数据格式单一、数据描述不全等问题,通过仿真软件对复杂场景中多传感器多目标探测数据进行仿真,提供了一套面向典型对海监视场景(以舰船为探测对象的2D雷达与侦察传感器﹝ESM﹞)的目标跟踪与航迹融合数据集。其中仿真软件包括剧情发生器和传感器模拟器两部分,是一套成熟的目标跟踪场景仿真环境,提供逼真的探测数据模拟能力。本数据集涵盖的传感器对象包括2D雷达与侦察传感器,目标包括典型的海上舰船类别,并支持携带辐射源配置,设计了高速运动、密集交通、多传感器数据融合、特定舰船侦测和交叉定位等多种典型场景。本数据集中共包含368155条目标点迹,舰船数量为101条,时间范围15000秒,数据格式符合实际设备上报情景、探测误差模型符合实际。本数据集通过对数据误差进行正态性检验、对检测率、虚警率的场景检验以及实地调研,完成了对数据的准确性评估与数据完备性控制,可为舰船目标跟踪、轨迹融合等算法研究与验证提供基础数据。

扩展目标跟踪Student’s t逆Wishart平滑算法

脉冲干扰和离群量测信息等因素通常会导致异常的厚尾噪声,这使得以高斯假设为前提的扩展目标跟踪(ETT)估计器的性能急剧降低,针对该问题该文提出一种基于扩展目标随机矩阵模型(RMM)的Student’s t逆Wishart平滑(StIWS)算法。首先,将目标的运动状态以及过程噪声和量测噪声建模为Student’s t分布以表征异常噪声对扩展目标概率分布的影响,将目标扩展状态建模为服从逆Wishart分布的随机矩阵。然后,在Student’s t贝叶斯平滑框架下,详细推导了能在扩展目标的多重特征动态演变的过程中有效估计目标状态的StIWS算法。最后,通过扩展目标跟踪的仿真实验结果和真实场景实验结果验证了所提算法的有效性。

利用Transformer的多模态目标跟踪算法

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

基于红外相机和毫米波雷达融合的烟雾遮挡无人驾驶车辆目标检测与跟踪

战场环境下无人驾驶车辆的感知系统易受烟雾、扬尘等天气的影响,对关键目标的检测与跟踪能力大大下降,造成目标漏检、目标误检、目标丢失等严重后果。针对该问题,开发毫米波雷达和红外相机融合系统,采用目标级融合方式建立简洁有效的融合规则,提炼和组合各传感器的优势信息,最终输出稳定的目标感知结果。对毫米波雷达的目标进行有效性检验和提取,并提出改进的基于密度的含噪声空间聚类应用算法,以减少毫米波雷达噪音干扰。以YOLOv4网络为基础,引入MobileNetv2主干网络,在网络训练过程中运用迁移学习方法,同时对红外数据样本进行扩充,解决了红外图像训练样本少的问题。试验结果表明,相较于仅基于红外相机的算法,融合检测算法在烟雾环境下的精度显著提升,且算法实时性高,实现了烟雾环境下毫米波雷达与红外相机融合的目标检测与跟踪,提高了无人驾驶车辆目标检测与跟踪系统的抗烟雾干扰能力。

基于轨迹预测增强的复杂场景多目标跟踪方法

以冬奥会的短道速滑比赛场景为例,针对短道速滑中运动员的目标外观差异性小、运动变化快、目标间遮挡频繁等运动特点,设计一个应用于短道速滑场景的多目标跟踪数据集,并提出一种基于轨迹预测增强的多目标跟踪方法.首先计算包围框交并比距离与外观特征余弦距离,联合判断检测响应与跟踪轨迹的相似性解决目标外观相似问题;然后通过跟踪轨迹的全局特征和运动线索恢复被遮挡目标丢失的信息,提高中断轨迹的重关联能力;最后根据检测先验控制新轨迹的初始化,减少噪声检测对轨迹跟踪中身份交换的影响.实验结果表明,与DeepSORT方法相比,所提方法在短道速滑场景中能够稳定地跟踪轨迹,有效地减少了轨迹中断,其中,IDF1提升21个百分点,MOT准确度提高14.3个百分点;该方法在目标差异性小、运动变化快的短道速滑场景中保证长期稳定跟踪,对多目标跟踪在复杂场景中的应用具有启发意义.

基于GLMB滤波的复杂场景下红外弱小目标自适应跟踪算法

针对红外弱小目标在复杂场景下受到漏检和杂波影响,导致跟踪不连续甚至失效的问题,本文提出一种红外弱小目标自适应跟踪算法。在预处理阶段,为了减少不必要的计算,首先定义一种衡量图像复杂度的算法。然后该算法通过计算红外图像多个特征得到场景复杂度来确认场景类型,再根据场景类型选取对应的检测算法提取目标候选位置、灰度以及局部直方图等特征建立对应的量测模型与似然函数。在目标跟踪阶段,为了自适应地匹配广义标签多伯努利(Generalized Labeled Multi-Bernoulli,GLMB)滤波器的滤波参数,在GLMB的基础上提出一种适应视频图像的新生算法进行航迹起始;针对红外图像序列目标检测概率未知的情况,将未知检测概率的基数化概率假设密度(Cardinality Probability Hypothesis Density,CPHD)滤波器集成到GLMB中实时估计目标检测概率以提升跟踪精度。仿真结果表明,所提出算法能有效地排除量测漏检和虚警的干扰,跟踪不同红外复杂场景下的弱小目标。