一种基于YOLOv4的改进DeepSort目标跟踪算法

针对车辆检测在弱光照和有遮挡情况下出现的漏检问题,提出了一种基于YOLOv4的改进DeepSort目标跟踪算法。首先使用YOLOv4算法对输入图片进行特征提取,获得目标信息,然后采用卡尔曼滤波算法估计车辆的轨迹状态并进行状态更新,最后在级联匹配中运用匈牙利匹配算法对检测框和预测框进行匹配。对未成功匹配的轨迹和检测结果,用广义交并比(GIOU)关联匹配代替交并比(IOU)匹配,提高DeepSort跟踪算法的匹配性能。对比单一检测算法和加入跟踪算法后的车辆检测效果,结果表明,加入跟踪算法后的车辆模型漏检现象变少,检测效果得到提高,鲁棒性增强,且MOTA提高了7.55%,证明了改进方法的有效性。

基于改进YOLOX与多级数据关联的行人多目标跟踪算法研究

目标跟踪是计算机视觉领域的基本问题,行人多目标跟踪在智能监控、智慧交通等多个领域有着广泛的应用前景。然而实际跟踪场景中存在频繁遮挡、尺度变化等情况,给多目标跟踪算法带来了极大的挑战。为了进一步提升跟踪精度,在DeepSORT的基础上,提出一种基于改进YOLOX与多级数据关联的行人多目标跟踪算法。对于检测器,为了增强网络的特征表达能力,提高检测精度,在YOLOX骨架网络与颈部网络分别引入ECA通道注意力模块与ASFF自适应特征融合模块。对于身份识别特征,为了减少数据关联步骤的错误匹配数量,提高跟踪效率,使用轻量的OSNet重识别网络与NSA卡尔曼滤波获取目标特征。对于数据关联,为了减少身份切换次数,避免目标丢失,将检测与跟踪都进行分类处理,使用不同的相似性计算方法,实现基于检测置信度与轨迹状态的多级数据关联。实验结果表明:与改进前YOLOX与DeepSORT简单结合的算法相比,在YOLOX中引入ECA模块与ASFF模块使误检数量大幅降低,使用YOLOX-s模型时降幅可达17%;结合OSNet模型与NSA卡尔曼滤波的特征提取方法能提高跟踪稳定性,IDF1指标提高0.77%,IDSW减少947;基于检测置信度与轨迹状态的多级数据关联算法可以明显改善跟踪性能,MOTA指标提升3.36%。算法最终在MOT17与MOT20测试集上的MOTA达80.4%与77.7%,IDF1达78.4%与76.7%。提出的行人多目标跟踪方法相较于其他先进算法在跟踪精度与跟踪速度上达到更好的平衡,可为工业上在线行人多目标跟踪应用提供参考。

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。

驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法

基于相机传感器的多目标跟踪算法是自动驾驶的重要组成部分。驾驶场景下,基于交并比进行前后帧关联的方案一直存在大量的身份切换,此现象在对向来车以及自车转弯时更加明显。本文将目标在二维平面上的运动速度作为扩展匹配空间的变量,设计了基于目标速度变化的交并比算法:Velocity IoU,从而优化前后帧目标关联。同时,使用自监督的外观模型提取不同目标的外观特征编码。基于上述的运动模型以及外观模型,提出了一种互补的关联策略,最终实现驾驶场景下多类别多目标跟踪。在BDD100K上验证了该方法,对应mMOTA为45.2,mIDF1为55.2,IDs为8793,优于大部分跟踪算法。

基于Transformer复杂运动辨识的机动星凸形扩展目标跟踪方法

针对复杂的机动扩展目标跟踪问题,利用Transformer网络设计了一种有效的星凸不规则形状机动扩展目标跟踪方法。首先,该文研究利用alpha-shape算法建立了星凸形状的变化模型,实现了静态场景下的星凸形扩展目标的形状估计。然后,通过对目标状态转移矩阵进行重新设计,结合Transformer网络对机动扩展目标运动状态转移矩阵进行实时估计,实现了对复杂机动目标运动过程的精准跟踪。进一步地,将估计得到的形状轮廓与运动状态进行融合,最终实现了对星凸形机动扩展目标的实时跟踪。最后,通过构造复杂的机动扩展目标跟踪场景,利用多重性能指标测试算法对形状和运动状态的综合估计性能,验证了算法的有效性。

基于联合GLMB滤波器的可分辨群目标跟踪

针对联合广义标签多伯努利(joint generalized labeled multi-Bernoulli, J-GLMB)滤波算法中群目标之间距离较近、容易关联错误的问题,结合超图匹配(hypergraph matching, HGM)提出一种基于HGM-J-GLMB滤波器的可分辨群目标跟踪算法。首先,采用J-GLMB滤波器估计群内各目标的状态、数目及轨迹信息,并利用HGM结果提升量测与预测状态之间的关联性能。其次,通过图理论计算邻接矩阵,获取群结构信息和子群数目。随后,利用群结构信息估计协作噪声,进而校正目标的预测状态。最后,通过平滑算法改善滤波效果,并设置轨迹长度阈值,使其在平滑状态达到消除短轨迹的目的。仿真实验表明,所提算法在线性系统下能有效提升群目标跟踪性能。

多特征融合的无人艇视觉目标长时相关鲁棒跟踪

[目的]针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。[方法]首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。[结果]实验结果表明,相较于传统的长时相关跟踪算法,平均成功率提升15.7%,平均距离精度指标提升30.3%,F-Score指标提升7.0%。[结论]所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。

面向对海监视的舰船目标跟踪与航迹融合数据集

对海监视中航迹实时关联与轨迹融合任务是安全防控、区域态势监视、远程精确打击等军民应用领域的热点和难点问题,高质量的数据集对推动目标跟踪与融合技术在该领域的研究有重要作用。本研究针对目标跟踪与融合领域技术研究的数据需求以及目前公开数据集所存在的数据缺乏、场景设计针对性差、数据格式单一、数据描述不全等问题,通过仿真软件对复杂场景中多传感器多目标探测数据进行仿真,提供了一套面向典型对海监视场景(以舰船为探测对象的2D雷达与侦察传感器﹝ESM﹞)的目标跟踪与航迹融合数据集。其中仿真软件包括剧情发生器和传感器模拟器两部分,是一套成熟的目标跟踪场景仿真环境,提供逼真的探测数据模拟能力。本数据集涵盖的传感器对象包括2D雷达与侦察传感器,目标包括典型的海上舰船类别,并支持携带辐射源配置,设计了高速运动、密集交通、多传感器数据融合、特定舰船侦测和交叉定位等多种典型场景。本数据集中共包含368155条目标点迹,舰船数量为101条,时间范围15000秒,数据格式符合实际设备上报情景、探测误差模型符合实际。本数据集通过对数据误差进行正态性检验、对检测率、虚警率的场景检验以及实地调研,完成了对数据的准确性评估与数据完备性控制,可为舰船目标跟踪、轨迹融合等算法研究与验证提供基础数据。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

基于YOLO v8n-seg和改进Strongsort的多目标小鼠跟踪方法

多目标小鼠跟踪是小鼠行为分析的基本任务,是研究社交行为的重要方法。针对传统小鼠跟踪方法存在只能跟踪单只小鼠以及对多目标小鼠跟踪需要对小鼠进行标记从而影响小鼠行为等问题,提出了一种基于实例分割网络YOLO v8n-seg和改进Strongsort相结合的多目标小鼠无标记跟踪方法。使用RGB摄像头采集多目标小鼠的日常行为视频,标注小鼠身体部位分割数据集,对数据集进行增强后训练YOLO v8n-seg实例分割网络,经过测试,模型精确率为97.7%,召回率为98.2%,mAP50为99.2%,单幅图像检测时间为3.5 ms,实现了对小鼠身体部位准确且快速地分割,可以满足Strongsort多目标跟踪算法的检测要求。针对Strongsort算法在多目标小鼠跟踪中存在的跟踪错误问题,对Strongsort做了两点改进:对匹配流程进行改进,将未匹配上目标的轨迹和未匹配上轨迹的目标按欧氏距离进行再次匹配;对卡尔曼滤波进行改进,将卡尔曼滤波中表示小鼠位置和运动状态的小鼠身体轮廓外接矩形框替换为以小鼠身体轮廓质心为中心、对角线为小鼠体宽的正方形框。经测试,改进后Strongsort算法的ID跳变数为14,MOTA为97.698%,IDF1为85.435%,MOTP为75.858%,与原Strongsort相比,ID跳变数减少88%,MOTA提升3.266个百分点,IDF1提升27.778个百分点,与Deepsort、ByteTrack和Ocsort相比,在MOTA和IDF1上均有显著提升,且ID跳变数大幅降低,结果表明改进Strongsort算法可以提高多目标无标记小鼠跟踪的稳定性和准确性,为小鼠社交行为分析提供了一种新的技术途径。

利用Transformer的多模态目标跟踪算法

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

基于改进DeepSORT和FastReID的室内多目标人员跨镜识别与跟踪

为解决利用视频分析实现目标检测、目标跟踪和行人重识别存在的诸如目标框重框、遮挡等问题,提出了一种基于改进DeepSORT和FastReID的室内多目标人员跨镜追踪的方法。该方法使用YOLOv5s进行人员检测、DeepSORT进行人员跟踪、FastReID进行人员重识别。采用EIOU-NMS算法解决了YOLOv5s人员检测过程中出现的重框问题;在FastReID的特征提取网络中引入了NEUFA注意力机制,并使用优化后的FastReID的特征提取网络替换了DeepSORT原有特征提取网络,降低了DeepSORT跟踪过程中由于遮挡导致的ID跳变的次数;结合注意力机制、人员动态图像库与运动估计的方法减少了人员识别过程中因遮挡导致的人员无法识别和错误识别的次数。结果表明:EIOU-NMS算法将人员检测准确率提升了0.8%,召回率提升了0.4%;替换了特征网络后的DeepSORT将人员跟踪中的ID跳变次数降低了38.46%;结合注意力机制、人员动态图像库和运动估计方法之后,None的次数减少了79.8%,误识别次数减少了91.2%。研究结果能够提升人员识别与跟踪的准确性,降低遮挡对人员跟踪和识别带来的影响。

基于红外相机和毫米波雷达融合的烟雾遮挡无人驾驶车辆目标检测与跟踪

战场环境下无人驾驶车辆的感知系统易受烟雾、扬尘等天气的影响,对关键目标的检测与跟踪能力大大下降,造成目标漏检、目标误检、目标丢失等严重后果。针对该问题,开发毫米波雷达和红外相机融合系统,采用目标级融合方式建立简洁有效的融合规则,提炼和组合各传感器的优势信息,最终输出稳定的目标感知结果。对毫米波雷达的目标进行有效性检验和提取,并提出改进的基于密度的含噪声空间聚类应用算法,以减少毫米波雷达噪音干扰。以YOLOv4网络为基础,引入MobileNetv2主干网络,在网络训练过程中运用迁移学习方法,同时对红外数据样本进行扩充,解决了红外图像训练样本少的问题。试验结果表明,相较于仅基于红外相机的算法,融合检测算法在烟雾环境下的精度显著提升,且算法实时性高,实现了烟雾环境下毫米波雷达与红外相机融合的目标检测与跟踪,提高了无人驾驶车辆目标检测与跟踪系统的抗烟雾干扰能力。

基于轨迹预测增强的复杂场景多目标跟踪方法

以冬奥会的短道速滑比赛场景为例,针对短道速滑中运动员的目标外观差异性小、运动变化快、目标间遮挡频繁等运动特点,设计一个应用于短道速滑场景的多目标跟踪数据集,并提出一种基于轨迹预测增强的多目标跟踪方法.首先计算包围框交并比距离与外观特征余弦距离,联合判断检测响应与跟踪轨迹的相似性解决目标外观相似问题;然后通过跟踪轨迹的全局特征和运动线索恢复被遮挡目标丢失的信息,提高中断轨迹的重关联能力;最后根据检测先验控制新轨迹的初始化,减少噪声检测对轨迹跟踪中身份交换的影响.实验结果表明,与DeepSORT方法相比,所提方法在短道速滑场景中能够稳定地跟踪轨迹,有效地减少了轨迹中断,其中,IDF1提升21个百分点,MOT准确度提高14.3个百分点;该方法在目标差异性小、运动变化快的短道速滑场景中保证长期稳定跟踪,对多目标跟踪在复杂场景中的应用具有启发意义.

基于改进YOLO v7和DeepSORT的罐笼人员跟踪计数方法

煤矿副井罐笼载人时,超载现象时有发生,给副井运输安全带来了隐患。针对该问题,提出了基于改进YOLO v7和DeepSORT的罐笼人员跟踪计数方法。首先利用煤矿副井罐笼区域的监控摄像头采集的视频制作罐笼行人数据集,再利用改进的YOLO v7对罐笼人员进行识别:基于GhostNet网络改进YOLO v7以提升模型的实时性;通过引入ACmix注意力机制提升模型对副井复杂背景人员的感知能力,并基于SIoU损失函数进一步增强模型的鲁棒性;最后利用优化后的DeepSORT算法对罐笼人员进行跟踪计数:基于CIOU优化DeepSORT算法的匹配准确度,使目标追踪更加稳定。试验结果表明:在构建的CP dataset数据集上,改进后的YOLO v7网络的均值平均精度mAP达到了97.4%,算法的跟踪准确性MOTA和跟踪精度MOTP分别达到了95.74%和94.26%。

基于GLMB滤波的复杂场景下红外弱小目标自适应跟踪算法

针对红外弱小目标在复杂场景下受到漏检和杂波影响,导致跟踪不连续甚至失效的问题,本文提出一种红外弱小目标自适应跟踪算法。在预处理阶段,为了减少不必要的计算,首先定义一种衡量图像复杂度的算法。然后该算法通过计算红外图像多个特征得到场景复杂度来确认场景类型,再根据场景类型选取对应的检测算法提取目标候选位置、灰度以及局部直方图等特征建立对应的量测模型与似然函数。在目标跟踪阶段,为了自适应地匹配广义标签多伯努利(Generalized Labeled Multi-Bernoulli,GLMB)滤波器的滤波参数,在GLMB的基础上提出一种适应视频图像的新生算法进行航迹起始;针对红外图像序列目标检测概率未知的情况,将未知检测概率的基数化概率假设密度(Cardinality Probability Hypothesis Density,CPHD)滤波器集成到GLMB中实时估计目标检测概率以提升跟踪精度。仿真结果表明,所提出算法能有效地排除量测漏检和虚警的干扰,跟踪不同红外复杂场景下的弱小目标。

基于MR混合现实的足球机器人目标跟踪仿真

机器人跟踪足球时,由于目标具有较强的运动随机性,且较小的目标尺度增大了跟踪框的自适应跟踪难度,目标跟踪时会将很多背景信息包含在内,导致目标模型的更新错误。为此,提出基于MR混合现实的足球机器人目标跟踪方法。构建MR混合现实平台,令足球机器人在虚拟现实场景下完成人机交互,在保证目标跟踪安全性的同时提升目标跟踪性能;采用帧差法获取目标模型,利用投影法对二值图像投影,并对差分图像滤波,以此获取足球机器人在目标模板区域及候选目标区域中的直方图。基于此,更新足球机器人目标模型,实现基于MR混合现实的足球机器人目标跟踪。实验结果表明,当跟踪误差阈值为0.8mm时,研究方法的目标跟踪准确率和成功率均可达95%以上,平均耗时为55.17ms。当足球目标出现遮挡问题时,该方法仍能完成高精度跟踪。

紧凑型地波雷达目标检测跟踪一体化实验平台

紧凑型地波雷达检测目标时回波信噪比低。应用传统的先检测后跟踪方法进行目标探测时,弱目标回波容易淹没在杂波和噪声中,出现弱目标漏检和虚假点迹误检,导致跟踪时易发生航迹断裂、误跟踪等现象,影响目标跟踪的连续性。为提升紧凑型地波雷达对海上运动目标的长时跟踪能力,建立检测器与跟踪器之间的信息动态交互机制,提出一种紧凑型地波雷达目标检测跟踪一体化方法。实验结果表明,与先检测后跟踪方法相比,所提方法跟踪得到的平均航迹时长增加了17.52 min。结合工程应用需求,在Matlab R2018b环境下开发了紧凑型地波雷达目标检测跟踪一体化实验平台,为紧凑型地波雷达海上目标探测实验测试提供了平台支撑。

稀疏约束与时间一致的背景感知相关滤波目标跟踪

背景感知滤波算法通过循环移位采集真实负样本,有效解决了边界效应.但在复杂场景例如遮挡、快速移动、背景干扰等,其较大的采样区域导致过多背景在杂波干扰,从而影响跟踪效果.针对这一问题,本文首先提取灰度HOG特征与颜色CN特征来提高目标外观模型,在基准目标函数基础上引入L1稀疏正则约束形成弹性网络以自适应筛选关键特征,增强滤波器在复杂背景下的判别能力.同时针对BACF在跟踪过程中目标快速变化,本文引入时间正则项提高滤波器抑制畸变的能力.最后,本文提出了一种独立的尺度滤波器算法,准确提供目标尺度大小.实验仿真结果表明,在公开数据集OTB-2013和OTB-2015上,本文算法较基准算法有很大提升,能够较好应对不同复杂场景下的跟踪难题.

双重响应异常约束的无人机目标跟踪

针对无人机跟踪目标易受视角变化、部分遮挡、背景杂波等因素影响而难以完成对目标的鲁棒跟踪问题,提出一种双重响应异常约束的无人机目标跟踪算法。首先,通过计算局部响应变化向量和全局响应峰值旁瓣比,在线动态更新空间正则化参数,降低边界效应的影响;其次,针对STRCF算法中的时间正则项的参数固定的问题,提出响应异常峰值判断机制,计算次峰响应系数,并将其融合到时间正则化参数上进行实时更新,避免目标模板变异造成跟踪漂移问题;目标函数通过交替方向乘子法迭代求解最优解。在UAV123、UAV20L和DTB70三个无人机数据集上与代表性的目标跟踪算法进行大量实验,结果表明,在UAV123数据集上的精确度达到71.7%,在DTB70数据集上的跟踪平均速度达到48.3帧/s。本文结果与现有相关滤波类无人机目标跟踪算法相比表现较好,具有较高的实时性和鲁棒性。