CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

多特征融合的无人艇视觉目标长时相关鲁棒跟踪

[目的]针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。[方法]首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。[结果]实验结果表明,相较于传统的长时相关跟踪算法,平均成功率提升15.7%,平均距离精度指标提升30.3%,F-Score指标提升7.0%。[结论]所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。

面向对海监视的舰船目标跟踪与航迹融合数据集

对海监视中航迹实时关联与轨迹融合任务是安全防控、区域态势监视、远程精确打击等军民应用领域的热点和难点问题,高质量的数据集对推动目标跟踪与融合技术在该领域的研究有重要作用。本研究针对目标跟踪与融合领域技术研究的数据需求以及目前公开数据集所存在的数据缺乏、场景设计针对性差、数据格式单一、数据描述不全等问题,通过仿真软件对复杂场景中多传感器多目标探测数据进行仿真,提供了一套面向典型对海监视场景(以舰船为探测对象的2D雷达与侦察传感器﹝ESM﹞)的目标跟踪与航迹融合数据集。其中仿真软件包括剧情发生器和传感器模拟器两部分,是一套成熟的目标跟踪场景仿真环境,提供逼真的探测数据模拟能力。本数据集涵盖的传感器对象包括2D雷达与侦察传感器,目标包括典型的海上舰船类别,并支持携带辐射源配置,设计了高速运动、密集交通、多传感器数据融合、特定舰船侦测和交叉定位等多种典型场景。本数据集中共包含368155条目标点迹,舰船数量为101条,时间范围15000秒,数据格式符合实际设备上报情景、探测误差模型符合实际。本数据集通过对数据误差进行正态性检验、对检测率、虚警率的场景检验以及实地调研,完成了对数据的准确性评估与数据完备性控制,可为舰船目标跟踪、轨迹融合等算法研究与验证提供基础数据。

多特征融合的无人艇视觉小目标鲁棒跟踪

[目的]针对低特征分辨率、相似环境信息引起的无人艇视觉小目标跟踪混淆问题,提出一种多特征融合的连续卷积算子跟踪算法。[方法]首先,采用双三次插值技术,提高多特征图分辨率,实现亚像素级定位;其次,利用特征投影和生成样本空间,提高目标跟踪的效率,避免滤波器过拟合;最后,设计高置信度模型更新策略,解决相似环境信息对滤波器的干扰问题。[结果]结果表明:相较于传统的连续卷积算子跟踪算法,平均成功率提升17.4%,平均距离精度指标提升17.8%,期望平均覆盖率提升5.1%。[结论]该算法法能够处理海洋环境下的小目标跟踪混淆问题,为提升无人艇及海洋机器人的智能感知能力,提供关键技术支撑。

面向目标跟踪的多传感器数据融合研究综述

随着现代目标跟踪场景的日益复杂化,单一传感器探测系统已无法满足目标跟踪的实际需求,多传感器数据融合技术成为复杂场景下目标跟踪问题的重要解决方案。本文综述了多传感器数据融合中的数据关联和估计融合这两项关键过程的基本原理与研究现状,整理了神经网络、强化学习等人工智能技术在多传感器数据融合领域应用的相关研究,并对多传感器数据融合方法在目标跟踪领域的发展进行了展望。

基于多重注意力机制与响应融合的孪生单目标跟踪算法

针对孪生全卷积网络的单目标跟踪算法因无法提取到目标的高层语义特征和无法一次性集中关注并学习到目标的通道、空间及坐标特征导致在复杂场景下面临目标形变、姿态变化及背景干扰等挑战时,出现跟踪性能下降以及跟踪失败的问题,提出了一种基于多重注意力机制与响应融合的孪生网络单目标跟踪算法用来解决这一问题。在该算法中设计了小卷积核与跳层连接特征融合的深层骨干特征提取网络、改进型注意力机制及卷积互相关后的响应融合运算这3个模块用来提升该算法的跟踪性能,并通过消融实验验证了这3个模块的有效性。最后,经在OTB100基准数据集上测试,跟踪精确度达到了0.825,跟踪成功率达到了0.618。同时与其他先进算法进行对比,结果表明该算法不仅可以有效应对复杂场景下目标跟踪算法性能下降的问题,还可以在保证跟踪速度的前提下,进一步提高跟踪的精度。

基于注意力机制的特征融合孪生网络目标跟踪算法

提出一种基于注意力机制的特征融合孪生网络目标跟踪算法。针对目标跟踪算法特征提取网络深度较浅导致特征鲁棒性不足的问题,使用改进后的ResNet-50网络提取模板帧和搜索帧图像的深层和浅层特征,并利用通道和空间注意力机制对提取得到的深浅层特征进行融合。针对目标跟踪算法仅使用首帧图像作为模板导致模板失效、跟踪漂移等问题,在传统孪生网络中增加一条模板分支以将首帧和搜索帧前一帧图像共同作为目标模板。与传统经典的跟踪方法相比,提出的算法在OTB100和VOT2016数据集的相关实验获得了最佳的性能表现,验证了提出算法的有效性和可行性。

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。

激光雷达融合机器视觉的物流分拣多目标视频跟踪

为了实现物流分拣多目标精准跟踪,提出一种激光雷达融合机器视觉的物流分拣多目标视频跟踪方法。通过激光雷达采集检测环境内的点云数据,并对其滤波处理。将机器视觉采集的物流分拣视频去噪,采用Sobel边缘检测算子检测去噪后的图像边缘,引入分裂合并算法对去噪图像展开多区域分割处理,获取比较明显的多目标视频区域。利用透视变换原理对图像数据融合处理,实时确定目标位置,实现物流分拣多目标视频跟踪。经过实验测试证明,所提方法的物流分拣多目标视频跟踪结果准确率超过95%,且延误时间控制在13 ms以内。

基于双分支在线优化和特征融合的视频目标跟踪算法

针对D3S算法对跟踪目标的判别能力不足的问题,提出了一种基于双分支在线优化和特征融合的视频目标跟踪算法。首先,构建双分支的在线优化分类器,实现对目标的二次定位,得到更准确的目标位置响应图;然后,在特征层上实现响应图与搜索特征的融合,并通过encoder模块促进融合过程,进一步突出跟踪目标的特征;最后,通过encoder模块实现模板特征的更新,拟合特征间的差异,提高分割模块的判别能力。在VOT2018和UAV123数据集进行实验,改进后算法与原算法相比,在VOT2018数据集上EAO提高了2.9%,在UAV123数据集上成功率提高了2.4%,准确率提高了2.9%。实验结果表明,本文方法提高了算法的判别能力,并且进一步提升了精度和鲁棒性。

多级Transformer特征融合的三维点云目标跟踪

三维点云目标跟踪的过程中时常会出现遮挡、稀疏性和随机噪声等问题。为了解决这些问题,提出了一种新颖的多级Transformer特征融合的三维点云目标跟踪方法。该方法主要由点注意嵌入模块和点注意力增强模块组成,且这两个模块分别用于特征提取和特征匹配的过程中。通过将两个注意力机制相互嵌入构成点注意力嵌入模块,并将其和PTTR所提出的关系感知采样法融合,实现充分提取特征的目的。将提取到的特征信息输入点注意力增强模块中,通过交叉注意力机制对不同层次的特征依次匹配,达到全局特征和局部特征深度融合的目标。为了获取判别性特征融合图,利用残差网络的方式对不同层的融合结果进行连接。将特征融合图输入目标预测的模块中,实现对最终3D目标对象的精准预测。在KITTI数据集、nuScenes数据集和Waymo数据集上的实验验证了该方法的有效性。若不计小样本数据,在目标跟踪的成功值中该方法平均提高了1.4个百分点,在跟踪的精确值上也提高了1.4个百分点。

融合时空信息的Transformer单目标跟踪算法

目前,主流的基于孪生网络的单目标跟踪方法,通过计算模板与搜索区域之间的相似度来匹配目标,缺乏对目标时空状态信息的利用。特别是当场景中存在多个相似目标时,孪生网络跟踪器往往无法精确区分目标,从而导致跟踪错误。针对上述问题,提出一种融合时空信息的Transformer单目标跟踪算法(SIFTransT)。该算法通过MixFormer(end-to-end tracking with iterative mixed attention)跟踪器获取初步的跟踪结果,设计了一个目标状态计算模块,用于计算并存储目标的状态信息,包括目标位置、边界框、速度、加速度、运动方向等,以此深入挖掘目标状态信息。构建了一个基于Transformer的时空信息融合模块,利用编码器的自注意力和解码器的交叉注意力,深入融合目标最近一段时间的状态信息,从而更加准确地对目标状态进行建模,提高目标跟踪的准确性。在LaSOT数据集上的实验结果表明,相比基准算法MixFormer,SIFTransT算法在AUC指标提高了2.8个百分点,PNorm指标提升了2.6个百分点,P指标提升了2.1个百分点,在搭载RTX8000显卡的服务器上平均每秒处理帧数达28帧。

基于特征融合的轻量化巡飞弹目标跟踪算法

针对巡飞弹平台上的视觉目标跟踪算法,开始引入深度学习思想,但是受到硬件平台算力限制的影响,提出一种轻量化的基于深度学习的孪生网络框架,在较低计算量的情况下保证巡飞弹的跟踪性能。根据IOU质量评估分支和回归分支结构,提出了一种新的特征融合方式。通过1×1卷积调整特征层通道数,控制通道数比例,对不同特征层的通道按比例进行深浅层特征拼接,用于后续的特征融合模块。在特征拼接前,引入特征合并的方法来获得有不同感受野的融合特征,进一步提高特征分辨率。将提出的新特征融合方式和特征合并方式进行纵向与横向的特征融合,充分利用特征属性,提高算法性能。根据巡飞弹硬件平台的属性限制,框架采用轻量化的AlexNet网络作为骨干网络。在OTB100、GOT-10K、UAV123三个数据集上测试,框架整体以160 fps的帧率保证了较高准确度和成功率。在满足巡飞弹特殊工作环境的基础上,实现了较为先进的跟踪性能。整体框架相对简单且性能较高,有较好的跟踪实时性,可加入其他模块来进一步提升跟踪性能。

基于自适应尺度变换与特征融合的目标跟踪

针对传统核相关滤波算法在目标被遮挡或发生运动模糊时跟踪效果不佳的情况,为了达到运动目标的实时稳定跟踪,提高跟踪系统的精度和成功率,提出一种基于核相关滤波的具有尺度自适应和特征融合的目标跟踪方法。首先在特征提取过程中,通过在原有的方向梯度直方图特征后添加颜色特征来提高目标特征的识别能力,即将HOG特征与CN特征相融合,然后构建尺度金字塔来进行尺度估计以达到目标的尺度自适应,最后通过多峰值检测机制实现模型的更新。通过在OTB2015数据集中进行测试,算法的精确率和成功率有了进一步提升,该算法能够准确地识别出目标,并对目标进行有效跟踪。

多特征融合目标跟踪算法研究

针对目标跟踪过程出现的遮挡、目标形变、复杂场景等挑战,提出了一种结合记忆机制的精确度较高的视觉目标跟踪算法。该算法首先对目标初始化,提取目标的HOG特征、纹理特征以及CN特征构建特征模型,弥补了单一特征可能造成跟踪不准确的问题。然后将模型和构建的滤波器进行相关滤波操作得到目标搜索区域的最大的响应位置,在后续的视频帧中采用包含了瞬时、短时、长时记忆空间的三层旋转圆记忆模型对目标模板进行更新,有效的增强了算法的跟踪能力。最后在OTB50、TC128、OTB100实验基准数据集上表明,与提到的KCF、DCF_SC、MOSSE_CA、SAMF_AT、STAPLE_CA算法进行对比,该算法在精度和准确度方面提高了,能够较准确的对目标进行跟踪,在目标跟踪领域具有重要的研究价值。

多平台异构信息融合的航空目标跟踪算法

该文以高空无人机(UAV)飞艇载双光电传感器,无人机载两坐标雷达对航空目标的精确定位跟踪为研究背景,针对参与融合的传感器均无法独立获得目标位置信息导致传统点迹关联、定位方法失效等问题,提出一种基于多平台异构信息融合的航空目标跟踪算法。首先,在坐标系转换的基础上提出基于角度-距离两级点迹关联算法,从而实现多传感器量测关联。其次,提出基于线面交汇融合定位算法,通过最小二乘法、交汇点投影、距离最近点解算及同源数据压缩确定目标的航迹起始位置。在此基础上,利用空基多平台侦察的异构信息,结合传统无迹卡尔曼滤波器(UKF)设计扩维UKF对航空目标进行跟踪。仿真结果表明,该算法实现了对航空高速目标的高精度跟踪。

多特征融合的抗干扰目标跟踪算法研究

针对目标跟踪在遮挡和背景复杂等干扰导致的准确率较低的问题,提出了一种多特征融合的目标跟踪算法。算法采用加权系数的方法将HOG特征、CN特征和ULBP特征自适应的融合各个特征分量信息,对检测到的遮挡目标进行加权滤波重定位,以自适应模型更新策略解决跟踪目标在遮挡时导致的跟踪模板被污染的问题。在公开数据集OTB100上进行了实验验证,与传统KCF跟踪算法对比,上述算法在精确度和正确率分别提升了16.2%和14.9%,证明了上述算法可以更加准确的完成跟踪任务。

融合运动信息的双机制多目标跟踪方法

多目标跟踪方法旨在对多个运动目标进行检测、识别和轨迹跟踪,被广泛应用于智能交通系统、视频监控领域。针对多目标跟踪中因遮挡目标导致的跟踪不连续、失败和错误等问题,提出了融合运动信息的双机制多目标跟踪算法。在已有的DeepSORT框架中,引入一种基于类别检测置信度和运动轨迹置信度相结合的轨迹评分机制,解决因遮挡导致的目标漏检问题。在目标跟踪阶段,根据多目标间的遮挡关系引入了特征柔性融合机制,可有效地融合目标的外观特征和运动特征,解决因遮挡导致的目标跟踪错误问题。采用交通场景数据集UA-DETRAC进行对比实验和消融实验,结果证明所提出的轨迹评分机制和特征柔性融合机制能够有效提升目标跟踪性能,在多目标跟踪准确度和精确度方面分别提升了0.6%~1.1%和1.9%~6.3%,在对象标识变换方面下降了27%~30%,所提出的方法有效地提高了DeepSORT的整体性能,具有较好的抗遮挡能力。

高分辨毫米波雷达与摄像融合目标跟踪方法

为提高雷达感知对抗领域的雷达光电目标感知能力,针对高分辨毫米波雷达与摄像融合目标跟踪算法进行研究。针对单传感器性能局限与现有雷达光电融合跟踪鲁棒性较弱的问题,提出一种高分辨毫米波雷达与摄像信息融合策略的目标跟踪算法。首先对毫米波雷达与摄像目标跟踪结果进行信息时空同步,然后在决策级层面采用自适应阈值匹配方法实现目标匹配,按设定的信息融合策略实现传感器信息优势互补。最后结合反馈机制,采用毫米波雷达和摄像检测跟踪一体化方法提高融合跟踪的鲁棒性。大量实测实验表明,所提算法跟踪准确率高于单传感器方案和经典雷视决策级融合方案,且对目标跟踪连续性、鲁棒性具有明显性能改善。

基于多传感器融合的目标检测跟踪系统设计

针对自动驾驶车辆自动跟踪人员及车辆行驶过程中的目标检测和跟踪问题,提出基于多传感器融合的目标信息检测及信息融合处理方案。利用车辆内置的三种类型的传感器,相互弥补不同工况下识别性能不足的同时,通过二维卷积网络等方法识别不同传感器获取的信息,采用关联方法将不同传感器信息进行融合识别,确保在不同工况下均可识别目标物。通过提出的多传感器融合方法,车辆在结构化道路以及越野道路工况下,可以通过不同传感器的优势互补,实现不同目标的检测和跟踪功能。