光谱信息扩展的单目标跟踪技术研究进展

基于可见光图像的单目标跟踪方法经过多年发展,取得了卓越的成效。然而,在低照度、杂乱背景、相似目标干扰等场景时,这类方法的目标表征具有明显的限制。与此相比,热红外图像和多光谱图像提供了热辐射和光谱特性,为目标跟踪技术提供了光谱信息的扩展。基于可见光-红外RGB-T(RGB-Thermal)和多光谱图像的单目标跟踪技术已经取得了一定的进展,然而目前仍缺乏一个全面的综述文献。因此,本文对光谱信息扩展的单目标跟踪技术进行了全面的回顾与分析。首先,本文梳理并总结了光谱信息扩展的目标跟踪框架。在此基础上,详细讨论了基于RGB-T图像的目标跟踪改进方法,包括特征融合策略的设计、先验挑战属性的利用和高质量特征的生成。同时,从多光谱跟踪方法的传统模式、谱段选择策略的构建、多光谱特征的高效表达和适用于多种成像设备的模型设计四个方面,全面阐述了基于多光谱图像的目标跟踪方法的改进策略和方法优势。此外,本文汇总了目前RGB-T和多光谱图像的单目标跟踪数据集和评价指标,对比了不同跟踪算法在这些数据集上的性能表现。最后,探讨了光谱信息扩展的单目标跟踪技术的未来发展趋势,强调了构建大规模数据集、发展多光谱数据的预训练模型、充分表达光谱维度信息、理解红外及高光谱图像数据分布和大模型与目标跟踪技术结合作为未来研究的热点和难点,旨在为该领域的研究人员提供参考和启示。

水下弱目标跟踪的深度学习方法研究

针对水下弱目标跟踪受干扰和噪声影响容易出现量测丢失或偏差,导致传统Kalman滤波方法跟踪误差显著增加甚至出现发散的问题,为此提出一种基于神经网络的目标跟踪方法,利用深度神经网络解决不同运动模式下目标方位跟踪的问题。水下目标跟踪的神经网路模型可通过运动模型生成大量量测数据进行充分训练,有效解决水声目标数据少、标记样本不足的问题;在量测不连续条件下,提出一种新的损失函数用于增强目标跟踪模型的稳健性;对未学习的仿真数据及实测海试数据进行测试。研究结果表明:构建的卷积神经网络(Convolutional Neural Network,CNN)模型适用于3种不同运动模式下的目标,能在平台静止和运动两种情况下稳定跟踪目标;CNN模型较传统Kalman滤波方法跟踪误差分别降低了7.75°和1.41°,验证了该模型的稳健性和可推广性。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

基于联合GLMB滤波器的可分辨群目标跟踪

针对联合广义标签多伯努利(joint generalized labeled multi-Bernoulli, J-GLMB)滤波算法中群目标之间距离较近、容易关联错误的问题,结合超图匹配(hypergraph matching, HGM)提出一种基于HGM-J-GLMB滤波器的可分辨群目标跟踪算法。首先,采用J-GLMB滤波器估计群内各目标的状态、数目及轨迹信息,并利用HGM结果提升量测与预测状态之间的关联性能。其次,通过图理论计算邻接矩阵,获取群结构信息和子群数目。随后,利用群结构信息估计协作噪声,进而校正目标的预测状态。最后,通过平滑算法改善滤波效果,并设置轨迹长度阈值,使其在平滑状态达到消除短轨迹的目的。仿真实验表明,所提算法在线性系统下能有效提升群目标跟踪性能。

稀疏约束与时间一致的背景感知相关滤波目标跟踪

背景感知滤波算法通过循环移位采集真实负样本,有效解决了边界效应.但在复杂场景例如遮挡、快速移动、背景干扰等,其较大的采样区域导致过多背景在杂波干扰,从而影响跟踪效果.针对这一问题,本文首先提取灰度HOG特征与颜色CN特征来提高目标外观模型,在基准目标函数基础上引入L1稀疏正则约束形成弹性网络以自适应筛选关键特征,增强滤波器在复杂背景下的判别能力.同时针对BACF在跟踪过程中目标快速变化,本文引入时间正则项提高滤波器抑制畸变的能力.最后,本文提出了一种独立的尺度滤波器算法,准确提供目标尺度大小.实验仿真结果表明,在公开数据集OTB-2013和OTB-2015上,本文算法较基准算法有很大提升,能够较好应对不同复杂场景下的跟踪难题.

基于改进YOLOX与多级数据关联的行人多目标跟踪算法研究

目标跟踪是计算机视觉领域的基本问题,行人多目标跟踪在智能监控、智慧交通等多个领域有着广泛的应用前景。然而实际跟踪场景中存在频繁遮挡、尺度变化等情况,给多目标跟踪算法带来了极大的挑战。为了进一步提升跟踪精度,在DeepSORT的基础上,提出一种基于改进YOLOX与多级数据关联的行人多目标跟踪算法。对于检测器,为了增强网络的特征表达能力,提高检测精度,在YOLOX骨架网络与颈部网络分别引入ECA通道注意力模块与ASFF自适应特征融合模块。对于身份识别特征,为了减少数据关联步骤的错误匹配数量,提高跟踪效率,使用轻量的OSNet重识别网络与NSA卡尔曼滤波获取目标特征。对于数据关联,为了减少身份切换次数,避免目标丢失,将检测与跟踪都进行分类处理,使用不同的相似性计算方法,实现基于检测置信度与轨迹状态的多级数据关联。实验结果表明:与改进前YOLOX与DeepSORT简单结合的算法相比,在YOLOX中引入ECA模块与ASFF模块使误检数量大幅降低,使用YOLOX-s模型时降幅可达17%;结合OSNet模型与NSA卡尔曼滤波的特征提取方法能提高跟踪稳定性,IDF1指标提高0.77%,IDSW减少947;基于检测置信度与轨迹状态的多级数据关联算法可以明显改善跟踪性能,MOTA指标提升3.36%。算法最终在MOT17与MOT20测试集上的MOTA达80.4%与77.7%,IDF1达78.4%与76.7%。提出的行人多目标跟踪方法相较于其他先进算法在跟踪精度与跟踪速度上达到更好的平衡,可为工业上在线行人多目标跟踪应用提供参考。

基于相机运动估计的改进ECO多目标跟踪器设计

由于运动模型采用线性假设,使得多目标跟踪(multiple object tracking,MOT)在动态场景下容易受到相机运动和随机抖动的影响,导致跟踪错误。为解决上述问题,设计了一种相机运动感知滤波多目标跟踪器(camera motion aware filter multi-object tracker,CMAFT)。首先提出一种新模型,将相机运动估计和单目标跟踪(single object tracking,SOT)的区域搜索特性相结合,以补偿由相机运动引起的偏移并提高预测的准确度;其次针对该模型提出一个改进的级联匹配方法,通过融合SOT预测以处理不同目标间的相互遮挡和身份切换问题;最后在MOT17数据集上进行实验以验证提出方法的有效性。

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。

BEVTrack:基于难例挖掘训练的端到端三维多目标跟踪方法

多目标跟踪已经成为自动驾驶系统中的一个关键组成部分,其目的是在连续的视频流与点云流中识别、定位并标识所有感兴趣的目标。目前三维多目标跟踪方法多依赖人工多阶段调参以保证整体跟踪性能,难以对复杂遮挡或运动进行有效建模。而现有的三维端到端多目标跟踪方法,如MUTR等,精度普遍较低。其核心原因为三维空间中的特征聚合和感知相对于二维图像更具挑战性,简单的网络难以实现复杂的三维特征聚合,并大量的噪声信息与难例信息干扰严重,影响模型的特征提取能力。针对以上问题,本文提出了一种基于难例挖掘训练的端到端多目标跟踪框架BEVTrack。针对三维特征关联问题,本文设计了基于鸟瞰图(BEV)位置编码的三维跟踪查询。通过基于BEV特征的三维跟踪查询,本文方法能够更好地将跟踪查询与实际三维特征进行有效关联,从而大幅度提升了跟踪精度。同时,模型依靠BEV数据进行特征关联,仅需轻量化的网络便可以实现快速有效的跟踪。针对数据噪声问题,本文提出了面向多目标跟踪的难例挖掘训练,通过针对检测难例与跟踪难例分别处理,训练模型去除检测错误噪声与跟踪匹配的能力,从而提升在真实场景下模型处理噪声信息与难例干扰的能力。在实验结果方面,基于Nuscenes数据集,我们进行了大量的对比实验与模型消融实验,实验结果证明本文的方法在该数据集上取得了领先的性能。

基于状态可观测性和多模态数据PF的移动目标跟踪

为了实现对移动目标的跟踪,提出了一种新颖的基于目标状态可观测性和多模态数据粒子滤波(Particle Filter,PF)的跟踪方案。通过部署在目标移动区域中的传感器获得跟踪目标的距离和到达方向测量值,对接收到的数据进行预处理来计算PF的观测值,以形成一个临时距离图像。通过利用状态更新函数和形成的候选图像模板确定目标状态向量;在PF器中加入额外的加权阶段,使得PF器可自适应地同步多模态数据流,以实现鲁棒的目标跟踪。仿真实验结果验证了所提方案能够有效地跟踪移动目标。

基于随机有限集滤波器的可分辨群目标跟踪技术研究综述

群目标跟踪在救灾搜救、海陆防御和战场作战等领域展现出广阔的应用前景。与传统多目标跟踪不同,群目标跟踪不仅涉及对多个个体目标的跟踪,还涉及对一个群体目标的跟踪。在群体中各个子目标需要同步运动以避免碰撞,同时群体中的子目标数量和群结构还将随着时间推移而改变。根据子目标数量和传感器分辨率的不同,群目标跟踪问题包含可分辨、不可分辨、部分可分辨以及部分不可分辨群目标跟踪等多个类别。其中,可分辨群目标跟踪问题需要同时对群体结构、群内子目标交互和数目进行估计。现有研究主要关注基于传统数据关联和随机有限集滤波器的可分辨群目标跟踪方法,其中,基于随机有限集滤波器的方法通过将多个目标状态联合建模成随机有限集,缓解了数据关联问题,从而可更好地适应跟踪场景。为更好地展示群目标跟踪方法的研究进展,综述了近年来基于随机有限集滤波器的可分辨群目标跟踪的若干代表性方法,包括基于多目标多伯努利滤波器、基于标签随机有限集滤波器和基于泊松多伯努利混合滤波器的群目标跟踪方法。这些方法在处理可分辨群目标跟踪问题时展示出了显著的优势。最后,探讨了存在的问题和未来的发展方向。

驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法

基于相机传感器的多目标跟踪算法是自动驾驶的重要组成部分。驾驶场景下,基于交并比进行前后帧关联的方案一直存在大量的身份切换,此现象在对向来车以及自车转弯时更加明显。本文将目标在二维平面上的运动速度作为扩展匹配空间的变量,设计了基于目标速度变化的交并比算法:Velocity IoU,从而优化前后帧目标关联。同时,使用自监督的外观模型提取不同目标的外观特征编码。基于上述的运动模型以及外观模型,提出了一种互补的关联策略,最终实现驾驶场景下多类别多目标跟踪。在BDD100K上验证了该方法,对应mMOTA为45.2,mIDF1为55.2,IDs为8793,优于大部分跟踪算法。

基于Transformer复杂运动辨识的机动星凸形扩展目标跟踪方法

针对复杂的机动扩展目标跟踪问题,利用Transformer网络设计了一种有效的星凸不规则形状机动扩展目标跟踪方法。首先,该文研究利用alpha-shape算法建立了星凸形状的变化模型,实现了静态场景下的星凸形扩展目标的形状估计。然后,通过对目标状态转移矩阵进行重新设计,结合Transformer网络对机动扩展目标运动状态转移矩阵进行实时估计,实现了对复杂机动目标运动过程的精准跟踪。进一步地,将估计得到的形状轮廓与运动状态进行融合,最终实现了对星凸形机动扩展目标的实时跟踪。最后,通过构造复杂的机动扩展目标跟踪场景,利用多重性能指标测试算法对形状和运动状态的综合估计性能,验证了算法的有效性。

扩展目标跟踪Student’s t逆Wishart平滑算法

脉冲干扰和离群量测信息等因素通常会导致异常的厚尾噪声,这使得以高斯假设为前提的扩展目标跟踪(ETT)估计器的性能急剧降低,针对该问题该文提出一种基于扩展目标随机矩阵模型(RMM)的Student’s t逆Wishart平滑(StIWS)算法。首先,将目标的运动状态以及过程噪声和量测噪声建模为Student’s t分布以表征异常噪声对扩展目标概率分布的影响,将目标扩展状态建模为服从逆Wishart分布的随机矩阵。然后,在Student’s t贝叶斯平滑框架下,详细推导了能在扩展目标的多重特征动态演变的过程中有效估计目标状态的StIWS算法。最后,通过扩展目标跟踪的仿真实验结果和真实场景实验结果验证了所提算法的有效性。

面向对海监视的舰船目标跟踪与航迹融合数据集

对海监视中航迹实时关联与轨迹融合任务是安全防控、区域态势监视、远程精确打击等军民应用领域的热点和难点问题,高质量的数据集对推动目标跟踪与融合技术在该领域的研究有重要作用。本研究针对目标跟踪与融合领域技术研究的数据需求以及目前公开数据集所存在的数据缺乏、场景设计针对性差、数据格式单一、数据描述不全等问题,通过仿真软件对复杂场景中多传感器多目标探测数据进行仿真,提供了一套面向典型对海监视场景(以舰船为探测对象的2D雷达与侦察传感器﹝ESM﹞)的目标跟踪与航迹融合数据集。其中仿真软件包括剧情发生器和传感器模拟器两部分,是一套成熟的目标跟踪场景仿真环境,提供逼真的探测数据模拟能力。本数据集涵盖的传感器对象包括2D雷达与侦察传感器,目标包括典型的海上舰船类别,并支持携带辐射源配置,设计了高速运动、密集交通、多传感器数据融合、特定舰船侦测和交叉定位等多种典型场景。本数据集中共包含368155条目标点迹,舰船数量为101条,时间范围15000秒,数据格式符合实际设备上报情景、探测误差模型符合实际。本数据集通过对数据误差进行正态性检验、对检测率、虚警率的场景检验以及实地调研,完成了对数据的准确性评估与数据完备性控制,可为舰船目标跟踪、轨迹融合等算法研究与验证提供基础数据。

利用Transformer的多模态目标跟踪算法

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

基于轨迹预测增强的复杂场景多目标跟踪方法

以冬奥会的短道速滑比赛场景为例,针对短道速滑中运动员的目标外观差异性小、运动变化快、目标间遮挡频繁等运动特点,设计一个应用于短道速滑场景的多目标跟踪数据集,并提出一种基于轨迹预测增强的多目标跟踪方法.首先计算包围框交并比距离与外观特征余弦距离,联合判断检测响应与跟踪轨迹的相似性解决目标外观相似问题;然后通过跟踪轨迹的全局特征和运动线索恢复被遮挡目标丢失的信息,提高中断轨迹的重关联能力;最后根据检测先验控制新轨迹的初始化,减少噪声检测对轨迹跟踪中身份交换的影响.实验结果表明,与DeepSORT方法相比,所提方法在短道速滑场景中能够稳定地跟踪轨迹,有效地减少了轨迹中断,其中,IDF1提升21个百分点,MOT准确度提高14.3个百分点;该方法在目标差异性小、运动变化快的短道速滑场景中保证长期稳定跟踪,对多目标跟踪在复杂场景中的应用具有启发意义.

用于多目标跟踪的高斯混合轨迹预测模型

针对视频中目标之间的遮挡会增加轨迹关联难度的问题,提出了一种高斯混合轨迹预测模型来改善遮挡情况下的关联效果.该模型采用Transformer结构,从对象的历史运动信息中提取更长的时间依赖性,以便更准确地预测跟踪对象在未来的轨迹分布;同时,将模型的输出设置为高斯混合分布,采用多个高斯分布相加来定义跟踪对象在未来的轨迹分布,以利用轨迹分布来计算检测目标和跟踪对象之间的空间相似性.实验结果表明:该模型能够改善跟踪性能,在MOT17数据集上HOTA达到了56.3%.

非线性时间一致性的相关滤波目标跟踪

针对现有目标跟踪算法主要采用线性约束机制LADCF(Learning Adaptive Discriminative Correlation Filters)跟踪模型容易漂移的问题,提出非线性时间一致性的相关滤波目标跟踪算法。首先,结合史蒂文斯定律,提出贴近人类视觉感知特性的非线性时间一致项,使模型相对平滑地跟踪目标,从而保证跟踪连续性,避免跟踪模型漂移;其次,采用交替方向乘子法(ADMM)求解最优函数值,保证算法的跟踪实时性;最后,利用史蒂文斯定律非线性更新滤波器,使滤波器更新因子可以根据目标的变化增强和抑制滤波器,以适应目标变化,防止滤波器退化。在4个标准数据集上与主流相关滤波和深度学习算法对比实验,相较于基线算法LADCF,所提算法的跟踪精确度和成功率在OTB100数据集上分别提升了2.4和3.8个百分点;在UAV123上分别提升了1.5和2.5个百分点。实验结果表明,所提算法能有效避免跟踪模型漂移,降低滤波器退化概率,跟踪精确度和成功率较高,面对遮挡、光照变化等复杂场景时具有较强的鲁棒性。

天空地一体化多目标跟踪算法研究综述

为实现全时全域“泛在连接”,构建天空地一体化网络已成为国家重大需求,而基于天空地一体化网络下跨域协同系统进行多目标跟踪是其中一个重要的发展方向,其在军民用领域都极具应用价值。本文详细阐述了天空地一体化网络背景下多目标跟踪方法研究进展。首先,介绍了天空地一体化跨域协同多目标跟踪的研究背景与意义。其次,从基于视觉的多目标跟踪、基于模型的多目标跟踪和基于多模态融合的多目标跟踪三个方面概述了当前的代表性研究方法:在基于视觉的多目标跟踪算法方面,介绍了单摄像头和多摄像头融合的多目标跟踪方法;对于基于模型的多目标跟踪,先介绍了单传感器多目标跟踪方法,以及在多种复杂场景下的改进,然后介绍了多传感器融合方法;在基于多模态信息融合的目标跟踪方面,在对多传感器时空配准方法和有代表性的多模态信息融合方法介绍的基础上,概括了基于多模态融合的多目标跟踪算法。最后探讨了当前存在的问题和未来发展方向:无论基于视觉的还是基于模型的多目标跟踪方法都有不少问题有待解决,特别是两种方法的结合值得深入研究;在面临复杂干扰时,基于多传感器信息融合的多目标跟踪由于能实现信息的互补,成为未来的主流发展方向;此外,跨域协同系统,由于能利用更多的资源和信息,其多目标跟踪问题研究极具价值,不过其中通信安全问题和多目标跟踪模型轻量化问题值得探讨。本文对从事目标跟踪及空天地一体化协同控制相关理论与技术研究的科研工作者具有重要参考价值。