基于改进UpdateNet的行人视觉跟踪算法

目前,基于孪生网络的跟踪器主要是把跟踪过程看作是目标模板分支和待检测区域分支的一种互相关计算,它能够在速度和精度方面达到一个良好的均衡。然而,在跟踪过程中当前帧模板是对前一帧累积模板的线性结合,目标遮挡的问题一直很难被解决。针对该问题,本文采用改进SiamRPN跟踪器并融合UpdateNet网络的方案实现对行人单目标的跟踪。首先利用改进SiamRPN网络模块生成线性模板,然后在此基础上融合UpdateNet网络生成更新模板并进行多阶段训练,最后根据数据集的评价指标选取最优参数模型完成行人跟踪任务。本文在基准数据集OTB2015和其子集上进行实验,实验结果表明,本文所采用的方法取得的效果相比原来方法有明显提升,精度和成功率分别提高2.1和1.6个百分点,而且保持了实时跟踪帧率,同时在解决遮挡问题方面超过了DaSiamRPN、SiamDW等先进方法.

Mean Shift跟踪算法创新实验项目设计

视频跟踪算法是计算机视觉实践课程中比较受关注的实验项目。针对突变情况下传统Mean Shift跟踪算法无法实时准确跟踪的问题,设计了基于模板更新和线性预估的Mean Shift跟踪算法创新实验项目。在模板更新策略下,引入背景模板,通过将原目标模板和背景模板与设定的阈值进行比较来对干扰因素进行判定,当干扰因素判定目标受到遮挡时,引入线性预估方程进行目标位置预测,有效解决目标在遮挡情况下跟踪丢失的问题。通过对测试视频的跟踪效果和性能进行对比分析,验证了算法在突变情况下相较于传统算法具有更好的抗干扰能力。以算法创新设计为核心,通过开放性创新实验项目的选题、设计、答辩、反馈的闭环实验过程,有效提高了学生算法创新设计能力。

基于近端策略优化模板更新的实时目标跟踪方法

基于孪生网络的目标跟踪算法往往采用第一帧的外观特征作为固定模板,难以应对目标外观剧烈变化等问题。为此,所提算法在孪生网络的基础上,引入深度强化学习,将模板更新问题建模为马尔可夫决策过程,采用近端策略优化算法进行优化,减少因目标外观变化带来的误差积累。针对孪生网络跟踪算法搜索域太小,无法全局搜索目标的问题,引入全局检测算法,找回丢失的目标。所提跟踪算法能够自适应更新模板和全局检测丢失的目标,在OTB数据集和GOT-10k数据集上进行测试,实验结果表明,该方法较代表性方法,具有实时性强和准确率高的优点,能够很好应对目标外观形变以及目标丢失。

基于Swin-Transformer改进的目标跟踪算法

基于STARK目标跟踪方法中采用ResNet为骨干网络,其特征提取能力不足,跟踪效果较差。针对此问题,本文基于Swin-Transformer网络,提出了一种改进的目标跟踪算法。首先,对Swin-Transformer内窗口注意力机制进行多尺度改进,设计多尺度窗口模块MW-MSA,旨在提取更为丰富的局部细节信息,与全局上下文信息共同构成多尺度判别性特征。接着,结合Transformer的编码-解码结构作为特征融合网络,采用优化的多层感知机作为更新分数判断网络构成状态感知模块。最后,针对目标消失、重现挑战,提出了一种多跟踪器融合方法。融合多尺度改进的跟踪算法和SuperDiMP跟踪算法,设计消失状态判断模块,综合考虑两种跟踪器的置信度分数及目标在预测框附近的可能性估计。实验结果表明,相较STARK跟踪算法,本文算法在GOT-10K数据集上的平均重叠率(AO)提升2.7%、成功率SR_(0.5)提高3.3%。在L-LaSOT数据集上,相较于STARK算法,成功率(AUC)提升0.8%,在目标消失重现挑战下成功率提升1%。

基于孪生网络的铁路复杂场景目标跟踪算法

在铁路交通场景应用环境下,目标跟踪易受背景杂乱、目标剧烈运动和尺度变换等因素影响,容易出现目标跟踪精度不够导致目标丢失的问题。因此,提出了一种基于孪生网络的铁路复杂场景目标跟踪算法。在特征提取阶段,采用一种对ResNet网络改进的CIResNet-22作为特征提取主干网络,将传统互相关替换为逐像素互相关;加入一种基于标准化的注意力机制,网络能够注重可靠特征的同时,弱化不可靠特征;根据平均峰值相关能量所反映的结果来判断跟踪结果是否可靠,并使用一种改进的UpdateNet子网络预测最佳模板作为参考模板。实验结果表明,在VOT2018和VOT2016以及OTB100这几个标准数据集上能够获得较好的跟踪效果。同时在自制的视频序列中进行跟踪序列测试,效果良好。

结合模板更新与轨迹预测的孪生网络跟踪算法

目标跟踪一直是计算机视觉领域中重要且富有挑战的问题。为克服目标形变、遮挡或快速移动等因素对跟踪性能的影响,笔者提出一种结合模板更新与轨迹预测的孪生网络跟踪算法。首先,在基于孪生网络跟踪模型中引入模板图像的自适应更新迭代机制,实现对目标表观变化的动态表征,以此提升目标形状或颜色发生变化时的跟踪性能。具体来说,通过对每一帧跟踪结果的分析,判断是否满足更新条件,设计了自适应模板更新的策略,有效地降低了目标模板被污染的可能性。其次,在目标跟踪过程中引入卡尔曼滤波,通过收集跟踪过程中目标位置信息并进行轨迹预测,将前一帧中跟踪算法预测的目标位置信息与轨迹预测的位置信息相融合,得到当前帧搜索区域的裁剪位置,进而实现了离线跟踪与在线学习的结合,进一步解决了目标被遮挡或者快速移动的问题。最后,在VOT2018和LaSOT数据集上验证了该算法在多种复杂场景下的性能表现。实验结果表明,所提算法的跟踪性能超过了大部分其他跟踪算法。

自适应博弈融合的记忆修复跟踪算法研究

针对跟踪任务中出现的目标遮挡和短暂消失等挑战属性,提出了一种结合记忆修复机制的特征博弈融合目标跟踪算法。首先,在核相关滤波器的框架下,提取目标的FHOG特征、SURF特征进行通道串联,再自适应博弈融合ResNet-50网络提取的Conv4-1层深度特征共同构建目标外观模型,避免跟踪算法的特征单一性。然后,改进模型更新策略,通过记忆修复神经元和记忆矩阵实现对特征信息的记忆、回忆和修复,完成遮挡或漂移视频帧的特征损失修复工作,使用修复完整的特征模板对核相关滤波器进行正确更新,提高算法对跟踪对象的辨识度。最后,在OTB100、TC128、UAV123实验基准数据集上与KCF、DCF_CA、SAMF、M2C2F和EMCF算法进行对比测试,实验结果表明改进算法的跟踪准确性和鲁棒性得到提高。

多特征融合目标跟踪算法研究

针对目标跟踪过程出现的遮挡、目标形变、复杂场景等挑战,提出了一种结合记忆机制的精确度较高的视觉目标跟踪算法。该算法首先对目标初始化,提取目标的HOG特征、纹理特征以及CN特征构建特征模型,弥补了单一特征可能造成跟踪不准确的问题。然后将模型和构建的滤波器进行相关滤波操作得到目标搜索区域的最大的响应位置,在后续的视频帧中采用包含了瞬时、短时、长时记忆空间的三层旋转圆记忆模型对目标模板进行更新,有效的增强了算法的跟踪能力。最后在OTB50、TC128、OTB100实验基准数据集上表明,与提到的KCF、DCF_SC、MOSSE_CA、SAMF_AT、STAPLE_CA算法进行对比,该算法在精度和准确度方面提高了,能够较准确的对目标进行跟踪,在目标跟踪领域具有重要的研究价值。

纵横比自适应的时空正则化相关滤波算法

在目标跟踪中,传统相关滤波算法无法感知运动目标尺度纵横比变化,且易受复杂环境影响导致跟踪失败。为此,提出了纵横比自适应的时空正则化相关滤波算法。首先,参考平均峰值相关能量(Average peak-to-correlation energy,APCE)和响应峰值对每个特征的响应图进行加权融合,以实现对目标的精确跟踪。其次,结合近正交性和空间正则化提出一种新的一维边界滤波器,通过定位目标包围框的四个边界位置实现对目标尺度和纵横比变化的自适应检测,有效抑制了边界效应带来的负面影响。最后,根据响应输出的峰值旁瓣比(Peak-to-sidelobe ratio,PSR)独立地调节各边界滤波器的学习率,防止模型退化。在OTB数据集上进行了测试,该算法表现出理想的跟踪效果,在各个挑战属性上相较于其他优秀算法均取得了更优结果。

改进孪生网络无人机跟踪算法在牛场中的应用

为了提高牛场无人机目标跟踪算法的实时性和鲁棒性,试验以无人机跟踪牛只图像为研究对象,提出了一种基于残差累积模板的轻型孪生网络(siamese tracker with residual accumulation template, SiamRAT)目标跟踪算法,即采用轻量级卷积网络MobileNetV2为特征提取网络及以锚框比率变化为契机的模板更新机制,提高了算法的实时性;采用高置信度残差累积模板和多峰欧式距离检测模块来解决因相似牛只干扰而产生的跟踪漂移问题;最后将SiamRAT算法与SiamRPN++、SiamDW、DaSiamRPN、SiamRPN、ECO-HC算法在由无人机采集牧场牛只视频制作的测试数据集和VOT2018数据集中相同属性视频构成的测试数据集上,以平均精确度、鲁棒性及帧率(frames per second, FPS)为指标进行性能比较,并分析改进模块(包括残差累积模板、高置信度更新和峰值距离检测3个模块的改进)对SiamRAT算法的贡献。结果表明:与SiamRPN++、SiamDW、DaSiamRPN、SiamRPN、ECO-HC算法相比,SiamRAT算法鲁棒性最优,平均精确度稍有下降,但仍处于所有算法的第二位;FPS较SiamRPN++算法有了较大提升,性能较优。改进模块的SiamRAT算法的鲁棒性和FPS有了较大提升,平均精确度达到了0.909。说明SiamRAT算法能够很好地适应于牛场无人机跟踪环境。

全局搜索和多实例判别特征的长时跟踪方法

长时目标跟踪相对于短时目标跟踪仍然是一个巨大的挑战.然而现有的长时跟踪算法通常在面对目标频繁出现消失、目标外观发生剧变等挑战中表现不佳.本文提出了一种基于局部搜索模块和全局搜索跟踪模块的全新、鲁棒且实时的长时跟踪框架.局部搜索模块利用TransT短时跟踪器生成一系列候选框,并通过置信度评分确定最佳候选框.针对全局重新检测开发了一个新颖的全局搜索跟踪模块,以Faster R-CNN为基础模型,在RPN阶段与R-CNN阶段引入非局部操作和多级实例特征融合模块,以充分挖掘目标实例级特征.为了改进全局搜索跟踪模块的性能,设计了双模板更新策略来提升跟踪器的鲁棒能力.通过使用不同时间点上更新的模板能够更好地适应目标的变化.根据局部或全局置信度分数判断目标是否存在,并在下一帧中选择局部或全局搜索跟踪策略.同时能够为局部搜索模块估计目标的位置和大小.此外还为全局搜索跟踪器引入了排名损失函数,隐式学习了区域提议与原始查询目标的相似度.通过在多个跟踪数据集上进行大量实验对提出的跟踪框架进行了广泛评估.结果一致表明,本文提出的跟踪框架实现了令人满意的性能.

一种改进的实时压缩跟踪算法

压缩跟踪算法作为一种新的算法,具有简单、高效、实时的优点,但该算法依然存在缺陷。首先,在复杂背景或有遮挡等情况下,容易较快的引进误差;其次,跟踪窗口保持不变,使得不能正确跟踪目标位置且不能准确更新正负样本;最后,搜索样本数目大,导致跟踪速度不理想。针对这些问题,利用前后帧跟踪点的直方图对比来判断遮挡的发生,并自适应的改变更新系数;采用在原算法最优匹配点周围小范围多尺度搜索更优位置的方法,来适应目标尺寸的变化;引入粗精跟踪策略,在不同阶段使用不同数量的子特征集进行匹配,以筛选样本、减少计算量。这些改进避免了算法缺陷导致的跟踪失败,提高了跟踪效率。实验证明,改进后的算法比原算法具有更好的鲁棒性且跟踪速度更快。

基于模板匹配的多模式车辆跟踪算法

动态目标识别与跟踪是计算机视觉研究的热点问题,为实现汽车辅助驾驶系统中复杂背景下多目标的稳定跟踪,提出了一种基于灰度图像模板匹配的多模式车辆跟踪算法。根据不同模式下车辆灰度图像的特点,分别采用目标边缘特征更新模板、切割分块模板和逆转模板实现了车辆在正常行驶、遮挡及边界条件下的稳定跟踪。算法应用于道路多个车辆目标跟踪提高了目标形变和遮挡情况下的跟踪鲁棒性,采用改进的金字塔加速算法提高了跟踪速度。

复杂背景下目标的快速提取与跟踪

为了实现复杂背景下对任意目标的快速提取与稳定跟踪,利用自适应空域滤波器进行目标区域分割,再用二次投影法快速分离目标,并以模板评价函数为准则实时更新模板,提出了一种新的模板提取与更新的方法。该方法具有模板自适应性强,目标判断准确,跟踪鲁棒性好等优点。外场实验表明,利用该方法能在目标变化和有物体遮挡干扰的情况下准确提取目标,并保持连续稳定的跟踪。

改进的mean shift目标跟踪算法

提出一种改进的均值偏移(mean shift,MS)目标跟踪算法,用于提高模板漂移和大面积遮挡情况下视觉目标跟踪算法的鲁棒性和准确性。首先判断目标是否存在遮挡现象,当遮挡未发生时,采用原始MS算法跟踪目标,利用选择性分量更新策略对目标模板进行更新,减少模板漂移的影响;当遮挡发生后,利用非对称核函数模型对候选目标模型进行矫正,降低遮挡像素点对MS矢量和目标跟踪稳定性的影响。实验结果表明,改进的跟踪算法对非刚性和大面积遮挡目标都能进行稳定的跟踪。

基于改进粒子滤波的视觉目标跟踪

针对目标跟踪算法在精度和鲁棒性上的要求,提出一种基于改进粒子滤波的视觉目 标跟踪算法.首先,建立多种特征来描述目标外观模型,并对各特征分量的加权系数进行自适 应调节;然后,利用分类重采样方法解决原始重采样方法中的粒子退化和匮乏问题;最后,提出 一种新的模板更新机制,自适应选取运动模板或原始模板.实验结果表明,改进后的算法在具 有挑战的跟踪视频序列上实验,具有良好的跟踪精度和鲁棒性,能够应对视频图像分辨率不 高、目标转动变化、部分遮挡等复杂条件.

基于Mean Shift算法的运动平台下红外目标跟踪

运动平台下,图像的运动包括目标、背景和平台的运动。复杂的运动关系,加上运动平台下成像质量差,增加了目标跟踪的难度。提出了一种有效的运动平台下前视红外(FLIR)成像目标跟踪算法。对于每一个被检测出的目标,计算灰度和局部标准差的分布,通过计算Mean Shift向量,最小化当前帧目标与模板的核密度分布,实现对目标的跟踪。采用自动更新模板的策略克服目标特征分布发生改变的问题,该策略同样取决于得到的模板与目标分布相似性度量。实验仿真证明,该算法能有效地、准确地跟踪红外成像序列中的运动目标,计算量小,可以满足实时性要求高的场合。

Kalman滤波融合优化Mean Shift的目标跟踪算法

目标跟踪中,目标的背景变化、形状改变、遮挡,往往会导致跟踪失败,而跟踪的实时性和准确性是必须考虑的问题。本文首先对Mean Shift算法进行了介绍,接着对Mean Shift算法进行了优化:修正Mean Shift算法迭代权值,修正后主要信息贡献更加突出,次要信息受到抑制,避免了开方的繁琐运算,降低了运算量。提出了目标模板更新算法,解决了背景变化和目标形状改变时跟踪失败的问题。然后在水平位置和竖直位置建立Kalman滤波器,同时将优化Mean Shift算法与Kalman滤波融合,解决了目标完全遮挡后无法继续跟踪的问题。仿真实验表明,本文提出的目标跟踪算法在目标遮挡,目标形状改变,目标跟踪失败的情况下具有更高的跟踪精度,更高的实时性和鲁棒性。

基于深度特征的目标跟踪算法

针对跟踪过程中运动目标的鲁棒性问题,提出了一种基于深度特征的跟踪算法.首先,利用仿射变换对每一帧图像进行归一化处理.然后,利用深度去噪自编码器提取归一化图像的特征.由于提取的特征维数巨大,为了提高计算效率,提出了一种高效的基于稀疏表示的降维方法,通过投影矩阵将高维特征投影到低维空间,进而结合粒子滤波方法完成目标跟踪.最后,将初始帧的目标信息融入到目标表观更新过程中,降低了跟踪过程中目标发生漂移的风险.实验结果表明,所提出的视觉跟踪算法在6段视频序列上获得了较高的准确度,能够在遮挡、光照变化、尺度变化和目标快速运动的条件下稳定地跟踪目标.

均值漂移跟踪的双模板更新算法

针对均值漂移算法缺少必要的模板更新方法的缺点,提出了一种基于双模板判定的更新算法。该算法首先通过分析目标特征与背景特征的相对大小,设计了加权函数分别对前景和背景特征进行加权;然后在此基础上引入背景模板并构造双模板,通过对候选目标与双模板相似度系数的综合分析,可以准确判定跟踪状态及干扰产生的原因,以采取相应的模板更新策略。实验表明,该算法可以有效地增强均值漂移算法在目标姿态变化、前景遮挡等复杂条件下的跟踪效果,具有较好的跟踪稳健性。