基于长时跟踪的滑雪教学姿态辅助矫正方法

在滑雪教学过程中,由于学员的迅速移动和姿态的大幅变化,导致以短时智能图像变化特征为主的姿态跟踪算法失效或不稳定,特别是在雪地条件恶劣或光线不足等复杂环境下,跟踪效果会受到较大的影响。为此,提出基于长时跟踪的滑雪教学姿态辅助矫正方法。使用递归最小二乘法(RLS)分类器训练得到学员姿态位置核相关滤波器(KCF)。计算最大的KCF响应值,精确检测学员的姿态位置。如果KCF结果低于经验阈值,表明目标丢失,启动再检测模块。利用光流法在前一帧学员姿态位置附近寻找当前帧中的姿态位置,以获取一个大致位置。在此位置重新应用跟踪器,获得精确的学员姿态位置,实现长时跟踪。依据得到的姿态位置数据,构建滑雪学员姿态误差补偿模型,提取学员身体的运动参数和姿态误差。通过计算身体运动参数,并结合KCF构建滑雪学员身体姿态辅助矫正模型,从而完成滑雪教学的姿态辅助矫正。实验结果表明,该方法在长时跟踪中展现出高度的有效性、可靠性和稳定性,其平均PCK指标达到92.3%,同时在目标跟踪效率上,参数量和计算量分别为30.24 MB和9.26 GFLOPs,速度达到142帧/s,实现了高效实时的跟踪,验证了该方法在滑雪教学姿态辅助矫正中的可行性。

全局搜索和多实例判别特征的长时跟踪方法

长时目标跟踪相对于短时目标跟踪仍然是一个巨大的挑战.然而现有的长时跟踪算法通常在面对目标频繁出现消失、目标外观发生剧变等挑战中表现不佳.本文提出了一种基于局部搜索模块和全局搜索跟踪模块的全新、鲁棒且实时的长时跟踪框架.局部搜索模块利用TransT短时跟踪器生成一系列候选框,并通过置信度评分确定最佳候选框.针对全局重新检测开发了一个新颖的全局搜索跟踪模块,以Faster R-CNN为基础模型,在RPN阶段与R-CNN阶段引入非局部操作和多级实例特征融合模块,以充分挖掘目标实例级特征.为了改进全局搜索跟踪模块的性能,设计了双模板更新策略来提升跟踪器的鲁棒能力.通过使用不同时间点上更新的模板能够更好地适应目标的变化.根据局部或全局置信度分数判断目标是否存在,并在下一帧中选择局部或全局搜索跟踪策略.同时能够为局部搜索模块估计目标的位置和大小.此外还为全局搜索跟踪器引入了排名损失函数,隐式学习了区域提议与原始查询目标的相似度.通过在多个跟踪数据集上进行大量实验对提出的跟踪框架进行了广泛评估.结果一致表明,本文提出的跟踪框架实现了令人满意的性能.

基于加权在线样本更新的目标长时跟踪方法

针对在长时跟踪过程中因丢失视野导致目标跟踪失败的问题,提出了基于加权在线样本更新的目标长时跟踪方法。首先,使用ResNet50网络提取目标深度特征并增强初始帧样本优化目标模型,提高初始帧样本权重影响;然后,利用目标模型对测试帧样本进行分类,并采用置信度分值加权在线学习样本以增强样本质量,提升模型的分类效果;其次,使用置信度分值判别目标状态并跟踪定位目标,目标丢失时使用时空约束搜索在丢失处自适应扩展区域并随机搜索目标,同时利用在线学习快速优化目标模型,增强其对目标的搜索能力;最后,针对搜索过程设计一种自适应阈值判别方法,充分利用图像背景信息,将目标丢失时背景置信度分值作为判别阈值,降低搜索过程中相似背景的影响以准确找回目标。使用LTB50数据集进行实验验证,成功率和跟踪F-score分别为66.1%和64.4%,优于其他方法;在四足移动机器人平台上进行真实场景实验,目标完全遮挡和视野外两种情况下成功率分别为87.8%和85.8%,证明了方法的有效性。

基于改进二阶段检测网络的长时跟踪重检测方法

为构建适用于长时跟踪的重检测模块,受改进二阶段检测网络的GlobalTrack方法的启发,提出了一种高效的对特定模板目标进行端到端重检测的深度网络:首先,为了在大尺度图像上更高效地融合模板特征,通过构造交叉信息增强模块改进深度互相关方法,利用交叉通道注意力信息编码搜索特征和模板特征;此外,采用动态实例交互模块替代传统二阶段网络的RPN(region proposal network)和RCNN(region-based convolutional neural networks)结构,根据模板信息指导检测网络的分类和回归阶段,构建了端到端的稀疏重检测结构。在LaSOT和OxUva长时跟踪数据集上进行对比实验,本文方法相较于原始方法性能提升3%,实时帧率提升173%。实验结果表明,改进后的方法可以在全图范围内更准确、快速地重新检测模板目标。

改进TLD与ORB的AR系统长时跟踪注册方法

针对增强现实系统长时跟踪注册需求以及三维跟踪注册时待注册区域尺度变化、光照变化、内外旋转等复杂环境易导致注册失败问题,提出改进TLD跟踪及ORB特征检测的增强现实长时三维注册方法。通过采用TLD长时鲁棒跟踪算法对待注册区域跟踪,并利用待注册位置自适应动态检测策略对TLD算法跟踪-学习-检测的结构机制的实时性和精确度进行优化;利用ORB算法对待注册位置进行特征检测及三维注册矩阵计算;将虚拟信息叠加至待注册位置。选取长时视频序列进行跟踪、检测及注册仿真实验。实验结果表明,改进TLD长时跟踪算法相比TLD算法在OPE精确度方面提升约5%,对待注册位置的跟踪速率提升约2倍,使得AR系统在复杂环境下的长时跟踪注册具有更好的稳定性和鲁棒性。

适合长时跟踪的自适应相关滤波算法

针对在长时跟踪中,快速运动、遮挡等复杂情况很容易引起模板漂移,导致跟踪失败的问题,提出一种适合长时跟踪的自适应相关滤波算法.首先融合HOG特征、CN特征和灰度特征,在增强特征判别力的同时,结合EdgeBoxes生成检测建议并找到最优建议,实现跟踪器尺度与纵横比的自适应;然后利用高置信度跟踪结果来避免模板被破坏,将目标移动速度与边缘组数结合起来形成一种新的自适应更新率,并对每一帧目标框的尺度进行校正;最后在跟踪失败的情况下,应用增量学习检测器以滑动窗口的方式恢复目标位置.在标准测试集上与基于相关滤波的7种算法进行对比,实验表明,该算法在精确度和成功率上均取得较优效果.

基于多特征融合的天基面目标长时跟踪算法

天基视频成像特性存在目标尺寸小、特征几乎无纹理、干扰因素多等问题,现有的近景面目标跟踪算法不完全适用。文章通过利用梯度直方图与颜色名称两种特征在天基视频跟踪中的不同优势,借鉴由跟踪、学习、检测三部分组成的长时跟踪思路,对高斯核化相关滤波器进行改进,提出了一种适用于视频卫星数据处理的多特征融合面目标长时跟踪算法。运用该算法对来自SkySat-1及“欧比特”视频卫星的遥感影像数据集进行面目标跟踪测试,从4组天基视频数据中选取的6个目标均实现了稳定跟踪;同时,对OTB近景数据集中选取的与天基视频有类似特征的16组视频序列的测试结果显示,该算法实现了83.4%的精度、63.2%的成功率。试验表明,文中所提方法优于现有相关跟踪方法,显示了将长时跟踪策略引入天基视频跟踪领域的可行性和广泛应用前景。

结合置信度评估与再检测的目标长时跟踪

针对目标长时跟踪中遮挡和出视野等因素导致的跟踪准确率降低甚至跟踪失败问题,提出一种结合置信度评估与再检测的目标长时跟踪算法。根据相关滤波响应的平均峰值相关能量与颜色得分判断跟踪结果的可靠性;通过引入DIOU约束,有效限制候选位置的数量,增加惩罚项计算候选框得分,得到最优再检测结果;评估再检测结果的可靠性决定是否替换跟踪位置。在OTB-2015数据集上与先进相关滤波算法进行对比,该算法精确度与成功率分别为0.855和0.798。在目标遮挡和出视野等复杂环境下,具有较强的鲁棒性和实时性。

基于多特征结合的长时跟踪算法设计

文章针对目前多数长时跟踪算法对同类物体区分能力较弱且在复杂背景下跟踪不理想的问题,结合运动和外观特征的长时跟踪算法进行设计。外观特征使用了重识别算法,在同类物体区分能力较好。运动特征借鉴了SORT跟踪算法原理来实现。主要分3个模块论述了设计的长时跟踪算法框架,最后就设计实验算法与其他两种长时跟踪算法进行了比对。

长时视觉跟踪中基于双模板Siamese结构的目标漂移判定网络

在长时视觉跟踪中,大部分目标丢失判定方法需要人为确定阈值,而最优阈值的选取通常较为困难,造成长时跟踪算法的泛化能力较弱。为此,该文提出一种无需人为选取阈值的目标漂移判定网络(DNet)。该网络采用Siamese结构,利用静态模板和动态模板共同判定跟踪结果是否丢失,其中,引入动态模板有效提高算法对目标外观变化的适应能力。为了对所提目标漂移判定网络进行训练,建立了样本丰富的数据集。为验证所提网络的有效性,将该网络与基础跟踪器和重检测模块相结合,构建了一个完整的长时跟踪算法。在UAV20L, LaSOT,VOT2018-LT和VOT2020-LT等经典的视觉跟踪数据集上进行了测试,实验结果表明,相比于基础跟踪器,在UAV20L数据集上,跟踪精度和成功率分别提升了10.4%和7.5%。

多特征融合的无人艇视觉目标长时相关鲁棒跟踪

[目的]针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。[方法]首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。[结果]实验结果表明,相较于传统的长时相关跟踪算法,平均成功率提升15.7%,平均距离精度指标提升30.3%,F-Score指标提升7.0%。[结论]所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。

基于深度学习的快速长时视觉跟踪算法

在目标尺寸变化、遮挡和出视场等复杂长时视觉跟踪环境下,现有基于深度学习的视觉跟踪算法很难对目标进行实时准确的跟踪。针对该问题,提出一种快速的长时视觉跟踪算法,该算法由一个快速短时视觉跟踪算法和一个快速全局重检测模块组成。在基准算法SiamRPN中加入二阶通道与区域空间融合的注意力模块作为短时视觉跟踪算法,在保证快速性的同时,提高算法的短时视觉跟踪精确度和成功率;为使改进后的短时视觉跟踪算法具有快速的长时视觉跟踪能力,在算法中加入提出的基于模板匹配的全局重检测模块,该模块使用轻量级网络和快速的相似度判断方法,加快重检测速率。在OTB100、LaSOT、UAV20L、VOT2018-LT、VOT2020-LT等5个数据集上进行测试,实验结果表明,所提算法在长时视觉跟踪中具有优越的跟踪性能,平均速度达104帧/s。

深度长时目标跟踪算法综述

在视觉目标跟踪领域,长时跟踪因存在更为复杂的遮挡、相似物干扰和目标消失等具有现实意义的挑战场景,而越来越被研究者所重视。传统长时跟踪算法存在精度低和效率低等问题,已经无法满足如视频监控和自动驾驶等领域对跟踪器性能的应用需求。目前,大量的研究工作通过引入深度神经网络快速推动了长时跟踪技术的发展。为了深入分析深度长时跟踪算法的现状与未来发展,通过对比长短时跟踪数据集及评价指标,初步界定了长时跟踪任务范畴,归纳了长时跟踪任务的需求和难点,并介绍了长时跟踪数据集及评价体系的发展。基于深度长时目标跟踪算法的设计框架,详细描述了框架各组成部分的设计思路。以长时跟踪策略为切入点深入分析了现有研究工作,归纳了不同模型的优缺点及特性。依据对现有研究工作的整理和总结,讨论了该领域面临的挑战,并对未来的发展方向进行了展望。

海上无人机对运动船舶的长期检测跟踪算法

针对无人机在海上对船舶进行长时跟踪时,由于船身被遮挡及船舶离开视野导致目标跟踪失败的问题,提出了基于YOLOv5和ECO_HC相结合的海上目标长时检测跟踪算法。首先,利用感知哈希与峰值比例综合评估跟踪过程的可靠性,目标丢失时利用YOLOv5检测器重新定位目标位置,并初始化跟踪器模型,消除累计错误信息。其次针对目标在跟踪过程中存在的旋转变化,利用傅里叶-梅林变换进行旋转参数估计,减少了目标旋转造成的跟踪器性能下降问题。本文算法在OTB-100数据集上的平均精确度和成功率为83.9%和76.7%;在无人机平台上进行实际海上场景船舶跟踪实验,在完全遮挡及离开视野两种情况下精确度和成功率分别为为80.9%,60.4%和90.2%,48.3%,实验表明本文算法可以有效抑制常见海面干扰因素的影响。

基于fDSST的长时间目标鲁棒跟踪算法

在跟踪目标过程中,当目标遭遇强遮挡、移出视野、快速运动等时,快速判别尺度空间跟踪(fDSST)算法会丢失目标且无法再找回。为了解决这一问题,提出了一种基于fDSST的长时间目标鲁棒跟踪算法。在经典fDSST算法基础上增加了基于关键点匹配的检测模块和输出自适应决策模块,在判定目标丢失或不可见后可重新匹配目标并重新初始化跟踪器;跟踪时可自适应地选择置信度更高的结果作为最终输出结果;在以Raspberry Pi 4B为主控单元的嵌入式平台上进行算法移植,在OTB-100数据集和嵌入式平台上进行跟踪测试。结果表明:该算法相比其他主流算法具有更高的鲁棒性和准确性,改进算法宜在有嵌入式平台移植需求的应用场景下部署。

动态模板匹配的孪生网络长时目标跟踪算法

近年来备受关注的长时目标跟踪更接近实际应用场景,许多算法通过目标重检测机制来解决目标消失与重现问题,但跟踪速度无法满足实时目标跟踪需求,因此提出一种基于模板匹配的孪生网络长时目标跟踪算法。改进算法引入快速动态模板匹配的全局搜索重检测机制,当检测到目标丢失情况,则利用模板匹配进行预测粗定位,再通过孪生网络目标跟踪算法进一步获得目标准确位置。目标外观形变会严重影响模板匹配预测定位的准确度,因此引入动态匹配模板更新策略进一步提高抗干扰性能。在四个数据集上与当前先进的长时目标跟踪算法相比较,实验结果显示改进算法不仅跟踪性能显著提高,并且跟踪速度达到40FPS左右,能满足实时目标跟踪需求。

算力限制平台下的长时目标跟踪

为了满足某些算力受到限制的应用场景的长时跟踪需求,如以C64x+DSP为核心的嵌入式系统,提出了一种由连续跟踪环节与目标检测环节两部分构成的低时间复杂度长时跟踪算法,连续跟踪环节基于自适应更新的时空上下文算法(STC),目标检测环节使用归一化互相关匹配算法。在没有目标出视场、目标快速移动等特殊跟踪场景时,连续跟踪环节输出跟踪结果,在跟踪失败后,目标检测环节对全幅图像进行处理,只要目标出现在图像中,便可以重新锁定目标。经实验验证,目标检测环节可以在目标出现后准确检测到目标,满足了长时跟踪的要求。同时,目标检测环节在跟踪不可靠时的辅助定位也提升了连续跟踪环节的鲁棒性,使用OTB2013数据集测试,本算法的精确度较STC算法提升了4.95%。

相关滤波-粒子滤波的长时目标跟踪算法

针对大多数目标跟踪算法在长时跟踪过程中目标遮挡、形变等干扰属性导致不能有效跟踪的问题,提出一种基于相关滤波-粒子滤波协作的长时目标跟踪算法(CFPE).首先相关滤波器中目标特征表达采用融合CN特征和HOG特征,增强在复杂情况下的目标描述能力;然后通过平均峰值相关能量(APCE)指标和最大响应值对当前目标位置做出判断并决定滤波器模板是否更新,当判断跟踪失败时,通过粒子滤波重新检测目标位置;最后在OTB100和UAV123视频集中和近年来优秀的跟踪算法中进行试验分析,试验结果表明:CFPE具有稳定长时跟踪和实时性的优势,并且在背景变化、形变和遮挡方面优于大部分算法.

多特征融合且抗遮挡的长时目标跟踪算法

针对目标跟踪过程中的遮挡、形变以及长时跟踪等问题进行研究,提出一种多特征融合且抗遮挡的长时目标跟踪算法。以判别尺度空间(DSST)算法为框架,融合颜色空间特征,引入APCE指标,增强目标位置的预测和抗遮挡能力,提高算法的鲁棒性;增加随机蕨分类器检测机制,在跟踪失败时对目标进行重新检测定位;在模型更新阶段,利用帧差法调整模型的更新率。实验结果表明,改进算法在目标遮挡、形变以及长时跟踪等复杂情况下的跟踪性能均优于其它经典算法。

自适应模型更新的长时目标跟踪算法

针对相关滤波器在实际应用的长时跟踪场景中,可能出现的例如光照与尺度变化、运动模糊、被遮挡等情况,导致算法失效、跟踪的目标丢失等问题,以快速判别尺度空间跟踪算法(fDSST)为基准算法,提出一种将置信度用于更新和遮挡判定并加入了重检测模块的长时目标跟踪算法,将历史峰值均值和历史APCE置信度均值作为基准,进行模板自适应更新和遮挡判定,加入一个用于重检测的在线CUR滤波器。如认定发生遮挡,启动重检测模块生成候选区域并重新确定目标位置。采用公开数据集OTB50进行算法验证,结果表明了该算法能够有效处理目标遮挡及尺度变化等情况,与作为基准的fDSST算法相比,它在衡量跟踪时的精度与成功率的各项指标上均有了明显的提升。