一种基于加权时空上下文的鲁棒视觉跟踪算法

由于光照及外观变化、复杂背景、目标旋转与遮挡等因素的影响,给实现鲁棒的视觉跟踪带来困难.有效利用上下文(Context)中包含的有用信息有助于提升上述条件下视觉跟踪的鲁棒性.时空上下文(Spatio-temporal context,STC)算法是新近提出的一种基于时空上下文的目标跟踪算法,它利用目标周围的稠密上下文信息,取得了良好的跟踪效果.STC的不足是其同等对待整个上下文区域,没有对上下文做进一步的区分,减弱了上下文的作用.本文采用动态分区处理思想,根据上下文中不同区域与跟踪目标运动相似度大小,赋予不同权值,提出了基于加权时空上下文(Weighted spatio-temporal context,WSTC)的鲁棒视觉跟踪算法.最后在公共数据集上进行的对比实验表明,本文所提出的算法具有更好的跟踪效果和鲁棒性.

采用时空上下文的抗遮挡实时目标跟踪

针对目标跟踪算法在光照变化、背景干扰、目标形变及遮挡时出现的跟踪稳定性下降甚至失败的问题,提出了一种采用时空上下文的抗遮挡实时目标跟踪算法。首先,在时空上下文模型框架下采用自适应降维的颜色特征构建目标外观模型,提高算法在复杂场景中对目标的辨别能力;然后,联合置信图响应的峰值和峰值旁瓣比对目标跟踪的状态进行评估;接着,利用目标模板之间相关系数的变化进一步判断目标是否被严重遮挡;最后,当目标跟踪出现波动时,降低目标模型更新速度,并通过Kalman滤波修正目标位置,当目标被严重遮挡时,则根据Kalman滤波预测目标位置,同时停止更新目标模型,在脱离遮挡后重新捕获目标并进行跟踪。选取了36组具有多种挑战因素的彩色视频序列测试算法的跟踪性能,并与其他表现优异的目标跟踪算法进行了对比分析。实验结果表明,所提算法具有较强的抗遮挡能力,并且在光照变化、背景干扰和目标形变等不利因素影响下仍具有较好的跟踪鲁棒性,同时能够满足目标跟踪的实时性要求。

特征点辅助的时空上下文目标跟踪与定位

针对动态目标跟踪中快速运动和目标遮挡而跟踪失败问题,提出了一种特征点辅助的时空上下文跟踪算法。首先提取目标特征点,通过特征点匹配和光流跟踪方法进行目标追踪,获得目标预估位置;其次,建立特征点变化率和时空上下文模型更新率关系模型,实时调控更新率,防止引入错误信息;最后,在预估位置区域内,构建局部上下文外观模型,计算与时空上下文模型的相关性获取置信图,进一步精确定位目标。算法在一组测试视频集中进行验证,相比目前4种主流算法(平均跟踪成功率最高为60%,平均跟踪误差最小为26.14 pixel),本算法综合性能达到最优,平均跟踪成功率为90%,平均跟踪误差为7.47 pixel,平均跟踪速率25.31 f/s。在双目视觉移动机器人平台上对随机运动目标进行跟踪实验,在背景干扰、遮挡、目标旋转和快速运动等组合情况下,跟踪成功率97.4%,跟踪距离平均相对误差为4.05%。

基于引导滤波与时空上下文的红外弱小目标跟踪

由于传统的跟踪算法没有充分利用目标与其局部背景的时空相关性,使其不能有效地区分背景边缘和红外弱小目标,从而在跟踪过程中产生偏移现象.针对这一问题,本文在时空上下文学习跟踪的原理基础上,分析了跟踪偏移的原因,并引入图像引导滤波方法,提出了一种引导滤波结合时空上下文的红外弱小目标跟踪算法.该算法首先采用引导滤波对上下文区域进行处理,在保留上下文区域云层边缘的同时剔除目标及噪声,再将其与滤波结果作差.最后利用小目标的"置信图"检测出目标.为了验证该方法的有效性,采用五组红外小目标序列图像进行实验,并与经典时空滤波、改进的模板匹配和移动管道滤波等方法作比较.实验结果表明本文提出的方法在主观视觉和客观评价指标方面均优于其它三种经典方法,且具有更高的目标跟踪精度与较好的实时性.

自适应学习的时空上下文目标跟踪算法

传统时空上下文目标跟踪(STC)算法在目标发生尺度变化时,跟踪窗口长期不变导致学习的上下文空间模型不具有针对性。为此,提出一种能够进行自适应学习的时空上下文目标跟踪(STC-AL)算法。在前后输出窗口提取尺度不变特征并消除误匹配,对匹配点集进行综合分析后调整输出窗口,并对传统空间模型的学习与更新进行改进。实验结果表明,STC-AL算法能够适应目标尺度变化,与STC算法、CT算法和KCF算法相比,跟踪结果更准确。

时空上下文相似性的TLD目标跟踪算法

在单目标长期跟踪过程中,为了避免快速移动、运动模糊的噪声影响以及解决目标出视角后再出现的跟踪无法恢复问题,提出了一种基于时空上下文相似性的TLD(tracking-learning-detection)目标跟踪算法(TLD object tracking algorithm based on spatio-temporal context similarity,TLD-STCS)。首先进行检测分类器的学习。然后利用STC跟踪算法进行下一帧计算,对计算得到的获选目标与前一帧目标进行空间上下文的相似性计算,即保守相似度计算以及运动相似度计算,进行跟踪结果的有效判断,若判定有效,则输出过程与TLD的一样;如果判定失效,将此时的上下文时空模型加入到目标时空模型。对检测模块检测到的多个候选目标位置计算其置信图,输出平均置信值最大的检测目标,并对目标时空模型进行更新,如果检测到单聚类框就直接输出。最后进行在线学习来更新分类器的相关参数,改善检测精度。在不同测试视频序列上进行算法对比验证,结果表明,TLD-STCS算法能自适应目标遮挡、旋转等复杂情景下的目标跟踪,具有很高的鲁棒性,尤其是在目标快速移动且运动模糊情况下具有很好的抗干扰能力和很高的成功率。

基于WiFi的远程目标跟踪系统设计

提出了远程目标跟踪系统的概念并实现一种远程目标跟踪系统。系统主要分为移动机器人端和远程服务器端,主要功能是移动机器人通过USB摄像头采集到实时现场视频,将实时采集到的现场视频从YUV格式硬编码为H.264格式,再通过WiFi传出给远程服务器,服务器将接收到的视频流解码并对指定目标进行跟踪算法处理后控制移动机器人追踪目标。实验结果表明:该系统可以有效实现远程的目标跟踪,验证了该设计的可行性。

空巢老人智能监护系统中异常情况检测的研究

对空巢家庭的老人和设备的异常检测与即时预警是智能家居系统的重点和难点问题。利用多模态联合传感技术获取时空上下文信息,由各类感知组件进行处理而获取居住者的动作,用改进的多层隐马尔科夫模型对离散的动作进行抽象而获得人的高层行为——事件。居住者常态的表示模型被构建并作为行为正常与否的分类器来检测异常行为。为了表达上下文信息,采用语义分级、逐层抽象的方法设计了一套多媒体本体,用于智能家居系统中对媒体信息的语义化标注和推理。改进了针对室内多活动设备的多交叉事件的悲观情感模型,用以解决视频组件难以检测的活动设备状态变化的问题。实验证实该方案在异常检测和预警方面有很好的性能。

低秩重检测的多特征时空上下文的视觉跟踪

时空上下文跟踪算法充分地利用空间上下文中包含的结构信息能够有效地对目标进行跟踪,实时性优良.但该算法仅利用单一的灰度信息,使得目标的表观表达缺乏判别性,而且该方法在由于遮挡等问题造成的跟踪漂移后无法进行初始化.针对时空上下文算法存在的弱点,提出了一种基于低秩重检测的多特征时空上下文跟踪方法.首先,利用多特征对时空上下文进行多方面的提取,构建复合时空上下文信息,充分利用目标周围的特征信息,提高目标表观表达的有效性.其次,利用简单、有效的矩阵分解方式将跟踪到的历史跟踪信息进行低秩表达,将其引入有效的在线重检测器中来保持跟踪结构的一致稳定性,解决了跟踪方法在跟踪失败后的重定位问题,在一系列跟踪数据集上的实验结果表明,该算法与原始算法及当前的主流算法相比有更好的跟踪精度与鲁棒性,且满足实时性要求.

一种引入预测机制的时空上下文跟踪算法

针对时空上下文(STC)算法在抗遮挡目标跟踪中的不足,提出使用上下文模型相似度作为判别遮挡的条件和改进上下文模型更新方程的修正系数,同时采用预测算法修正搜索区域,构建了一种基于时空上下文跟踪的抗遮挡目标跟踪算法,并通过标准目标跟踪视频库对原算法和改进后算法的跟踪性能进行仿真和对比。实验证明,在原算法的基础上提高了抗遮挡跟踪的鲁棒性,在一些图像序列中跟踪成功率的提高最高可达30%。

基于双目标模型的时空上下文跟踪算法

传统的时空上下文跟踪算法在更新目标模型时不考虑跟踪结果的有效性,故目标被长时间遮挡后,目标模型容易被错误更新且难以修正。因此,本文提出了一种基于双目标模型的改进时空上下文跟踪算法以解决错误更新问题。该算法引入一个辅助目标判别模型来评估时空上下文算法跟踪结果的有效性,并根据评估结果对目标模型进行更新。辅助模型使用目标的局部纹理信息而不是相关性信息作为特征,在目标被长时间遮挡后也能准确评估更新内容的有效性,并能在遮挡结束后修正错误更新的目标模型。在多组数据集上的实验表明,改进算法在测试数据集上的跟踪成功率为82%,中心偏差为8pixels;在长时间遮挡等干扰情况下的跟踪精度比原时空上下文算法有明显提升,实现了目标的可靠跟踪。

小型嵌入式平台实时目标跟踪算法的研究与实现

针对高实时性要求、低计算能力的小型嵌入式平台的应用背景,本文提出一种低时间复杂度、高鲁棒性的目标跟踪算法。首先,构建基于时空上下文贝叶斯概率模型的跟踪算法架构,然后提出低时间复杂度的灰度特征尺度池策略实现尺度自适应更新,最后利用基于置信图最大似然概率的目标模型更新策略来提高抗遮挡性能。利用基准数据集OTB2013对本文算法进行测试,跟踪精度为58.9%,成功率为51.3%,优于时间复杂度相近的STC(Spatio-Temporal Context)和CSK(Circulant Structure with Kernels)算法。搭建以DSP为核心的小型目标跟踪平台对算法进行测试,可实现对视场中目标的实时稳定跟踪。当目标波门为64×64 Pixel时,稳定跟踪帧率可达42 frame/s,能够满足实时性和工程实用性的应用需求。

自适应目标变化的时空上下文抗遮挡跟踪算法

在传统时空上下文目标跟踪过程中,为了自适应目标尺度变化,以及解决目标跟踪失败的跟踪无法恢复问题,提出了一种自适应目标变化的时空上下文抗遮挡跟踪算法STC-ALD。首先,在初始框采取TLD中值流算法初始化跟踪点,并利用F-B误差算法预测下一帧跟踪点位置。其次利用STC算法计算得到目标框并计算其保守相似度,当超过设定阈值即跟踪有效,将跟踪点与目标框进行运动相似度计算以便进行窗口调整。相反,利用检测器进行检测,对单一聚类框直接输出,而对多个检测聚类框学习其时空上下文模型,利用当前空间模型逐个计算其置信度,输出置信值最大者。最后,进行在线学习更新分类器的相关参数。对不同的测试视频序列进行实验,结果表明,STC-ALD算法能够适用于目标尺度变化、遮挡等复杂情景下的跟踪,具有一定的鲁棒性。

时空上下文与CamShift相结合的目标跟踪算法

针对传统的时空上下文(STC)目标跟踪算法在完全遮挡或者遮挡面积过大时易导致跟踪失败的问题,提出了一种将STC与Cam Shift相结合的目标跟踪算法。通过设定一个阈值,来判断时空上下文算法何时进入目标遮挡。当进入遮挡时,利用Cam Shift算法得到的跟踪中心修正时空上下文模型计算出的跟踪中心,并用修正后的中心更新局部上下文区域。实验结果表明:提出的算法较原有的算法更加适合复杂的场景变化,具有更好的鲁棒性和稳定性。

融合颜色特征和灰度特征的时空上下文跟踪

时空上下文视频目标跟踪算法仅使用单一灰度特征,跟踪精度低,在面内外旋转情况下容易跟踪失败。针对该问题,提出一种改进的特征融合算法。考虑到颜色特征的尺度不变性和光照平衡性,引入能更好表示目标外观的11种基础色表示特征。提取目标及其局部上下文的11维颜色特征并进行自适应降维,融合降维后的颜色特征与灰度特征构建目标外观模型,在线学习并更新时空模型,计算置信图并寻找其最大值作为目标位置输出。仿真结果表明,改进算法提高了原算法在光照变化、遮挡等情况下的跟踪精度,能够处理面内外旋转的跟踪难题。

融合时空上下文的复杂背景下多运动目标检测

针对目标进、出视场和被部分遮挡情况下检测率低的问题,提出一种联合时空上下文的多运动目标检测算法STC-MMTD。首先,利用时间上下文信息,基于前后向运动历史图提取候选目标区域;然后,利用空间上下文信息和目标表观信息,通过基于稀疏编码的CRF模型计算目标置信度图;最后,计算候选目标区域的目标置信度,检测出多运动目标。实验结果表明,所提算法具有良好的检测性能,在保证较高定位精度的同时,查全率、查准率和F测度均高于其他多目标检测算法的。

基于时空上下文的航拍视频绝缘子跟踪算法

为解决时空上下文跟踪算法在航拍视频绝缘子出现大尺度变化产生的漂移问题,提出一种大尺度自适应的航拍视频绝缘子跟踪算法。提取绝缘子图像的局部二值模式特征构建时空上下文模型,改进时空上下文尺度更新策略不能适应大尺度变化问题。最后在航拍视频序列进行的对比实验表明,算法在平均重叠率和平均中心位置误差指标上有了较大提升;且能很好地适应绝缘子大尺度变化,具有更好的跟踪效果。

模型自适应分割的人脸跟踪方法

针对传统时空上下文跟踪方法存在模型漂移问题,提出了一种模型自适应阈值分割的人脸跟踪方法。通过在传统的时空上下文方法中引入目标区域的子块自适应分割方法,增强空间信息对目标与背景的判别作用,降低目标置信图的表征误差;同时,采用跟踪连续加权平均的方法对模型精确性进行实时判断,联合粒子滤波进行状态预测,有效克服误差累积引起的模型偏移问题。实验结果显示,方法具有较高的跟踪精度和稳定性,且满足视频实时性处理的需求。

基于时空上下文与Kalman滤波的视频目标跟踪

针对视频目标跟踪过程中当目标被严重遮挡时基于时空上下文的跟踪算法(SpatioTemporal Context Learning,STC)容易出现跟踪失效的问题,设计了一种基于时空上下文与Kalman滤波的改进视频目标跟踪算法.该算法以Kalman滤波过程为基础,当目标未发生遮挡时,将STC跟踪所得的目标位置作为Kalman滤波器的观测值来对目标位置进行更新;当目标发生严重遮挡时,以Kalman滤波器的预测值作为Kalman的观测值对目标位置进行更新,最终完成目标跟踪.仿真结果表明,改进的视频目标跟踪算法可以克服遮挡带来的跟踪失效问题,且能够实现实时的目标跟踪.

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。