基于改进SiamFC的实时人脸跟踪算法

基于现有的人脸跟踪网络存在参数量大、算力高、难以部署到嵌入式平台,无法满足移动设备实时性需求的问题,以SiamFC为基准网络,提出一种基于Two-Way Dense Layer模块改进后的Dense_Block模块。模块在提取特征时具有特征分流、扩大感受野、轻量化网络等优势;为保证人脸跟踪精度且维持实时的在线人脸跟踪速度,通过人脸级联定位搜索策略,先采用浅层的搜索特征和人脸模板特征进行目标人脸初定位,接着对特征响应最大的区域作为深度特征进行人脸重定位,之后,通过NEON指令集优化、知识蒸馏、模型剪枝等方法进一步为人脸跟踪算法加速。实验表明,改进后的SiamFC在部署到RK3288开发板上时,在Accurate、Overlap基本保持不变的情况下,跟踪速度是原SiamFC算法的7.7倍。

复杂场景下基于特征融合的车辆跟踪

针对恶劣天气(阴天、雨天、雪天)、空气污染(雾霾天)、黑夜等复杂的视频拍摄场景导致的目标与背景相似以及孪生网络没有模型更新的车辆跟踪问题,在确保算法实时性的前提下,以SiamFC(全卷积孪生网络)为基础对其特征提取、模型更新进行改进,提出了一种利用特征融合获取目标的表观特征和语义特征以及模型更新阈值优化的方法.试验结果表明:所提算法实现了在复杂场景下的车辆跟踪,特别是在处理目标与背景相似问题上,具有很强的泛化能力及鲁棒性.

基于特征融合的双分支模板更新跟踪算法

为了提高孪生网络SiamFC++的跟踪精确度和尺度适应性,提出了一种具有特征融合和双分支模板动态更新机制的实时目标跟踪算法。针对跟踪精确度,在骨干网络的浅层设计特征融合分支从而提高特征提取能力。另外,使用平均峰值相关能量(APCE)方法判断分类模板是否更新从而提高分类能力,改善了遮挡和形变时的跟踪效果。针对尺度适应性,使用交并比梯度比值法和响应图方差率判断回归模板是否更新,增强了快速移动和尺度变化的适应性。为了保证实时性,将两个分支的更新过程嵌套起来形成双分支模板动态更新机制。在数据集OTB2015和VOT2018上的结果表明,该算法较其他几种算法跟踪效果更稳定,能更好应对快速移动和遮挡等场景,同时该算法达到了62 fps,满足实时性要求。

带旋转与尺度估计的全卷积孪生网络目标跟踪算法

针对目标跟踪任务中,全卷积孪生网络(SiamFC)跟踪算法存在因目标的旋转、尺度变化而造成跟踪错误或跟踪结果不准确的问题,提出一种带旋转与尺度估计的SiamFC跟踪算法。该算法由定位模块与旋转、尺度估计模块两部分组成。首先在定位模块中,利用SiamFC算法获得跟踪位置,并结合旋转与尺度信息对该位置进行调整;其次在旋转、尺度估计模块中,鉴于图像的旋转和尺度变化在对数极坐标系下变成了平移运动,将目标搜索区域从笛卡儿坐标系变换到对数极坐标系下,由此便可利用相关滤波技术估计待跟踪目标的尺度和旋转角度;最终实现了一个能同步估计目标位置、旋转角度以及尺度变化的目标跟踪模型。在对比实验中,该算法在OTB2015数据集上的成功率与准确率分别达到57.7%和81.4%;在包含目标旋转和尺度变化的POT数据集上的成功率与准确率分别达到51.8%和53.3%。与SiamFC算法相比,所提算法的成功率和准确率分别提高了13.5个百分点和13.4个百分点。实验结果表明,所提算法能有效应对目标旋转与尺度变化带来的跟踪挑战。

基于模板更新的深层孪生网络跟踪算法

针对跟踪过程中因尺度变化、遮挡及运动模糊等造成的目标定位不准确问题,在SiamFC(fully-convolutional siamese network)的跟踪框架基础上提出了一种具有高置信度模板更新机制的深层孪生网络目标跟踪算法.首先,主干网络采用ResNet-50残差网络进行特征提取,并融合多层特征图进行目标预测;其次,为避免模板频繁更新带来的模板漂移问题,构建了高置信度的模板更新模块.在OTB100数据集上的实验结果表明,相比基准算法,文中算法的跟踪成功率和精确度分别提高了3.4%和2.6%;在多种挑战因素下的对比实验表明,文中算法可以较好地抵抗目标遮挡、尺度变化、运动模糊等多种复杂因素带来的影响,有很好的鲁棒性.

基于细节提取的运动目标追踪算法

目前运动目标追踪任务中干扰具有很大的欺骗性,目标追踪算法容易被带有陷阱的数据集所欺骗.为了提升追踪算法在追踪数据集上的效果,本文提出基于SiamFC孪生网络上改进的DPP-SiamFC追踪算法,该算法在原网络基础上引入DPP (Detail-Perserving Pooling)池化层和残差网络,有效的保留目标的细节特征.本文并在VOT2017追踪数据集上验证网络性能,实验结果达到了网络性能提升的效果.