基于自注意力机制的多域卷积神经网络的视觉追踪

为了解决多域卷积神经网络(MDNet)在目标快速移动和外观剧烈变化时发生的模型漂移问题,提出了自注意力多域卷积神经网络(SAMDNet),通过引入自注意力机制从通道和空间两个维度来提升追踪网络的性能。首先,利用空间注意力模块将所有位置上的特征的加权总和选择性地聚合到特征图中的所有位置上,使得相似的特征彼此相关;然后,利用通道注意力模块整合所有特征图来选择性地强调互相关联的通道的重要性;最后,融合得到最终的特征图。此外,针对MDNet算法因训练数据中存在较多相似但属性不同的序列所造成的网络模型分类不准的问题,构造了复合损失函数。该复合损失函数由分类损失函数和实例判别损失函数组成,首先,用分类损失函数来统计分类的损失值;然后,利用实例判别损失函数来提高目标在当前视频序列中的权重,抑制其在其他序列中的权重;最后,融合两项损失作为模型的最终损失。在目前广泛采用的测试基准数据集OTB50和OTB2015上进行实验,结果表明所提出的算法在成功率指标上相比2015年视觉目标跟踪挑战(VOT2015)的冠军算法MDNet分别提高了1.6个百分点和1.4个百分点,在精确率和成功率指标上优于连续域卷积相关滤波(CCOT)算法,在OTB50上的精确率指标优于高效卷积操作(ECO)算法,验证了该算法的有效性。

基于多域卷积神经网络跟踪的动态手势识别

针对传统的手势跟踪方式在复杂环境下跟踪效果差导致动态手势识别准确率不高的问题,提出了一种多域卷积神经网络跟踪框架下的动态手势识别算法。该算法采用多域卷积神经网络实现手势跟踪环节,并根据手势跟踪的特点,精简网络结构,构建全域通用fc6层,增强网络对动态手势跟踪的适用性,提升跟踪效果。其次,采用VGG-19对跟踪网络构建的动态手势轨迹特征图谱进行识别。算法将跟踪问题简化成目标与背景的二分类,采用多域卷积神经网络学习跟踪目标共性,能更好地给出跟踪目标模型,且浅层卷积神经网络的利用更能强化空间信息,从而提高动态手势跟踪和识别的效果。通过两组数据库测试表明,对自建的动态手势库识别率高达97.5%,并在Chalearn Gesture Data国际标准手势数据库取得了93.33%的识别率,验证了算法的有效性。

基于多域卷积神经网络与自回归模型的空中小目标自适应跟踪方法

针对星空背景下卫星跟踪中运动小目标与伪目标交会造成的跟踪漂移问题,提出一种基于多域卷积神经网络(MDNet)与自回归(AR)模型的空中小目标自适应跟踪方法。对用MDNet采集到的图像序列第1帧的正样本进行bounding-box回归模型训练;再训练用最小信息准则和最小二乘法确定阶数和参数的AR模型,估计目标运动轨迹并预测目标位置;最后,将该目标位置作为MDNet的采样中心,约束采样候选区域,用bounding-box回归模型调整目标位置。实验用8种跟踪方法测试了8组场景复杂的视频序列,结果表明,本文方法的成功率及平均覆盖率均显著高于其他7种典型算法,具有较高的精确性和稳健性。

基于CAMDNet的视频目标跟踪算法

多域卷积神经网络(MDNet)在目标出现背景杂乱、目标遮挡、尺度变化和旋转形变时,存在跟踪精度不高、成功率下降的问题。针对此问题,提出一种融合高效通道注意力机制和可变形卷积的目标跟踪算法(CAMDNet)。通过在MDNet网络中引入高效通道注意力机制有效学习特征通道之间的相关性,进行特征筛选,增强网络特征表达能力,并引入可变形卷积以提高模型对尺度变化的建模能力,增强网络健壮性。在视频目标跟踪基准数据集OTB50和OTB100上进行评估,并与当下较为流行的跟踪算法进行对比。实验结果表明CAMDNet算法优于其他对比算法,并且比同等实验条件下的MDNet跟踪精准率提升2.25%,跟踪成功率提升2.6%,证明CAMDNet算法能有效地提高目标跟踪性能并具有较好的鲁棒性。

基于FasterMDNet的视频目标跟踪算法

多域卷积神经网络(MDNet)算法在卷积层采用选择性搜索的方式来提取候选框,因此它没有共享完整图像特征,从而导致在线视频目标跟踪速度慢。针对这个问题,提出一种快速多域卷积神经网络(FasterMDNet)视频目标跟踪算法。FasterMDNet是建立在MDNet基础上的一种模型,在卷积层后面引入RPN(Region Proposal Network)网络,优化了损失函数,共享完整图像卷积特征,加快候选区域建议框(ROI)更高效的生成;为了更好地获得目标和背景信息表示,在RPN网络后加入ROIAlign层,对提取的候选区域建议框特征图用双线性插值方法来提高感受野的分辨率。该算法对目标跟踪基准数据集OTB2013、OTB2015、VOT2016进行了评估,并与前沿的跟踪算法做对比,实验结果证明,该算法跟踪准确率优于其他对比方法,并且对比相同实验环境下MDNet算法,在线跟踪速度提高了近12倍。

目标丢失判别机制的视觉跟踪算法及应用研究

当跟踪对象被严重遮挡或者离开相机视野范围时,机器人的跟踪目标往往会丢失。为了实现准确跟踪,提出了目标丢失判别跟踪YOLO-RTM算法。该方法通过YOLOv3检测视频第一帧中的目标。利用实时多域卷积神经网络(Real-Time MDNet,RT-MDNet)跟踪算法预测目标边界框的变化。计算重叠度,根据重叠度与预设阈值的比较结果决定模型更新方式,当重叠度高于阈值时,采用RT-MDNet更新外观模型,当重叠度低于阈值时,采用YOLOv3重新搜索目标并更新外观模型。在Turtlebot2机器人上的实验结果表明,提出的算法能满足移动机器人跟踪的可靠性,且有效提高跟踪算法的实用性。