时域孪生网络融合Transformer的长时无人机视觉跟踪

针对无人机(UAV)执行跟踪任务时经常出现尺寸变化、低分辨率、目标遮挡等场景导致跟踪目标框漂移的问题,提出一种时域孪生网络融合Transformer的长时无人机视觉跟踪算法TTTrack。首先,使用基于孪生网络的SiamFC++(AlexNet)算法作为基线算法;其次,利用Transformer自适应地提取历史帧的时空信息并在线更新模板,从而将时空上下文信息储存为动态模板;随后,分别使用基准模板和动态模板与搜索特征图进行互相关运算,获得响应图后利用Transformer融合两个响应图,从而在连续帧之间建立时空上下文映射关系。实验结果表明,在LaSOT长序列跟踪基准上TTTrack的成功率和精确率分别为63.9%和66.6%,在UAV123跟踪基准上的成功率和精确率分别为61.4%和80.2%。与基线算法相比,该算法在完全遮挡场景下的成功率和精确率分别提升7.4和8.0个百分点。TTTrack在DTB70跟踪基准上精确率达到82.1%,并且跟踪速度为118 帧/s,满足实时性要求。测试结果验证了TTTrack具有良好的鲁棒性、实时性和抗干扰能力,能有效应对长时UAV跟踪任务。

多视图专家组区域建议预测的视觉跟踪

为解决大多数最新的目标跟踪器都面临着判别特征表示缺乏多样性、目标定位过于模糊以及正样本的数量要求问题,提出一种基于多视图的顶层特征的区域建议网络的跟踪预测学习算法。融合多种视图的特征表示方式,利用丰富多样的语义信息,有效解决判别特征过于单一的问题。在扩展的边界框上构建多个支持向量机模型并加入区域建议网络模块,精确优化边界框,预测最优的目标位置,缓解目标定位过于模糊和正样本的数量有限的问题。通过大量视频基准序列对方法的综合评价,其结果表明,提出方法融合了轻量化的深度学习模型和多视图专家组的优点,使跟踪性能有了显著提升。

视觉跟踪多转子位移测量

针对当前传统振动传感器在测量旋转体位移时受限于安装和测点数量等问题,将高速工业相机作为采集媒介,在转子振动试验台上进行转子振动视频的采集,并利用基于多目标跟踪的视觉振动测量方法跟踪多个转子目标的全场振动位移。将注意力机制引入残差神经网络,结合特征金字塔网络结构建立改进的特征提取骨干网络,并利用身份重新识别方法来强化相邻帧间目标位移的关联性,跟踪旋转体全场振动位移信号。在转子振动位移测量数据集上对不同网络模型进行定性和定量的比较。结果表明,本文构建的网络模型在边界框回归时能够获取更为紧密的贴合度;将采集的电涡流位移信号作为标准量进行两个转子位移信号的对比实验,结果表明,本文多目标跟踪算法拟合的波形和频谱噪声最小,且能与电涡流信号相匹配;在目标对象模糊情况下的实验也证明本文算法所具有的泛化性能,这也体现出视觉测量在旋转体振动位移跟踪领域的工程应用价值。

基于改进SiamRPN的高速无人船海上目标视觉跟踪研究

对于海上目标的监视侦察,无人船具备成本低、危险性小和隐蔽性好等优势。针对船只目标的抵近监视与跟踪问题,基于自研发的“久航750”7 m级高速无人船目标监视系统,本文提出了一种基于改进孪生候选区域生成网络(Siamese Region Proposal Network, SiamRPN)的海上目标视觉跟踪方法。该方法以ResNet50网络为主干网络,并在Siamese和RPN子网络之间增加了多层特征融合模块,通过对比原始SiamRPN算法、SiamFC(全卷积孪生网络)算法,显示了算法的鲁棒性和准确性。利用该高速无人船抵近监视“智飞号”无人集装箱船的海上数据,完成了由远及近过程中的无人船低速、加速和高速情况下的视觉跟踪测试,试验结果验证了所提算法的可行性和有效性。

一种用于视觉跟踪的低秩上下文感知的相关滤波器

基于DCF的目标跟踪方法在保持实时运行时,由于在精度和鲁棒性之间实现了很好的权衡而备受关注。但是,当出现遮挡、移出视野、平面外旋转等干扰时,现有跟踪器仍面临着模型漂移甚至跟踪失败的情况。为此,提出了一种基于低秩上下文感知的相关滤波器LR_CACF。具体来说,在滤波器学习阶段,直接将目标及其上下文信息集成到DCF框架中,以更好地将目标从背景中鉴别出来;同时,对跨帧视频施加低秩约束以强调时序平滑性,使得学习的滤波器处于一个低维的鉴别流行上,进一步提高了跟踪性能;然后,利用ADMM实现滤波模型的高效优化;此外,针对模型失真的问题,启动多模态检测机制来识别响应图的可靠性,当反馈不可靠时,滤波器停止训练,同时扩大搜索区域,并采用区域重叠的方法重新捕获目标。在OTB-50,OTB-100和DTB70数据集上进行了大量实验,实验结果表明,相对于基线SAMF_CA,在DP方面,LR_CACF分别获得了6.9%,4.0%和7.1%的增益,AUC分别提高了3.6%,2.7%和5.4%。基于属性分析的结果表明,LR_CACF尤其擅长处理遮挡、移出视野、平面外旋转、低分辨率和快速运动等场景。

基于深度学习的快速长时视觉跟踪算法

在目标尺寸变化、遮挡和出视场等复杂长时视觉跟踪环境下,现有基于深度学习的视觉跟踪算法很难对目标进行实时准确的跟踪。针对该问题,提出一种快速的长时视觉跟踪算法,该算法由一个快速短时视觉跟踪算法和一个快速全局重检测模块组成。在基准算法SiamRPN中加入二阶通道与区域空间融合的注意力模块作为短时视觉跟踪算法,在保证快速性的同时,提高算法的短时视觉跟踪精确度和成功率;为使改进后的短时视觉跟踪算法具有快速的长时视觉跟踪能力,在算法中加入提出的基于模板匹配的全局重检测模块,该模块使用轻量级网络和快速的相似度判断方法,加快重检测速率。在OTB100、LaSOT、UAV20L、VOT2018-LT、VOT2020-LT等5个数据集上进行测试,实验结果表明,所提算法在长时视觉跟踪中具有优越的跟踪性能,平均速度达104帧/s。

基于二阶注意力的Siamese网络视觉跟踪算法

为提升基于Siamese网络视觉跟踪算法的特征表达能力和判别能力,以获得更好的跟踪性能,提出了一种轻量级的基于二阶注意力的Siamese网络视觉跟踪算法。使用轻量级VGG-Net作为Siamese网络的主干,获取目标的深度特征;在Siamese网络的末端并行使用所提残差二阶池化网络和二阶空间注意力网络,获取具有通道相关性的二阶注意力特征和具有空间相关性的二阶注意力特征;使用残差二阶通道注意力特征和二阶空间注意力特征,通过双分支响应策略实现视觉跟踪。利用GOT-10k数据集对所提算法进行端到端的训练,并在OTB100和VOT2018数据集上进行验证。实验结果表明:所提算法的跟踪性能取得了显著提升,与基准算法SiamFC相比,在OTB100数据集上,精度和成功率分别提高了0.100和0.096,在VOT2018数据集上,预期平均重叠率(EAO)提高了0.077,跟踪速度达到了48帧/s。

RGBT多模态视觉跟踪方法综述

RGBT视觉跟踪是指融合可见光和热红外多模态图像信息进行视觉跟踪的新兴热点研究课题,合理融合可见光和热红外图像的互补信息可以提高跟踪器的性能和鲁棒性;人工智能技术的发展推动了RGBT多模态视觉跟踪的发展,深度学习技术逐渐代替传统目标跟踪方法,在精确度与速度方面更具有优势;对近年来RGBT多模态视觉跟踪进行了全面综述,整理了RGBT多模态视觉跟踪的发展历程,归纳和讨论了相关算法,具体包括基于相关滤波的方法和基于深度学习的方法;回顾了RGBT多模态视觉跟踪数据集的发展历史,介绍了算法性能评估指标,分析了不同方法在评估数据集上的性能,展望了RGBT多模态视觉跟踪的未来研究趋势;旨在为相关研究者提供全面的概览和参考,以促进RGBT多模态视觉跟踪领域的研究和发展。

基于峰值特性判定模型更新的鲁棒视觉跟踪算法

为解决传统的模型更新算法在视觉跟踪中出现遮挡、光照变化以及自身旋转等情况下存在的鲁棒性较差问题,提出一种利用峰值特性对模型进行选择性更新的鲁棒视觉跟踪算法.该算法首先通过粒子滤波跟踪确定目标位置,接着利用当前模型在当前帧跟踪的结果位置附近进行局部穷搜索,然后通过检测到的峰值分布确定目标置信度的数值矩阵,最后采用峰值旁瓣比阈值判断法确定是否更新当前模型.仿真结果表明:所提算法能够对目标模型进行有效更新,与对比算法比较,在应对视觉跟踪中常见的遮挡、光照变化以及自身旋转等情况时,总体上能够达到更好的跟踪效果.

电弧焊焊接熔池视觉跟踪技术研究

焊接熔池跟踪技术是焊接自动化领域中的关键核心技术之一,其目的是通过对焊接过程中熔池状态的实时监控,自动调整焊接参数,保证焊接质量。通过搭建管道焊接条件,采用机器人自动焊接的方法,搭配CCD滤光相机采集熔池图像序列,随后通过Halcon软件针对熔池图像序列进行分析,采用帧间差分法、光流法对图像进行跟踪处理。利用VS软件与Halcon混编进行界面设计实现程序窗口的输出。试验结果表明:两种算法对于熔池图像序列的视觉跟踪有较好的显示效果,熔池视觉跟踪研究对于实现自动焊具有实际意义。

基于深度网络的无人机视觉跟踪目标识别算法研究

为了解决无人机视觉跟踪目标识别算法在复杂环境下因目标快速移动、光线短时间变化、物体遮蔽以及目标形态变化等因素产生的跟踪识别准确性差的问题,提出一种基于深度全卷积孪生网络的目标识别及跟踪算法,通过放大卷积神经网络的宽度、全卷积孪生网络跟踪算法的特征提取环节,增加回归算法强化识别目标外形轮廓的准确度,提取模版帧和检测帧的特征;采取在线的深度网络跟踪算法有缘特征深度卷积模块,结合注意力信息融合,将初始帧的目标视为固定模版,应用高置信度更新算法计算动态模版,在线实时跟踪过程中,采取傅里叶快速变化识别固定模版与动态模版的目标变化值,将依据颜色特征得到目标的极大似然概率图与前期提取双模版的深度特征进一步融合,抑制背景的同时,实现目标跟踪。实验显示,提出的优化算法应用于无人机复杂场景跟踪后,准确率达到79.9%,成功率达到59.7%,对比其他算法有大幅提升,充分说明了提出算法的优越性。

基于深度特征表达与学习的视觉跟踪算法研究

该文针对视觉跟踪中运动目标的鲁棒性跟踪问题,将深度学习引入视觉跟踪领域,提出一种基于多层卷积滤波特征的目标跟踪算法。该算法利用分层学习得到的主成分分析(PCA)特征向量,对原始图像进行多层卷积滤波,从而提取出图像更深层次的抽象表达,然后利用巴氏距离进行特征相似度匹配估计,进而结合粒子滤波算法实现目标跟踪。结果表明,这种多层卷积滤波提取到的特征能够更好地表达目标,所提跟踪算法对光照变化、遮挡、异面旋转、摄像机抖动都具有很好的不变性,对平面内旋转也具有一定的不变性,在具有此类特点的视频序列上表现出非常好的鲁棒性。

基于深度学习的鲁棒性视觉跟踪方法

传统的视觉跟踪方法(如L1等)大多直接使用视频序列各帧内的像素级特征进行建模,而没有考虑到各图像块内部的深层视觉特征信息.在现实世界的固定摄像头视频监控场景中,通常可以找到一块区域,该区域中目标物体具有清晰、易于分辨的表观.因此,文中在各视频场景内事先选定一块可以清晰分辨目标表观的参考区域用以构造训练样本,并构建了一个两路对称且权值共享的深度卷积神经网络.该深度网络使得参考区域外目标的输出特征尽可能与参考区域内目标的输出特征相似,以获得参考区域内目标良好表征的特性.经过训练后的深度卷积神经网络模型具有增强目标可识别性的特点,可以应用在使用浅层特征的跟踪系统(如L1等)中以提高其鲁棒性.文中在L1跟踪系统的框架下使用训练好的深度网络提取目标候选的特征进行稀疏表示,从而获得了跟踪过程中应对遮挡、光照变化等问题的鲁棒性.文中在25个行人视频中与当前国际上流行的9种方法对比,结果显示文中提出的方法的平均重叠率比次优的方法高0.11,平均中心位置误差比次优的方法低1.0.

基于颜色信息足球机器人视觉跟踪算法

机器人足球比赛是一项非常复杂的高技术对抗活动 ,其中快速准确地识别小球和机器人小车是决策及控制的基础 .在足球机器人视觉跟踪中 ,颜色信息是最主要的识别分割依据 ,由于 HSV模型更接近人眼对颜色的感知 ,在不同光照条件下 ,色调参数 H数值较稳定 ,比较适合用做识别处理的基础 .因此使用色调 H和亮度 V作为识别颜色的参数 ,同时为了提高识别速度 ,作了一些改进 ,并提出一种橙色高尔夫球和机器人小车的快速识别算法 .试验快速准确 ,证明了该算法的可靠性和有效性 .

视觉跟踪技术综述

视觉跟踪问题是当前计算机视觉领域中的热点问题,本文对这一问题进行了详细的介绍．首先,对视觉跟踪技术在视频监视、图像压缩和三维重构等三个主要方面的应用进行了论述．其次,详细阐述了该技术的研究现状,介绍了其中的一些常用方法,为清楚说明这些方法,先对视觉跟踪问题进行了分类,然后介绍了处理视觉跟踪问题的两种思路即自底向上和自顶向下的思路,最后将具体的视觉跟踪方法分为四类进行了介绍,这四类分别是基于区域的跟踪、基于特征的跟踪、基于变形模板的跟踪和基于模型的跟踪．最后,从控制论角度给出视觉跟踪算法所面临的难点,即算法要满足鲁棒性、准确性和快速性要求时所遇到的困难,并对视觉跟踪问题的研究前景进行了展望．

基于动态目标建模的粒子滤波视觉跟踪算法

提出一种根据场景变化动态建立目标模型的粒子滤波视觉跟踪算法.该方法首先选择简单且具有互补性的特征描述当前图像,并统一采用直方图法对这些特征进行建模;然后在粒子滤波框架下,根据巴塔恰里亚测度评价各个目标特征和背景特征之间的可区分程度,动态调整特征间的置信度;并对各个特征似然函数的噪音参量进行在线估计和更新,使其似然函数的度量标准达到统一.分析和实验表明,该算法性能优于仅仅采用多特征融合进行粒子滤波视觉跟踪的方法,对摄像机运动、混淆干扰、遮挡及目标外观大小的改变具有更强的鲁棒性.

基于时序特性的自适应增量主成分分析的视觉跟踪

当前基于增量主成分分析(PCA)学习的跟踪方法存在两个问题,首先,观测模型没有考虑目标外观变化的连续性;其次,当目标外观的低维流行分布为非线性结构时,基于固定频率更新模型的增量PCA学习不能适应子空间模型的变化。为此,该文首先基于目标外观变化的连续性,在子空间模型中提出更合理的目标先验概率分布假设。然后,根据当前跟踪结果与子空间模型之间的匹配程度,自适应调整遗忘比例因子,使得子空间模型更能适应目标外观变化。实验结果验证了所提方法能有效提高跟踪的鲁棒性和精度。

一种易于初始化的类卷积神经网络视觉跟踪算法

该文针对视觉跟踪中运动目标的鲁棒性跟踪问题,基于主成分分析(PCA)和卷积神经网络(CNN),提出一种易于初始化的类CNN提取深度特征的视觉跟踪算法。该算法首先利用仿射变换对原始图像进行处理,然后对归一化尺寸的图像进行分层PCA学习,将学习得到的PCA特征向量作为CNN结构中的各阶滤波器,完成特征提取网络的初始化,再利用特征提取网络获取目标的深层次表达。最后结合粒子滤波,利用一个简单的逻辑回归分类器通过分类估计实现目标跟踪。结果表明,利用这种易于初始化的CNN提取到的深度特征能够有效地区分目标和背景,具有很好的可区分性,提出的视觉跟踪算法对光照变化、尺度变化、遮挡、旋转和摄像机抖动等都具有良好的适应性,在许多视频序列上表现出了较好的鲁棒性和准确性。

基于关键区域特征匹配的视觉跟踪算法

针对视觉跟踪中目标表观的复杂变化问题,提出了一种基于关键区域特征匹配的鲁棒跟踪算法.首先对目标模板进行初始化并通过滤波预测得到目标候选;然后采用自适应标记分水岭算法对目标模板和目标候选进行分割以提取关键区域,并利用像素的空间和频率分布特性对关键区域进行多重特征描述;最后通过关键区域的特征匹配得到目标模板与目标候选的匹配关系,由此确定最终跟踪结果并进行模板更新.对目标发生尺度、遮挡、旋转、光照、姿态、复杂背景以及运动模糊等变化的视频序列进行了仿真测试.实验结果表明,所提算法能够有效处理目标表观的复杂变化问题,尤其对目标的部分遮挡、光照变化以及复杂背景等具有较强的鲁棒性.

基于焊缝视觉跟踪的图像阈值化研究

在焊缝视觉跟踪的图像处理过程中 ,信息量大 ,干扰因素多 ,图像处理速度慢 ,浪费计算机时。为提高处理速度 ,增强焊缝跟踪的实时性 ,结合焊缝图像的特点 ,提取主要信息 ,进行阈值化处理 ,并通过实验分析了人工选取阈值和自动选取阈值的优缺点 ,即人工选取阈值的方法适合于单幅图像 。