可见光-红外目标与背景温差特性研究

由于陆地背景环境复杂,单一非制冷红外稳瞄跟踪装置在应用中存在目标识别、跟踪可靠度不高的不足。为解决该问题,首先对典型地面目标与背景的温差特性以及背景环境对红外成像的影响规律进行研究,在此基础上设计具有红外通道和电视通道的复合稳瞄跟踪装置方案,通过对比复合稳瞄跟踪装置与单一红外稳瞄跟踪装置的成像性能,分析复合稳瞄跟踪装置的可行性。背景环境对红外成像的影响规律为:在清晨/傍晚时段,目标与地面温差不足(小于5 K),红外图像存在目标对比度低、信噪比不足的缺陷;正午时段,红外图像存在目标完全淹没在背景中的缺陷。设计的具有红外通道和电视通道的复合稳瞄跟踪装置,电视通道对红外通道的成像质量影响较小(红外通道实际通光量相对减少不到5%),在地面背景红外辐射噪声干扰大的情况下电视通道成像清晰,在目标温差足够的情况下,红外通道成像清晰,验证了红外-电视稳瞄跟踪装置总体方案的可行性;红外-电视复合稳瞄跟踪装置的两个通道形成了良好的互补关系,能够显著拓展稳瞄跟踪装置的适用范围。

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。

基于加权mean-shift可见光/红外双通道目标跟踪

为提高目标亮度突变时的跟踪性能,在每一帧进行目标跟踪时,首先提取可见光图像的颜色特征,红外图像的垂直投影图像和水平投影图像特征,然后利用可见光/红外各自通道的Bhattacharyya系数计算该通道的权值,并对加权mean-shift双通道跟踪方法进行了推导,提出了基于加权mean-shift可见光/红外双通道目标跟踪算法.该方法使前后两帧目标相似度大的通道取大的权值,从而达到有效利用各通道有利信息、提高跟踪性能的目的.实验表明,用本文提出的算法进行可见光/红外双通道目标跟踪时,与基于mean-shift单通道(可见光或红外)目标跟踪算法相比,可提高目标跟踪的准确度,特别是当目标进入树荫区域,引起目标亮度发生显著变化时,跟踪性能基本不受影响.

基于L1-APG的红外与可见光目标实时融合跟踪

针对复杂背景下采用单个传感器跟踪性能差的问题,提出一种基于稀疏表示和L1-APG的红外可见目标融合跟踪算法。对红外与可见光目标分别进行稀疏表示,并以它们的联合重构误差最小为目标构建最优化问题,采用L1-APG算法求解该优化问题,运用最小误差边界约束条件降低算法的计算复杂度,并实现红外与可见光目标模板的动态更新。测试结果表明,该融合跟踪算法在处理目标遮挡、目标旋转移动、目标交叉和夜间光照不均等方面要优于传统的单源跟踪方法。

利用Transformer的多模态目标跟踪算法

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

光谱信息扩展的单目标跟踪技术研究进展

基于可见光图像的单目标跟踪方法经过多年发展,取得了卓越的成效。然而,在低照度、杂乱背景、相似目标干扰等场景时,这类方法的目标表征具有明显的限制。与此相比,热红外图像和多光谱图像提供了热辐射和光谱特性,为目标跟踪技术提供了光谱信息的扩展。基于可见光-红外RGB-T(RGB-Thermal)和多光谱图像的单目标跟踪技术已经取得了一定的进展,然而目前仍缺乏一个全面的综述文献。因此,本文对光谱信息扩展的单目标跟踪技术进行了全面的回顾与分析。首先,本文梳理并总结了光谱信息扩展的目标跟踪框架。在此基础上,详细讨论了基于RGB-T图像的目标跟踪改进方法,包括特征融合策略的设计、先验挑战属性的利用和高质量特征的生成。同时,从多光谱跟踪方法的传统模式、谱段选择策略的构建、多光谱特征的高效表达和适用于多种成像设备的模型设计四个方面,全面阐述了基于多光谱图像的目标跟踪方法的改进策略和方法优势。此外,本文汇总了目前RGB-T和多光谱图像的单目标跟踪数据集和评价指标,对比了不同跟踪算法在这些数据集上的性能表现。最后,探讨了光谱信息扩展的单目标跟踪技术的未来发展趋势,强调了构建大规模数据集、发展多光谱数据的预训练模型、充分表达光谱维度信息、理解红外及高光谱图像数据分布和大模型与目标跟踪技术结合作为未来研究的热点和难点,旨在为该领域的研究人员提供参考和启示。

目标运动轨迹匹配式的红外-可见光视频自动配准

为实现精确的红外-可见光视频序列的自动配准,提出了一种新的基于目标轨迹线匹配的配准方法。首先,利用运动目标检测技术提取目标前景,并由基于相关滤波器(KCF)的多目标跟踪算法对每个前景顶点进行跟踪,进而获取每个目标的运动轨迹。此后,为每条轨迹线建立归一化运动方向描述子与归一化运动幅度描述子,通过时序分析、方向描述子匹配及幅值描述子匹配建立分步约束的匹配机制,完成轨迹线匹配工作。最后,采用迭代更新的方式获取最佳全局配准矩阵,实现对异源视频的配准。在LITIV数据库上的9组视频上进行测试验证,实验的结果表明:本文配准算法的重叠率误差一般小于0.2,接近或已超过手动的Ground-Truth矩阵。通过充分利用目标的运动信息,该算法实现了精确的红外-可见光图像序列配准。

基于可见光与红外图像特征融合的目标跟踪

针对单一图像源下目标跟踪精度不高的问题，利用跟踪状态下的目标存在于可见光与红外图像中的特征对连续自适应均值移动跟踪算法做出改进。首先选取可见光图像的“颜色梯度背投影”作为改进的目标模型，选取红外图像的“灰度梯度背投影”作为改进的目标模型；然后根据可见光序列图像和红外序列图像各自进行连续自适应均值移动跟踪算法得到的对应的口‘系数判定两种图像跟踪的效果，对两种图像的权重进行自适应调整，得到这两种图像的特征级融合图像和跟踪结果。实验结果表明，对于320像素×240像素的可见光和红外图像，基于可见光与红外图像特征融合的目标跟踪算法在复杂背景下能够较准确的跟踪目标，目标跟踪精度为0．5像素，跟踪速度为30～32ms／帧。

雨夜条件下的红外可见光视频融合目标跟踪

针对雨夜条件下目标外观特性衰退,造成目标搜索与跟踪过程中难以适应混杂背景干扰及雨滴突变干扰的问题,提出了一种基于背景抑制的红外可见光融合目标跟踪方法。该方法考虑了目标跟踪时间和空间两方面的外观分布特性,采用了多通道成像数据对前景目标进行特征表示,有效抑制了夜间条件下的混杂背景干扰。在目标模型更新过程中,本文通过分析雨滴突变造成的目标表示变化规律,采用突变检测模型,降低了雨滴突变对模型更新的干扰。实验采用了真实环境采集的雨夜条件的红外可见光视频,实验结果说明,本文方法优于现有目标跟踪方法,能够有效提高雨夜条件下的目标跟踪精度。

基于极化注意力的双模态目标跟踪算法

基于可见光图像的视觉目标跟踪在雨雾天气和光照变化的场景下,其可见光图像信息将变得不再可靠,而红外图像通过反映物体的热源信息成像,能够在上述情况下清晰地成像,因此,利用红外图像与可见光图像的互补性优势,可实现在复杂场景下的鲁棒性跟踪。在特征提取层利用多尺度特征提取结构获得目标在不同尺度感受域的特征,并通过自适应权重分配增强特征选择能力;利用极化注意力机制对特征进行增强,从而有效地融合双模态信息进行鲁棒性跟踪。所提算法在大型红外与可见光数据集GTOT与RGBT234上进行实验验证,精确率和成功率分别达到了90.05%、72.7%与78.7%、55.5%。实验结果表明,所提算法在跟踪精确率与成功率方面均优于目前主流算法。

基于AdaBoost置信图的红外与可见光目标跟踪

针对于复杂场景下,跟踪的目标容易产生漂移甚至跟踪失败的情况,本文提出了一种基于AdaBoost置信图的红外与可见光目标跟踪算法。首先,以颜色和纹理特征为描述子对红外与可见光图像的目标样本与背景样本进行表征和AdaBoost分类,并基于分类度计算得到红外与可见光图像的置信图;然后,在置信图中分别计算它们的目标候选者与其模板置信图之间的相似度,并将两相似度进行加权融合,构建联合目标函数;最后,对目标函数进行泰勒展开和求导等操作,推导出联合位移公式,并运用均值漂移算法完成目标搜索。对多组红外与可见光图像序列对测试结果表明,本文提出的算法在处理光照变化、目标交汇、目标遮挡等方面都表现良好。

高精度红外与可见光视频运动目标智能跟踪方法

为了提高红外与可见光视频运动目标跟踪性能,提出了高精度红外与可见光视频运动目标智能跟踪方法。首先确定红外与可见光视频运动目标特征的权重值,并计算运动目标特征的稀疏程度,提取目标特征,采用卡尔曼滤波算法确定了运动目标的具体位置,采用粒子滤波实现运动目标跟踪算法,最后采用篮球的红外与可见光视频运动目标作为测试对象,结果表明,本文方法不仅可以提高红外与可见光视频中运动目标的跟踪准确率,还可以降低运动目标的跟踪误差,大大提升了运动目标的跟踪性能。

基于红外和可见光融合的目标跟踪

针对单一图像源下目标跟踪精度不高和当目标存在部分遮挡时目标跟踪丢失的问题,本文提出了一种结合红外图像和可见光图像特征进行融合的方法.首先在进行目标跟踪时,提取可见光图像的颜色信息作为目标模型的参数,提取红外图像的灰度信息作为目标模型的参数,并分别得到目标位置及其子图.然后再利用目标子图和目标模型分别进行Bhattacharyya系数的计算,根据权值函数来计算各自系数的权值,最后用Mean Shift算法对加权后的目标进行跟踪.该方法充分利用了红外图像与可见光图像的优点,提高了目标跟踪的精度,解决了当目标存在部分遮挡时目标跟踪丢失的问题.

可见光与红外融合目标跟踪技术研究进展综述

目标跟踪是计算机视觉领域中的一个重要的问题,自从被提出以来逐渐发展出了不同类型的技术方法;由于可见光与红外光在目标跟踪方面存在互补性,两者融合的目标跟踪技术在性能和鲁棒性上比传统目标跟踪方法更具有优势;近年来,人工智能技术的发展推动了可见光与红外融合目标跟踪技术的快速进步;面向可见光与红外融合目标跟踪技术的发展历程,首先针对可见光与红外融合领域经典方法和近年来出现的技术进行梳理和总结,特别是对近两年的研究进展进行了归纳整理,具体包括基于Transformer、基于注意力机制、基于时间序列、自适应融合和基于多模态编解码器的可见光与红外融合目标跟踪方法;然后介绍了可见光与红外融合数据集及目标跟踪的评价指标;最后对未来的发展方向作了展望。

基于α-β-γ-δ滤波的红外跟踪系统目标跟踪控制方法

提出了一种基于α-β-γ-δ预测滤波算法的红外跟踪系统目标跟踪控制方法。对该方法的目标跟踪回路控制进行了仿真。在实际红外跟踪系统及控制器上实现了该方法,并比较了采用该方法前后的运动目标跟踪精度。结果表明,α-β-γ-δ预测滤波能抑制脱靶量噪声和滞后对运动目标跟踪的影响,具有较高的跟踪精度。

基于红外与可见光的鲁棒压缩感知跟踪方法

为了解决复杂背景下遮挡、光照变化或噪声干扰时跟踪的效果容易受到干扰的问题,提出了一种基于红外与可见光的双通道鲁棒的压缩感知目标跟踪方法。该方法提取红外和可见光双通道的多个特征,采用压缩感知的稀疏采样特性,去除稀疏跟踪算法中非负性假设。提出了一种粒子滤波框架下的压缩感知的目标跟踪算法,同时给出一种目标模板根据Bhattacharyya系数自适应更新方法。实验采用复杂环境下多组图像序列,结果表明该方法与3种优秀的跟踪算法相比,具有更强的鲁棒性与更高的跟踪精度,同时减少了数据计算量,实现了复杂环境下图像目标的稳定跟踪。

RGB-T目标跟踪综述

RGB-T目标跟踪是基于RGB目标跟踪问题发展而来的.为了提高复杂环境下的目标跟踪性能,学者们提出结合可见光和热红外的信息来克服单一成像受限的问题.本文首先介绍了RGB-T目标跟踪的研究背景,并指出该任务所面临的挑战,然后归纳并介绍了目前已有的RGB-T目标跟踪的几类方法,包括传统方法和深度学习方法.最后,本文对现有的RGB-T数据集、评价指标进行了分析和对比,并指出RGB-T跟踪中值得研究的方面.

一种基于运动估计的红外目标跟踪方法

为解决红外目标跟踪中目标的交错、遮挡等问题,提出了一种新的基于运动估计的目标跟踪方法。建立目标的方向梯度-灰度直方图特征模型,该模型能较准确地刻画目标特征。使用最大后验概率指标在搜索区域进行目标匹配,该指标能很好地突出目标、抑制背景,并容易得到全局最优解。提出一种新的运动估计方法,即轨迹预测算法,对目标的运动进行较准确的估计。实验结果证明,该方法不仅计算复杂度低,而且能够较好地解决目标交错、遮挡等问题。

基于多模态双向信息增强的RGBT跟踪网络

可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一种多模态双向信息增强的RGBT跟踪网络(MBIENet)。设计了一种特征聚合模块,用于聚合模态共享特征和模态特定特征以建模目标外观信息;提出了一种新的多模态双向调制融合模块,可有效融合模态互补信息,减少冗余特征和无用特征对跟踪器的影响;提出了一个轻量化的通道空间注意力模块,可自适应调整不同环境下不同模态的贡献。在GTOT、RGBT234和LasHeR数据集上的实验结果表明:所提跟踪算法的准确率和成功率优于当前主流的跟踪算法。

多层次特征交互的双模态目标追踪算法

红外与可见光(RGB and Thermal,RGBT)目标跟踪得益于可见光与热红外2种模态数据的互补优势能够很好地提升跟踪器在部分极端环境下的目标定位能力。现有工作主要集中于如何对2种模态的特征进行提取和融合,忽略了不同模态中分层深度特征的潜在价值,这些分层深度特征对目标的定位与分类有着重要的作用。为此,提出了一种多层次特征交互的多模态自适应融合目标跟踪算法(Multi-layer Feature Interaction and Modal-adaptation Fusion Network,MIMFNet),通过特征提取器和注意力机制对分层特征进行提取与自适应校准;分层特征聚合子网将不同层的特征进行自上而下相互聚合,使低层特征不仅保留了自身的空间细节也获取了高层特征的语义信息。设计了一种多模态信息传递模块对2种模态的分层信息进行自适应融合,使模型聚焦到质量更高的特征通道上。通过多个公开数据集上的大量实验结果表明,提出的多模态目标跟踪算法具有优良的抗干扰特性,特别是由于尺度变化(Scale Variation,SV)、热交叉(Thermal Crossover,TC)和遮挡(Occlusion,OCC)等因素引起的跟踪漂移得到了显著优化。