基于Transformer复杂运动辨识的机动星凸形扩展目标跟踪方法

针对复杂的机动扩展目标跟踪问题,利用Transformer网络设计了一种有效的星凸不规则形状机动扩展目标跟踪方法。首先,该文研究利用alpha-shape算法建立了星凸形状的变化模型,实现了静态场景下的星凸形扩展目标的形状估计。然后,通过对目标状态转移矩阵进行重新设计,结合Transformer网络对机动扩展目标运动状态转移矩阵进行实时估计,实现了对复杂机动目标运动过程的精准跟踪。进一步地,将估计得到的形状轮廓与运动状态进行融合,最终实现了对星凸形机动扩展目标的实时跟踪。最后,通过构造复杂的机动扩展目标跟踪场景,利用多重性能指标测试算法对形状和运动状态的综合估计性能,验证了算法的有效性。

HRformer:基于多级回归Transformer网络的红外小目标检测

红外小目标检测是指从低信噪比、复杂背景的红外图像中对小目标进行检测,在海上救援、交通管理等应用中具有重要实际意义。然而,由于图像分辨率低、目标尺寸小以及特征不突出等因素,导致红外目标很容易淹没在包含噪声和杂波的背景中,如何精确检测红外小目标的外形信息仍然是一个挑战。针对上述问题,构建了一种基于多级回归Transformer(HRformer)网络的红外小目标检测算法。具体来说,首先为了在获得多尺度信息的同时尽可能避免原始图像信息的损失,采用像素逆重组(PixelUnShuffle)操作对原始图像下采样来获取不同层级网络的输入,同时采用一种可学习的像素重组(PixelShuffle)操作对每一层级的输出特征图进行上采样,提升了网络的灵活性;接着,为实现网络中不同层级特征之间的信息交互,本文设计了一种包含空间注意力计算分支以及通道注意力计算分支在内的交叉注意力融合(cross attention fusion,CAF)模块实现特征高效融合以及信息互补;最后,为进一步提升网络的检测性能,结合普通Transformer结构具有较大感受野以及基于窗口的Transformer结构具有较少计算复杂度的优势,提出了一种局部-全局Transformer(LGT)结构,能够在提取局部上下文信息的同时对全局依赖关系进行建模,计算成本也得到节省。实验结果表明,与目前较为先进的一些红外小目标检测算法相比,本文所提出的算法具有更高的检测精度,同时具有较少的参数量,在解决实际问题中更有意义。

一种基于Transformer编码器与LSTM的飞机轨迹预测方法

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合Transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即Transformer-Encoder-LSTM模型。新模型可同时提供LSTM和Transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

基于视觉Transformer和双解码器的红外小目标检测方法

当前基于卷积神经网络的红外小目标检测方法在编码器阶段受限于感受野,且解码器在多尺度特征融合中缺乏有效的特征交互。本文提出了一种基于编码器-解码器结构的新方法,针对现有红外小目标检测方法中的问题进行改进。该方法使用视觉Transformer作为编码器,能够有效地提取红外小目标图像的多尺度特征。视觉Transformer是一种新兴的深度学习架构,其通过自注意力机制捕捉图像中像素之间的全局关系,以处理长程依赖性和上下文信息。此外,本文还设计了一个由交互式解码器和辅助解码器组成的双解码器模块,旨在提高解码器对红外小目标的重构能力。该双解码器模块能够充分利用不同特征之间的互补信息,促进深层特征和浅层特征之间的交互,并通过将两个解码器的结果进行叠加,以更好地重构红外小目标。在广泛使用的公共数据集上的实验结果表明,本文提出的方法在F1和mIoU两个评价指标上的性能优于其他对比方法。

基于孪生网络和Transformer的红外弱小目标跟踪方法

针对红外弱小目标跟踪准确性较低这一问题,提出一种基于孪生网络和Transformer的红外弱小目标跟踪方法。首先,构建多特征提取级联模块分别提取红外弱小目标模板帧和搜索帧的深度特征,并将二者分别与其对应的HOG特征进行维度层面的串联;其次,引入多头注意力机制Transformer进行模板特征图和搜索特征图的互相关操作,生成响应图;最后,通过响应图上采样网络和边界框预测网络,获得目标在图像的中心位置和回归边界框,完成对红外弱小目标的跟踪。在包含13655张红外图像数据集上的测试结果表明:与KeepTrack跟踪方法相比,成功率提高5.9个百分点,精确率提高1.8个百分点;与TransT(Transformer Tracking)方法相比,成功率提高14.2个百分点,精确率提高14.6个百分点,证明所提方法对复杂背景下的红外弱小目标跟踪准确性更高。

面向空中目标意图识别的时空Transformer模型设计

信息化条件下的战争环境瞬息万变,战场态势数据呈现海量、多样化的特点,导致利用专家经验识别空中目标作战意图的难度越来越高。结合目前先进的智能化方法,对Transformer模型进行研究并将其引入空中目标意图识别领域,设计出一种新的意图识别方法Temporal-Spatial Transformer(TST),可以有效地挖掘战场态势数据中时间域和空间域的深层特征信息,提高空中目标作战意图识别准确率。同时,对4种目前较为先进的神经网络意图识别方法进行效果对比,结果表明,TST模型在各类指标上都取得了突出的效果,优于所有对比的神经网络模型。TST模型不仅有优异的准确率,而且收敛速度极快,可以迅速地抓取战场态势数据中的关键信息进行意图识别。

多尺度Transformer的在线更新无锚框工件跟踪方法研究

针对工业场景目标工件跟踪任务精度低、失败率高的问题,提出了多尺度Transformer在线更新的工件跟踪算法。首先,采用Transformer特征金字塔结构,融合多层次特征信息,以实现鲁棒的对目标表观建模;其次,使用Transformer模块对高级语义信息进行特征融合,使得网络模型专注于目标工件本身;然后,提出了基于排序的交并化(IoU)损失函数优化策略,有效地抑制干扰物对跟踪器影响;最后,设计一种在线更新策略更新目标模板,增强网络的鲁棒性。实验结果表明,在VOT-2018上准确率和失败率分别比基准跟踪器提高3.8%和4.1%,且能保持53 fps的实时跟踪速度;在LaSOT数据集上精度与成功率别为0.578和0.573,均优于基准跟踪器。通过CCD工业相机采集视频序列验证算法可以准确且鲁棒的跟踪目标工件。

基于Transformer的尺度自适应高光谱目标跟踪器

在高光谱目标跟踪领域,由于目标尺度的不断变化,跟踪目标在连续帧之间呈现多样化的尺度,从而引发跟踪精度下降的问题。为解决跟踪目标尺度变化的问题,提出一种基于Transformer的尺度自适应高光谱目标跟踪器,旨在显著提升高光谱目标跟踪在尺度变化方面的准确性。首先,对高光谱图像进行主成分分析降维操作得到3波段图,然后对搜索图像进行SwinBlock-Crop25的预处理,再将模板图像和预处理后的搜索图像输入到D-swin特征提取模块中,实现多块多层深度特征的提取。随后,对获得的特征进行拼接操作,并应用自注意力机制,以更好地捕捉目标在不同尺度下的关键信息。最终,通过一个多层感知机,将经过自注意力处理的搜索图像特征映射为最终的目标边界框,从而完成目标的跟踪过程。实验结果表明,与现有多个先进的跟踪器进行对比,所提跟踪器具备更高的成功率和准确率,在保持实时性的同时,比现有公认最先进目标跟踪算法MixFormer在应对目标尺度变化挑战上成功率高0.9个百分点。

基于CCA和Transformer的YOLOv8船舶目标检测算法

为了提高利用合成孔径雷达图像进行船舶目标检测的精度、准确率和鲁棒性,提出了一种基于YOLOv8的改进算法:CCAT-YOLOv8。在CCAT-YOLOv8算法中,一方面设计了一种坐标通道注意力(coordinate channel attention,CCA)机制模块,用于降低检测受到港口建筑、海岸环境、船舶分布密度和外型大小等因素的影响,提高算法在复杂环境下的检测精度;另一方面基于Transformer网络提出了一种改进Transformer模块用于缓解图像噪点和光污染对检测的干扰,以增强模型对图片深层特征信息的挖掘能力,提升算法目标检测的准确率和可靠性。最后,面向中国资源卫星应用中心提供的船舶数据集对CCAT-YOLOv8算法进行了有效性检测,算法的平均精度为92.57%,准确率达到91.58%,较好地体现了CCAT-YOLOv8算法在船舶目标检测上的内在价值与应用潜力。

基于Swin-Transformer改进的目标跟踪算法

基于STARK目标跟踪方法中采用ResNet为骨干网络,其特征提取能力不足,跟踪效果较差。针对此问题,本文基于Swin-Transformer网络,提出了一种改进的目标跟踪算法。首先,对Swin-Transformer内窗口注意力机制进行多尺度改进,设计多尺度窗口模块MW-MSA,旨在提取更为丰富的局部细节信息,与全局上下文信息共同构成多尺度判别性特征。接着,结合Transformer的编码-解码结构作为特征融合网络,采用优化的多层感知机作为更新分数判断网络构成状态感知模块。最后,针对目标消失、重现挑战,提出了一种多跟踪器融合方法。融合多尺度改进的跟踪算法和SuperDiMP跟踪算法,设计消失状态判断模块,综合考虑两种跟踪器的置信度分数及目标在预测框附近的可能性估计。实验结果表明,相较STARK跟踪算法,本文算法在GOT-10K数据集上的平均重叠率(AO)提升2.7%、成功率SR_(0.5)提高3.3%。在L-LaSOT数据集上,相较于STARK算法,成功率(AUC)提升0.8%,在目标消失重现挑战下成功率提升1%。

融合CNN-Transformer的红外弱小目标检测方法

针对远距离红外目标探测技术中存在的弱小目标特征信息提取困难、局部背景噪声干扰强导致检测算法虚警率和漏检率偏高的问题,提出了融合CNN-Transformer的单帧红外弱小目标检测算法。针对已有方法在提取红外弱小目标特征信息时感受野受限且易受到局部噪声干扰的问题,对Swin Transformer中的窗口自注意力计算模块进行改进,设计了基于可分离卷积的局部感知增强模块,兼顾对全局信息和局部信息的提取,提升骨干网络对弱小目标空间分布信息的提取能力。针对小目标特征难以在深层网络中保留的问题,设计了自下而上的多尺度特征融合模块,在不同层级的特征图之间利用注意力机制确保小目标的低层特征信息能够在高层特征图中得以保留。在公开数据集NUAA-SIRST上进行了测试,验证了本文所提算法相比已有算法取得了更佳的检测效果,同时能够兼顾对检测精度和召回率的优化。

基于两阶段注意力层Transformer的弹道目标多站融合识别

多站弹道目标融合识别旨在利用多个雷达站点信息的互补性提升弹道目标识别性能,而传统多站下弹道目标识别方法未直接考虑多站数据间的关联特性,难以取得准确、稳健的识别性能。针对多站下基于雷达散射截面积(RCS)高速飞行目标的识别问题,提出了一种基于两阶段注意力的弹道目标多站融合识别方法。首先,在现有的Transformer模型上添加维度分段模块将多站雷达数据嵌入于二维向量中,保留站内数据时序及站间关联信息;然后,添加了两阶段注意力层,有效地捕获站内时序信息及跨站维度的依赖关系;最后,基于仿真动态RCS数据模拟多站场景开展了融合识别实验。实验结果表明该方法能够有效提升多站条件下的弹道目标识别性能。

KDTGAN:基于Transformer-GAN和知识蒸馏的高光谱目标检测

高光谱目标检测在地球观测中至关重要,被广泛应用于军事和民用领域。然而,由于高光谱图像的背景复杂性和目标样本的有限性,该任务面临较大的挑战。本文首先采用CEM (约束能量最小化)粗检测方法提取背景数据。随之,引入了一种新的知识蒸馏模型,即KDTGAN (通过Transformer-GAN实现)。教师模型的生成器采用了Transformer编码器的结构,并结合多尺度数据融合的方法,能够准确地学习背景分布,进而通过重构背景信息实现目标检测。为了克服GAN(生成对抗网络)训练不稳定的挑战,特别是纯背景数据的稀缺性,本文提出了一种新的损失算法,以减小可疑目标样本对模型性能的负面影响。为了降低模型的计算负担,本文引入知识蒸馏,并设计新的蒸馏损失对学生模型加以约束,使模型轻量化的同时提高学生模型检测精度。实验结果表明:KDTGAN相较于当前检测方法表现更优,具有更高的检测精度和鲁棒性。

基于Swin Transformer和注意力机制的红外无人机检测算法

红外无人机目标检测在军民领域的应用前景广阔。由于无人机目标尺度较小,空中环境复杂多变,目前普遍存在检测率低和误报率高的现象。针对复杂场景下红外无人机目标检测不良等问题,本文提出ST-YOLOA目标检测模型。首先,使用Swin Transformer网络架构和协调注意力(CA)机制搭建STCNet骨干特征提取网络;其次,特征融合部分采用带残差结构的PANet路径聚合网络构建特征金字塔提升整体特征提取能力,同时改进了上下采样方式以增强检测能力;最后,使用解耦检测头预测无人机目标的位置。试验结果表明,本文提出的模型检测精度为92.8%,检测速度达到了22帧/s,这表明该模型与其他模型相比具有较好的检测效果,且基本满足实时性检测要求,对于多无人机目标场景下的检测具有现实意义。

基于伪全局Swin Transformer的遥感图像识别算法

如何在多目标并列的情况下,确定符合人类思维习惯的核心目标是遥感图像识别的关键之一.因此,在全局视野下,为各目标分配符合人类视觉习惯的注意力,是甄选核心目标的有效途径之一.文中结合Transformer提取全局特征的思想和Swin Transformer对图像栅格化处理可降低计算量的优点,提出基于伪全局Swin Transformer的遥感图像识别算法.构建伪全局Swin Transformer模块,将遥感图像栅格化后的各局部信息聚合为一个特征值,替代以像素为基础的全局信息,以较小计算量为代价,获取全局特征,有效提升模型对所有目标的感知能力.同时,通过以可变形卷积为基础的感受野自适应缩放模块,使感受野向核心目标偏移,提高网络对核心目标信息的关注,从而实现对遥感图像的精确识别.在RSSCN7、AID和OPTIMAL-31遥感图像数据集上的实验表明,文中算法取得较高的识别精度和参数识别效率.

LPformer:基于拉普拉斯金字塔多级Transformer的红外小目标检测

红外小目标检测是指从红外图像中分割出小目标,在火灾探测系统和海上监视及救援系统应用中具有重要意义。然而,由于目标尺寸小、特征不明显、背景环境复杂等因素,导致目前红外小目标检测算法的检测性能通常受到限制。针对上述问题,设计了一种基于拉普拉斯金字塔多级Transformer的红外小目标检测算法。首先,由于红外小目标尺寸较小,容易在网络迭代过程中损失纹理细节信息,利用拉普拉斯金字塔从原始输入的红外图像中提取出不同层级的高频边界信息,进一步通过一种结构信息转换模块与主干网络中不同层级的特征进行融合,用于对损失的纹理信息进行补偿;接着为了进一步提升网络的判别能力,在提高检测准确率的同时抑制虚警率,还采用了一种基于通道维的Transformer结构,将每个通道特征图作为图像块,并沿着通道维进行自注意力的计算。实验结果表明,与目前先进的检测算法相比,本文所提出的算法具有更高的检测性能。

面向遥感目标检测的无锚框Transformer算法

遥感图像目标具有多方向排布、小且密集等特性,使基于深度学习的旋转目标检测算法存在检测精度不佳的问题.针对这一问题,本文提出了一种面向遥感目标检测的无锚框Transformer算法.首先,采用层次化Transformer采集不同分辨率的特征信息以扩大特征信息的采集范围.其次,构建一种新的前馈网络(Spacial-FeedForward Neural network,SFFN).SFFN将3×3深度可分离卷积的局部空间特性和多层感知机(MultiLayer Perceptron,MLP)的全局通道特性融合在一起,以解决前馈网络(Feed Forward Neural network,FFN)在局部空间建模上的不足.最后,基于SFFN架构搭建了无锚框检测器,将预测框回归问题分为水平框与旋转框,缓解了旋转框的损失不连续性问题.在DOTA数据集上的测试结果表明,此方法的平均精度达到了75.83%,同时在NWPU VHR-10数据集上5类小目标检测结果达到了92.47%,在遥感目标检测精度上更具竞争力.

基于Transformer的航空目标检测算法

近几年,基于深度学习的目标检测算法在航空图像检测任务中得到了广泛应用。针对传统水平目标检测算法无法定位航空图像中大量密集排列的倾斜目标问题,提出了TF-BBAVectors模型算法来实现航空图像中倾斜目标的检测任务。为了避免深度卷积神经网络(Deep Convolutional Neural Network,DCNN)带来的网络退化等问题,使用Transformer结构搭建特征提取网络;针对密集的、小尺度图像目标的问题,采用多尺度特征融合的方法提升检测效果;针对倾斜目标检测的问题,通过边界框边缘感知向量表示任意角度的倾斜目标。在DOTA1.0和SSDD+数据集上的部分测试结果表明,此方法的平均精度分别为72.39%和79.98%,证明了TF-BBAVectors模型算法的有效性。

基于Transformer的3D点云目标检测算法

针对在三维目标检测中由于空间维度的增加基于锚框的方法难以部署的问题,研究了基于集合预测的点云目标检测算法。提出一种基于Transformer的3D点云目标检测算法,并结合自动驾驶场景下的点云特点,提出了改进空间调制注意力和热图初始化策略进行训练加速和查询初始化,在浅层网络下取得了良好的检测性能。在KITTI数据集上与其他算法进行比较,结果表明所提算法在性能上已经达到先进水平,进一步对算法中的主要组成部分进行了消融实验,验证了各个模块对检测效果的贡献。

基于Transformer改进YOLOv5的山火检测方法研究

构建智慧生态林业中核心环节为对森林火灾的监测及防范,为了第一时间扑灭火源防止火势蔓延并将可能发生的山火隐患于第一时间消除,提出了两种适用于无人机高空巡检的森林火灾检测模型YOLO_MC与YOLO_MCLite。其中YOLO_MC可对标准图像中的明火及烟雾进行检测,并基于YOLO_MC模型进行轻量化设计,提出适用于热图像中高温区域的检测模型YOLO_MCLite。在网络结构的设计中,首先在常规的卷积神经网络中融合加入了Transformer模型,提升了主干网络对于全局特征信息的感知能力;同时对Transformer模型进行轻量化设计,首先在网络结构上通过分组计算的形式减少tokens数量以降低计算量,其次通过通道注意力机制对特征块的通道数进行去冗余并提权来减少tokens的维度参数以降低计算复杂度,并且采用蒸馏算法从所设计的网络中提取出超轻量化网络应用于无人机红外影像的森林高温点检测,以预防森林火灾的发生。经过实验得出以下数据:所设计的两个检测模型中,其中适用于标准图像中对于明火及烟雾的检测准确率可达94.8%,适用于热图像对高温点的检测准确率可达97.2%,并且在英伟达JETSON TX2嵌入式设备上测试两个模型的帧率分别达到了22.5以及32.4。实验结果表明本文所设计网络能够对森林火灾进行有效检测并可以通过检测高温点及时预防火灾发生。