基于红外影像层次旋转匹配的飞行器定位方法

基于图像匹配的飞行器自主视觉定位技术是飞行器导航制导、态势感知和自主决策的关键技术之一。针对红外遥感影像在大角度旋转下飞行器匹配定位失效的问题,提出了一种基于层次结构强化的特征点旋转匹配定位方法。该方法通过融合深度特征点提取与层次结构强化的旋转匹配定位技术,有效实现了飞行器匹配定位。首先设计了一个集成残差连接编码器的RBN-SuperPoint深度特征点提取模型,用于检测和描述待匹配图像中的深度特征点。其次构建了基于线性注意力和置信度分类器的L-LightGlue自适应匹配算法,利用L-LightGlue进行特征点粗匹配,生成单应性变换矩阵。随后采用层次结构强化的旋转匹配策略,根据粗匹配得到的单应性变换矩阵对图像进行旋转处理,消除图像间的角度差异,并进行精确匹配。再通过将结果映射至原图像,得到旋转校正后的特征点匹配结果和对应的单应性变换矩阵。最后利用图像间变换关系确定飞行器在图像中的位置,完成视觉定位。实验结果表明:RBN-SuperPoint可以高效提取大量均匀分布的特征点,所提基于L-LightGlue的匹配定位算法的匹配准确率最高可达98.57%,平均定位误差仅为4.08 pixel。

基于Swin Transformer和注意力机制的红外无人机检测算法

红外无人机目标检测在军民领域的应用前景广阔。由于无人机目标尺度较小,空中环境复杂多变,目前普遍存在检测率低和误报率高的现象。针对复杂场景下红外无人机目标检测不良等问题,本文提出ST-YOLOA目标检测模型。首先,使用Swin Transformer网络架构和协调注意力(CA)机制搭建STCNet骨干特征提取网络;其次,特征融合部分采用带残差结构的PANet路径聚合网络构建特征金字塔提升整体特征提取能力,同时改进了上下采样方式以增强检测能力;最后,使用解耦检测头预测无人机目标的位置。试验结果表明,本文提出的模型检测精度为92.8%,检测速度达到了22帧/s,这表明该模型与其他模型相比具有较好的检测效果,且基本满足实时性检测要求,对于多无人机目标场景下的检测具有现实意义。

基于深度学习的X射线焊缝缺陷识别

为了提高缺陷识别效率,提出利用基于深度学习网络进行焊缝缺陷识别。在分析X射线焊缝缺陷图像特征的基础上,构建一种基于模拟视觉感知原理的深度学习网络结构,并对卷积神经网络的卷积模板大小及层数进行了分析,对卷积神经网络隐藏层中2种不同的激活函数进行了实验验证,针对性地提出优化方法。该深度学习神经网络可以避免对焊缝缺陷图像特征的提取,直接判断疑似缺陷图像是否为缺陷。对580张图像进行了实验,结果表明,本文所提方法对SDR图像的识别准确率超过98%,优于传统方法。且所设计系统具有自动学习X射线焊缝缺陷图像中复杂的深度特征的特点,实用性较强。

计算机视觉中的Transformer发展综述

Transformer是基于自注意力机制的编码器-解码器架构模型,擅长建立远距离依赖关系,已经成为自然语言处理领域的主流模型.受Transformer在自然语言处理领域中取得巨大成功的启发,近两年一些开创性的工作开始研究如何将Transformer应用于计算机视觉领域,并取得了显著的成果,目前视觉Transformer依然是研究的热点.本文对近年来Transformer在多个视觉任务上的应用与发展进行梳理、分析与总结.首先阐述了视觉Transformer基本结构与实现原理,分析了模型结构的特点与优势,梳理了视觉Transformer的研究进展.其次,介绍了Transformer在高层视觉任务、底层视觉任务和多模态任务上的典型应用模型,并详细对比了在图像分类、检测和分割领域典型视觉Transformer模型的性能指标.最后总结了当前视觉Transformer各类模型存在的问题与难点,并指出未来的发展方向.

基于GCI-CycleGAN风格迁移的跨模态地理定位方法

近年来基于视觉的飞行器自主视觉定位技术发展迅速,是飞行器导航制导、态势感知和自主决策的关键技术之一。针对现有跨模态地理定位任务中存在模态差异大、匹配难度大、定位鲁棒性差等问题,提出了一种基于GCI-CycleGAN风格迁移的跨模态地理定位方法,通过将风格迁移算法、特征匹配算法和地理定位方法相结合,实现了飞行器跨模态地理定位。首先,获取无人机航拍的正下视实时红外图像和地理位置信息已知的可见光图像;其次,基于生成对抗网络图像风格转换的思想,设计新的生成对抗损失函数,构建并训练了GCI-CycleGAN模型,将可见光图像转换为红外图像;然后,利用SIFT、SURF、ORB、LoFTR、DFM匹配算法对生成的红外图像与实时红外图像进行匹配;最后,通过透视变换获得实时红外图像中心点在生成图像中的位置,再将该定位点映射到相应的可见光图像上,得到最终的地理定位结果。实验表明,GCI-CycleGAN相比CycleGAN网络可以有效提高图像风格迁移质量,与DFM智能匹配算法结合的匹配成功率最高可达99.48%,比原始跨模态匹配结果提高了4.73%,平均地理定位误差仅为1.37 pixel,取得了更加精确、鲁棒的地理定位结果。

高动态条件下增量惯导信息辅助的空地红外弱小移动目标检测算法(特邀)

红外弱小移动目标检测技术是计算机视觉的研究热点和难点。针对机载高动态条件下的空地目标检测存在的场景变化动态、背景干扰强度大、目标运动规律未知等挑战,提出了一种新型的基于增量惯导信息辅助的空地红外弱小移动目标检测算法。为了解决传统惯导信息预测的漂移误差问题,提出了增量惯导信息概念,设计了增量惯导信息的位置预测模型,实现了对目标点的准确预测。构建了基于增量惯导信息辅助与背景差分的移动目标检测框架,通过增量惯导信息对不同位姿下的成像进行校正,引入基于爬山法互相关匹配算法计算校正后图像的平移参数,采用高斯加权对背景图像进行估计,最后通过图像分割检测弱小移动目标。仿真实验验证了文中设计检测算法的有效性和精确性。

六旋翼无人机空基智能排爆系统设计与实现

近年来随着无人机技术的快速发展,各种“无人机+”代替人工作业的成功案例更是层出不穷。所设计的空基智能排爆系统是融合了无人机自主导航、深度学习和YOLOv5目标检测等技术,并将排爆执行机构、双光一体云台吊舱和实时图像传输等硬件装置相结合形成的系统。实验结果表明,该系统具有视觉搜寻范围广、目标识别精度高、可操作性强、排爆行动迅速等优点。在实际操作过程中,操作人员控制该系统抓取、转移和销毁未爆弹,人员作业位置远离未爆弹杀伤的有效半径,解决了未爆弹(UXO)拆除过程中潜在的伤亡问题。

基于跨模态数据增强的红外时敏目标检测技术

目前红外时敏目标检测技术在无人巡航、精确打击、战场侦察等领域应用广泛,但有些高价值目标图像的获取难度高且成本昂贵。针对红外时敏目标图像数据匮乏、缺少用于训练的多场景多目标数据、检测效果不佳等问题,文中提出一种基于跨模态数据增强的红外时敏目标检测技术,跨模态数据增强方法为两阶段模型。首先在第一阶段通过基于CUT网络的模态转换模型将包含时敏目标的可见光图像转换为红外图像,其次在第二阶段模型中引入coordinate attention注意力机制,随机生成大量红外目标图像,实现了数据增强效果。最后提出一种基于SE模块和CBAM模块改进的Yolov5目标检测架构,实验结果表明,文中提出的Yolov5(CSP-A)目标检测技术与原网络相比,准确率提升了7.36%,召回率提升了5.43%,平均精度提升了2.74%。有效提高了红外时敏目标的检测精度,实现了红外时敏目标精确检测。

基于遥感影像的智能景像匹配适配区选择方法

飞行器景像匹配适配区选择是飞行器实现景像匹配视觉导航的前提。近年来,人们基于层次规则提出了许多适配区选择方法,也取得了良好的效果,但这些方法缺少对深度特征的提取能力,通用性较差,且存在一定的误选现象。针对这一问题,提出了一种基于深度特征的智能景像匹配适配区选择方法。所提方法利用深度学习ResNet-50网络结构实现对景像区高维特征的提取,通过深度特征匹配方法计算匹配误差与匹配概率,实现对适配区的选取。实验结果表明,所提方法与传统的适配区选择方法相比,适配成功率平均提高40%以上,鲁棒性更强。该方法避免了繁琐的适配性能指标选择流程,可应用于不同场景下的适配区选择,改善适配区域选择的有效性和泛化性。