基于深度学习的红外目标检测综述

红外图像由于分辨率低、纹理细节不足,且缺乏颜色信息,导致目标成像模糊,检测难度大。基于深度学习的红外目标检测技术,通过运用神经网络自动提取复杂的目标特征,大大提高了检测精度和检测效率,在自动驾驶、安防监控、军事侦察等领域得到了非常广泛的应用。该文对红外目标检测面临的困难和挑战进行了详细分析,并从数据增强、迁移学习、视觉注意力机制、多尺度特征融合、多模态图像融合和轻量化改进等六个方面,对基于深度学习的红外目标检测研究改进方向进行了系统阐述。针对红外目标检测数据集缺乏的问题,梳理汇总了11个红外目标检测数据集。同时,结合当前发展现状,对红外目标检测的未来发展方向进行了展望,可为其他研究者提供参考借鉴。

改进YOLOX中特征融合结构的目标检测方法

因无人机俯拍视角的特殊性,航拍目标在成像中呈现出小尺度/多尺度、外观相似度高、背景复杂干扰大等特点,导致航拍目标检测相对通用目标检测更具挑战和难度。为了解决该问题,针对通用目标检测中常用于融合多尺度特征的路径聚合网络(Path Aggregation Network, PANet)模块,本文提出一种改进PANet的多距离关联依赖MDAD (Multi-Distance Association Dependency)模块,该模块包含跨层连接和同层连接两种连接方式,通过密集的跨尺度交互融合增强不同尺度特征层的弱特征信息。同时,基于YOLOX框架和所提出的MDAD模块,构建了更加适合航拍多尺度复杂目标的检测方法。在公开的典型航拍目标检测数据集VisDroneDet上,实验验证了本文所提方法的有效性。所提模块可适用于在不同模型大小的主干网络上进行扩展,具有较好的实际应用价值。

小样本SAR图像分类方法综述

合成孔径雷达(synthetic aperture radar,SAR)图像分类作为SAR图像应用的重要底层任务受到了广泛关注与研究。SAR图像分类是处理和分析遥感图像的重要手段,在环境监测、目标侦察和地质勘探等任务中发挥着关键作用,但是目前基于深度学习的SAR图像分类任务存在小样本问题。本文针对小样本SAR图像分类方法进行全面的论述和分析。1)介绍了SAR图像分类任务的重要性和早期的SAR图像分类方法,并阐述了小样本SAR图像分类任务的必要性。2)介绍了小样本SAR图像分类任务的定义、常用的数据集、评价指标和应用。3)整理了各类方法的贡献点和使用的数据集,将已有的小样本SAR图像分类方法分为基于迁移学习的方法、基于元学习的方法、基于度量学习的方法和综合性方法 4类。根据分类总结了4类方法存在的缺陷,为后续工作提供了一定的参考。在统一的框架内测试了16种可见光数据集方法迁移到SAR图像数据集上的分类性能,并从分类精度和运行时间两个方面综合评估了小样本学习模型迁移效果。该项工作利用SAR图像分类通用数据集MSTAR(moving and stationary target acquisition and recognition)完成,极大地补充了小样本SAR图像分类任务的测评基准。4)对小样本SAR图像分类方法的发展趋势进行了展望,提出了未来可能的一些严峻挑战。

重参数化增强的双模态实时目标检测模型

无人机高空航拍的目标普遍尺寸小、特征弱,而且受复杂天候条件影响大,导致基于可见光或红外单模态图像的目标检测漏检、误检率较高。对此,提出了重参数化增强的双模态实时目标检测模型DM-YOLO。首先,采用通道拼接的方法融合可见光和红外图像,以极低的成本融合双模态图像的互补信息。其次,提出更加高效的重参数化模块并基于此构建了更加强大的骨干网RepCSPDarkNet,有效增强了骨干网对双模态图像的特征提取能力。然后,提出了多层次特征融合模块,通过多感受野卷积和注意力机制融合弱小目标的多尺度特征信息,增强了弱小目标的多尺度特征表示。最后,删除了对弱小目标检测基本不起作用的特征金字塔深层检测层,在检测精度保持不变的情况下,减小了模型规模。实验结果表明,在大规模的双模态图像数据集DroneVehicle上,DM-YOLO的检测精度比基准YOLOv5s高出2.45%,且优于规模相当的YOLOv6和YOLOv7模型,有效提高了复杂光照条件下目标检测的准确性和鲁棒性,同时检测速度达到82 FPS,可满足实时检测的需求。

多尺度特征融合的双模态目标检测方法

基于可见光图像的目标检测,难以适应弱光、无光、强光等复杂光照条件,而基于红外图像的目标检测,受背景噪声影响大,且红外目标缺乏颜色信息,纹理细节特征弱,给目标检测带来较大挑战。对此,提出了一种能够有效融合可见光与红外图像特征的双模态目标检测方法。对输入的成对的双模态图像分别提取其初级特征;提出了多尺度特征注意力模块,对输入的红外与可见光图像分别提取其多尺度局部特征,并引入通道注意力和空间像素注意力,从通道和像素两个维度聚焦双模态图像的多尺度特征信息;提出双模态特征融合模块,对双模态特征信息进行自适应融合,得到双模态图像的多尺度融合特征。在大规模双模态图像数据集DroneVehicle上,与基准算法YOLOv5s利用可见光或红外单模态图像进行检测相比,所提算法检测精度分别提升了13.42和2.27个百分点,同时检测速度达到164 frame/s,具备端到端的实时检测能力。所提算法有效提高了复杂场景下目标检测的鲁棒性和准确性,具有良好的应用前景。