基于深度学习的小目标检测基准研究进展

小目标检测是计算机视觉中极具挑战性的任务.它被广泛应用于遥感、交通、国防军事和日常生活等领域.相比其他视觉任务,小目标检测的研究进展相对缓慢.制约因素除了学习小目标特征的内在困难,还有小目标检测基准,即小目标检测数据集的稀缺以及建立小目标检测评估指标的挑战.为了更深入地理解小目标检测,本文首次对基于深度学习的小目标检测基准进行了全新彻底的调查.系统介绍了现存的35个小目标数据集,并从相对尺度和绝对尺度(目标边界框的宽度或高度、目标边界框宽高的乘积、目标边界框面积的平方根)对小目标的定义进行全面总结.重点从基于交并比及其变体、基于平均精度及其变体以及其他评估指标这3方面详细探讨了小目标检测评估指标.此外,从锚框机制、尺度感知与融合、上下文信息、超分辨率技术以及其他改进思路这5个角度对代表性小目标检测算法进行了全面阐述.与此同时,在6个数据集上对典型评估指标(评估指标+目标定义、评估指标+单目标类别)下的代表性小目标检测算法进行性能的深入分析与比较,并从小目标检测新基准、小目标定义的统一、小目标检测新框架、多模态小目标检测算法、旋转小目标检测以及高精度且实时的小目标检测这6个方面指出未来可能的发展趋势.希望该综述可以启发相关研究人员,进一步促进小目标检测的发展.

基于改进YOLOv5s的小目标检测算法

针对当前主流目标检测算法对图像中远距离小目标产生的漏检、误检等问题,提出一种改进YOLOv5s的小目标检测算法。在模型训练过程中,通过引入Focal-EIOU定位损失函数,加强边界框的定位精度;在骨干网络中,通过添加小目标检测层,提高小目标的检测精度;在Neck结构中,通过优化上采样算子和添加注意力机制,加强小目标的特征信息。实验结果表明,改进后的算法在VisDrone数据集上与YOLOv5s算法相比,mAP@small提高了3.2%,且检测速度满足实时性的要求,能够很好地应用于小目标检测任务中。

雷达信号与遥感地图融合的深度学习低慢小目标检测算法

雷达复杂环境低慢小目标检测是一项具有挑战性的任务,而利用深度学习以及数据特征融合等方法是解决这一难题的有效手段。本文在雷达地图融合检测网络(Radar Map fusion Detection Network,RMDN)的基础上进行了优化,主要优化方向为将雷达与地图信息在检测过程中进行重要性程度区分,具体优化内容为减少地图特征提取模块的网络深度,加入通道注意力机制,让神经网络自主学习雷达信息与地图信息特征的权重,使神经网能够更好地利用地图信息对雷达目标进行辅助检测。在此优化基础上,本文重新设计出了雷达地图融合检测网络RMDN-V2。算法的主要思想为利用卫星遥感地图来提供背景环境信息,作为雷达信号检测的辅助,通过将目标背景中的特征信息融入检测决策中,提高目标检测的准确性和鲁棒性,减少对强杂波和移动物体的干扰敏感性,改善目标检测算法在复杂环境下的表现。最后的无人机雷达实测数据实验结果表明,本文所做的针对性优化是有效的,RMDN-V2的检测性能优于原始的RMDN,同时本文算法检测性能远超传统的雷达检测算法,同时也优于目前主流的一些深度学习雷达目标检测算法。本文为解决当下低慢小目标检测的难题提出了新的算法。

基于图像低维特征融合的航拍小目标检测模型

针对无人机航拍图像目标检测中视野变化大、时空信息复杂等问题,文中基于YOLOv5(You Only Look Once Version5)架构,提出基于图像低维特征融合的航拍小目标检测模型.引入CA(Coordinate Attention),改进MobileNetV3的反转残差块,增加图像空间维度信息的同时降低模型参数量.改进YOLOv5特征金字塔网络结构,融合浅层网络中的特征图,增加模型对图像低维有效信息的表达能力,进而提升小目标检测精度.同时为了降低航拍图像中复杂背景带来的干扰,引入无参平均注意力模块,同时关注图像的空间注意力与通道注意力;引入VariFocal Loss,降低负样本在训练过程中的权重占比.在VisDrone数据集上的实验验证文中模型的有效性,该模型在有效提升检测精度的同时明显降低复杂度.

基于上下文信息与特征细化的无人机小目标检测算法

无人机航拍图像中的目标检测是近年来研究的热点,针对无人机视角下目标小而密集、背景复杂导致检测精度低的问题,提出一种基于上下文信息与特征细化的无人机小目标检测算法。通过上下文特征增强模块,利用多尺度扩张卷积捕获与周围区域像素点的潜在关系,为网络补充上下文信息,并根据不同尺度的特征层自适应生成各层级特征图的输出权重,动态优化特征图表达能力;由于不同特征图细粒度不同,使用特征细化模块来抑制特征融合中冲突信息的干扰,防止小目标特征淹没在冲突信息中;设计了一种带权重的损失函数,加快模型收敛速度,进一步提高小目标检测精度。在VisDrone2021数据集进行大量实验表明,改进后的模型较基准模型mAP50提高8.4个百分点,mAP50:95提高5.9个百分点,FPS为42,有效提高了无人机航拍图像中小目标的检测精度。

MFE-YOLOX:无人机航拍下密集小目标检测算法

针对无人机航拍时物体尺度变化大,检测目标大多较小且物体较密集的问题,提出一种混合特征增强结构(mix feature enhancement, MFE)方法。通过在超分辨率方法中加入注意力机制以增强小目标信息提取,利用一种新的特征层融合计算方法,加强不同特征层间的融合效率,提高了中小型目标的检测精度;设计了尾端感受野扩大层以扩大尾端特征层感受野,使检测头可接收丰富的物体信息来定位并区分密集物体。实验在数据集VisDrone2021的测试集上进行测试,MFE-YOLOX网络的AP50结果为47.78%,在参数量、计算量与原网络相近的情况下精度提高了9.43个百分点。

改进的YOLOv5s遥感影像机场场面飞机小目标识别

遥感影像具有地物拍摄模糊以及背景环境复杂等特点,导致大面积地面物体识别准确率较低。针对此问题,提出了一种基于YOLOv5s改进网络模型。该模型对YOLOv5s中的骨干提取网络和颈部多尺度特征融合网络进行优化,引入Swin Transformer以获得更多关于目标物体的特征信息;同时对骨干网络中的模块做了修剪;此外,模型中还添加了坐标注意力机制来提升特征提取和融合效果。对于遥感数据集进行了小目标检测识别测试实验,改进后的YOLOv5s网络的mAP值为0.8375,比YOLOv5s网络模型提高了0.0225。实验结果表明,改进后的YOLOv5s网络模型对比YOLO系列网络和EfficientDet模型有效地提高了识别准确率、召回率以及mAP值,并且在训练时间上也比YOLOv5s减少了1/12。

基于ATO-YOLO的小目标检测算法

小目标检测在计算机视觉领域具有重要意义,但现有方法在应对小目标的尺度变化、目标密集和无规则排列等挑战时经常出现漏检和误检的问题。为解决这些问题,提出基于改进YOLOv5算法的ATO-YOLO。为提升检测模型的特征表达能力,提出一种结合注意力机制的自适应特征提取模块(adaptive feature extraction,AFE),通过动态调整权重分配突出关键目标的特征表示,提高目标检测任务在不同场景下的准确性和鲁棒性。设计一种三重特征融合机制(triple feature fusion,TFF),能够在不同尺度下充分利用多尺度信息,将多个尺度的特征图融合,以获取更全面的目标特征,提升对小目标的检测效果。引入一种输出重构模块(output reconstruction,ORS),通过去除大目标检测层并增加小目标检测层,实现精确定位和识别小目标,并且相对于原模型复杂度更低,检测速度更快。实验结果表明,ATO-YOLO算法在VisDrone数据集上的mAP@0.5达到了38.2%,较原YOLOv5提升了6.1个百分点,且FPS较改进前提升了4.4%,能够快速准确地对小目标进行检测。

高阶深度可分离无人机图像小目标检测算法

当前无人机图像中存在小目标数量众多、背景复杂的特点,目标检测中易造成漏检误检率较高的问题,针对这些问题,提出一种高阶深度可分离无人机图像小目标检测算法.首先,结合CSPNet结构与ConvMixer网络,深度可分离卷积核,获取梯度结合信息,并引入递归门控卷积C3模块,提升模型的高阶空间交互能力,增强网络对小目标的敏感度;其次,检测头采用两个头部进行解耦,分别输出特征图分类和位置信息,加快模型收敛速度;最后,使用边框损失函数EIoU,提高检测框精准度.在VisDrone2019数据集上的实验结果表明,该模型检测精度达到了35.1%,模型漏检率和误检率有明显下降,能够有效地应用于无人机图像小目标检测任务.在DOTA 1.0数据集和HRSID数据集上进行模型泛化能力测试,实验结果表明,该模型具有良好的鲁棒性.

裂缝小目标缺陷的轻量化检测方法

及时且准确捕获井壁出现的微小裂缝,对于井筒安全意义重大.轻量化检测模型是推动井壁裂缝自动检测的关键,打破现有方法聚焦于提取深层语义信息的局限,重视浅层特征表征的几何结构信息的应用,针对井壁裂缝提出轻量化检测模型E-YOLOv5s.首先融合普通卷积、深度可分离卷积和ECA注意力机制设计轻量化卷积模块ECAConv,再引入跳跃链接构建特征综合提取单元E-C3,得到骨干网络ECSP-Darknet53,它负责显著降低网络参数,同时增强对裂缝深层特征的提取能力.然后设计特征融合模块ECACSP,利用多组ECAConv和ECACSP模块组建细颈部特征融合模块E-Neck,旨在充分融合裂缝小目标的几何信息和表征裂缝开裂程度的语义信息,同时加快网络推理速度.实验表明,E-YOLOv5s在自制井壁数据集上的检测精度相较YOLOv5s提升了4.0%,同时模型参数量和GFLOPs分别降低了44.9%、43.7%.E-YOLOv5s有助于推动井壁裂缝自动检测的应用.

基于改进YOLOv7的遥感图像小目标检测方法

针对遥感图像中小目标数量众多且背景复杂所导致的识别精度低的问题,提出了一种改进的遥感图像小目标检测方法。该方法基于改进的YOLOv7网络模型,将双级路由注意力机制加入至下采样阶段以构建针对小目标的特征提取模块MP-ATT(max pooling-attention),使得模型更加关注小目标的特征,提高小目标检测精度。为了加强对小目标的细节感知能力,使用DCNv3(deformable convolution network v3)替换骨干网络中的二维卷积,以此构建新的层聚合模块ELAN-D。为网络设计新的小目标检测层以获取更精细的特征信息,从而提升模型的鲁棒性。同时使用MPDIoU(minimum point distance based IoU)替换原模型中的CIoU来优化损失函数,以适应遥感图像的尺度变化。实验表明,所提出的方法在DOTA-v1.0数据集上取得了良好效果,准确率、召回率和平均准确率(mean average precision,mAP)相比原模型分别提升了0.4、4.0、2.3个百分点,证明了该方法能够有效提升遥感图像中小目标的检测效果。

基于改进YOLO v5算法的道路小目标检测

为解决交通道路小目标检测难度大、精度低,容易出现错检漏检的问题,提出一种基于YOLO v5(you only look once v5)算法的多尺度特征融合目标检测改进算法。首先,增加小目标检测头用于适应小目标尺寸,缓解漏检情况。然后,引入可变形卷积网络v2(deformable convolutional networks V2,DCN V2)提高模型对运动中小目标的学习能力;同时,增加上下文增强模块,提升对远距离小目标的识别能力。最后,在替换损失函数、提高边界框定位精度的同时,使用空间金字塔池化和上下文空间金字塔卷积分组模块,提高网络的感受野和特征表达能力。实验结果表明,所提算法在KITTI数据集小目标类别上平均识别精度达到了95.2%,相较于原始YOLO v5,算法总体平均识别精度提升了2.7%,对小目标的检测效果更佳,平均识别精度提升了3.1%,证明所提算法在道路小目标检测方面的有效性。

基于YOLOv5s的改进实时红外小目标检测

针对红外图像分辨率低、背景复杂、目标细节特征缺失等问题,提出了一种基于YOLOv5s的改进实时红外小目标检测模型Infrared-YOLOv5s。在特征提取阶段,采用SPD-Conv进行下采样,将特征图切分为特征子图并按通道拼接,避免了多尺度特征提取过程中下采样导致的特征丢失情况,设计了一种基于空洞卷积的改进空间金字塔池化模块,通过对具有不同感受野的特征进行融合来提高特征提取能力;在特征融合阶段,引入由深到浅的注意力模块,将深层特征语义特征嵌入到浅层空间特征中,增强浅层特征的表达能力;在预测阶段,裁减了网络中针对大目标检测的特征提取层、融合层及预测层,降低模型大小的同时提高了实时性。首先通过消融实验验证了提出各模块的有效性,实验结果表明,改进模型在SIRST数据集上平均精度均值达到了95.4%,较原始YOLOv5s提高了2.3%,且模型大小降低了72.9%,仅为4.5 M,在Nvidia Xavier上推理速度达到28 f/s,利于实际的部署和应用。在Infrared-PV数据集上的迁移实验进一步验证了改进算法的有效性。提出的改进模型在提高红外图像小目标检测性能的同时,能够满足实时性要求,因而适用于红外图像小目标实时检测任务。

改进YOLOv7的遥感图像小目标检测

针对在遥感图像中进行小目标检测时,由于目标尺寸小、视觉信息不明显以及背景复杂多变等因素,导致传统的检测方法在精度和鲁棒性方面存在局限性,容易造成漏检、误检的问题,文章提出了一种改进YOLOv7的目标检测算法,采用SIoU作为损失函数,改善目标检测框的定位精度,从而提高检测的准确性和鲁棒性。同时,通过将CNeB模块应用于特征融合过程,增强了特征之间的空间交互能力,进一步提升了小目标的检测性能。此外,为了更好地捕捉遥感图像中小目标的细节特征,利用CA注意力机制,设计了MPCA模块,实现了对特征图的自适应调整,以提高表征能力。在实验部分,使用了经典的遥感图像数据集进行了大量的实验评估。实验结果表明,所提出的基于SIoU、CNeB模块和CA注意力机制的改进方法在RSOD数据集上四分类均值平均精度达到了96.8%,比原版YOLOv7提升了2.5%,有效提高了遥感图像小目标检测精度。

基于WGAN-GP-CNN的海面小目标检测

针对传统基于统计理论的海面小目标检测方法在复杂海面环境中性能不高的问题,该文提出了一种改进的检测方法。首先通过分析海杂波和目标回波的特征,将检测问题转化为特征空间的分类任务。鉴于海面小目标样本数量有限,存在样本不平衡的问题,该文引入了一种基于梯度惩罚的沃瑟斯坦生成对抗网络(Wasserstein Generative Adversarial Network with Gradient Penalty,WGAN-GP)来增强目标数据,从而在数量上平衡目标样本与海杂波样本。同时,对原始WGAN-GP网络的损失函数进行了改进,引入相位损失以确保生成数据能够反映真实数据的相位信息。基于这些数据,进一步提取了生成目标和海杂波的高维特征,并将其送入卷积神经网络(Convolutional Neural Network,CNN)进行训练。为了应对高维特征空间中虚警概率难以控制的问题,对CNN算法进行了改进,通过设置Softmax分类器的阈值,实现了虚警概率可控。最后,借助公开的IPIX雷达数据集进行实验验证,所提的WGAN-GP-CNN检测器在积累时间为1.024 s,虚警概率为0.001时,平均检测概率达到0.8683,具有良好的检测效果。

CSD-YOLOv8s:基于无人机图像的密集小目标羊只检测模型

[目的/意义]天然牧场下放牧牲畜数量的准确检测是规模化养殖场改造升级的关键。为满足规模化养殖场对大批羊群实现精准实时的检测需求,提出一种高精度、易部署的小目标检测模型CSD-YOLOv8s (CBAM SPPFCSPC DSConv-YOLOv8s),实现无人机高空视角下小目标羊只个体的实时检测。[方法]首先,使用无人机获取天然草原牧场中包含不同背景及光照条件下的羊群视频数据并与下载的部分公开数据集共同构成原始图像数据。通过数据清洗和标注整理生成羊群检测数据集。其次,为解决羊群密集和相互遮挡造成的羊只检测困难问题,基于YOLO (You Only Look Once) v8模型构建具有跨阶段局部连接的SPPFCSPC (Spatial Pyramid Pooling Fast-CSPC)模块,提升网络特征提取和特征融合能力,增强模型对小目标羊只的检测性能。在模型的Neck部分引入了卷积注意力模块(Convolutional Block Attention Module, CBAM),从通道和空间两个维度增强网络的抗干扰能力,提升网络对复杂背景的抑制能力,进一步提高对密集羊群的检测性能。最后,为提升模型的实时性和可部署性,将Neck网络的标准卷积改为具有可变化内核的轻量卷积C2f_DS (C2f-DSConv)模块,减小了模型的参数量并提升了模型的检测速度。[结果和讨论]与YOLO、Faster R-CNN (Faster Regions with Convolutional Neural Networks)及其他经典网络模型相比,改进后的CSD-YOLOv8s模型在检测速度和模型大小相当的情况下,在羊群检测任务中具有更高的检测精度。Precision达到95.2%,mAP达到93.1%,FPS (Frames Per Second)达到87 f/s,并对不同遮挡程度的羊只目标具有较强的鲁棒性,有效解决了无人机检测任务中因羊只目标小、背景噪声大、密集程度高导致羊群漏检和误检严重的问题。公开数据集验证结果表明,提出的模型对其他不同物体的检测精度均有所提高,特别是在羊只检测方面,检测精度提升了9.7%。[结论]提出的CSD-YOLOv8s在无人机图像中更精准地检测草原放牧牲畜,对不同程度的聚集和遮挡目标实现精准检测,且具有较好的实时性,为养殖场大规模畜禽检测提供了技术支撑,具有广泛的应用潜力。

特征协同与细粒度感知的遥感图像小目标检测

针对遥感图像中小目标多、排列密集导致的漏检问题,提出一种特征协同与细粒度感知的遥感图像小目标检测算法。首先,构造精细特征协同策略,通过智能调整卷积核参数,优化了特征间的交互和整合过程;通过精确控制信息流,实现从粗糙到精细的渐进式特征精化。在此基础上,本文设计一个细粒度感知模块,将感知注意力与移动反向卷积结合形成一个增强型检测头,显著增强网络对于极小尺寸物体的感知能力。最后,为了提升模型训练的效率,采用MPDIoU和NWD作为回归损失函数,解决位置偏差,加快模型收敛。在DOTA1.0数据集和DOTA1.5数据集上的实验结果表明,改进后算法相比于基准方法,平均精度分别提高7.4%和6.1%,相较于其他算法具有明显优势,显著改善遥感图像中小目标的漏检情况。

多尺度注意力特征增强融合的红外小目标检测新网络

为提高红外成像中小目标检测的性能,提高低空空域监管能力,提出一种基于多尺度注意力特征增强融合的红外小目标检测新网络。首先,使用Resnet34提取红外图像的多尺度特征;其次,使用多尺度空间注意力特征增强模块(MFEM)来提高特征提取能力;然后,在逐级上采样过程中使用双通道注意力特征融合模块(DFFM),融合语义信息和细节信息,以更好地保护红外小目标的特征;最后,与其他方法对比,并以地/空红外弱小飞机目标视频序列检测为例测试真实场景。结果表明:新方法与现有方法相比,交互比(IoU)、F值和漏检率(FNR)的评分均获得改进;通过多尺度注意力特征增强融合可准确地定位到目标并生成精细的分割结果;MFEM能够同时利用多尺度上下文信息和空间注意力机制来突出红外小目标;DFFM通过给不同通道特征的集合赋予权重,得到最合适的特征图进行特征融合,从而提高检测性能。

深度学习的接触网小目标缺陷识别研究

吊弦线夹螺栓是铁路接触网供电线路的重要器件,其状态会影响电力机车受流质量,于是对SSD算法进行改进:首先引入一种轻量级神经网络MobileNetV3用于前端特征提取,降低模型复杂度,以提高检测速度;其次采用CA注意力机制替换反向残差结构线性瓶颈层的SE模块,使位置信息沿空间两个方向聚合,调整后的特征层能够捕获全局远程特征信息;最后设计了特征融合模块以重构特征层,优化小目标检测层以提高对小目标的识别效果。还用CycleGAN等方法扩充训练样本,解决数据集不足的问题。实验结果表明,改进算法的模型复杂度下降,mAP@0.5和FPS分别达到95.5%和81 fps,该研究有助于接触网检测仪器向小型移动嵌入式设备转变。

利用局部特征匹配的运动小目标光流估计

基于深度光流估计的动态背景运动小目标检测,为了保证小目标的检测性能,一般采用较少的下采样次数以维持较高的分辨率,但由此带来了较大的计算耗时。特征匹配是深度光流估计的一个核心处理环节,其耗时在光流估计整体耗时中的占比较大,且对下采样次数非常敏感。据此,提出一种基于局部特征匹配的快速光流估计算法:引入目标运动信息,缩小特征匹配的空间范围,减少待处理的数据量;设计分块局部匹配策略,引入批处理机制,避免出现逐点局部匹配策略数据处理耗时过大问题,实现算法加速。在此基础上,在光流估计获取的光流场上,采用CenterNet网络检测运动目标对应的光流异常区域。从光流估计耗时、检测精度等方面开展了实验验证,结果表明:针对运动小目标检测,分块特征匹配光流估计比全局特征匹配光流估计耗时减少约25%,目标检测性能相当。