基于深度学习的小目标检测基准研究进展

小目标检测是计算机视觉中极具挑战性的任务.它被广泛应用于遥感、交通、国防军事和日常生活等领域.相比其他视觉任务,小目标检测的研究进展相对缓慢.制约因素除了学习小目标特征的内在困难,还有小目标检测基准,即小目标检测数据集的稀缺以及建立小目标检测评估指标的挑战.为了更深入地理解小目标检测,本文首次对基于深度学习的小目标检测基准进行了全新彻底的调查.系统介绍了现存的35个小目标数据集,并从相对尺度和绝对尺度(目标边界框的宽度或高度、目标边界框宽高的乘积、目标边界框面积的平方根)对小目标的定义进行全面总结.重点从基于交并比及其变体、基于平均精度及其变体以及其他评估指标这3方面详细探讨了小目标检测评估指标.此外,从锚框机制、尺度感知与融合、上下文信息、超分辨率技术以及其他改进思路这5个角度对代表性小目标检测算法进行了全面阐述.与此同时,在6个数据集上对典型评估指标(评估指标+目标定义、评估指标+单目标类别)下的代表性小目标检测算法进行性能的深入分析与比较,并从小目标检测新基准、小目标定义的统一、小目标检测新框架、多模态小目标检测算法、旋转小目标检测以及高精度且实时的小目标检测这6个方面指出未来可能的发展趋势.希望该综述可以启发相关研究人员,进一步促进小目标检测的发展.

基于改进YOLOv5s的小目标检测算法

针对当前主流目标检测算法对图像中远距离小目标产生的漏检、误检等问题,提出一种改进YOLOv5s的小目标检测算法。在模型训练过程中,通过引入Focal-EIOU定位损失函数,加强边界框的定位精度;在骨干网络中,通过添加小目标检测层,提高小目标的检测精度;在Neck结构中,通过优化上采样算子和添加注意力机制,加强小目标的特征信息。实验结果表明,改进后的算法在VisDrone数据集上与YOLOv5s算法相比,mAP@small提高了3.2%,且检测速度满足实时性的要求,能够很好地应用于小目标检测任务中。

基于改进YOLOv7的遥感图像小目标检测方法

针对遥感图像中小目标数量众多且背景复杂所导致的识别精度低的问题,提出了一种改进的遥感图像小目标检测方法。该方法基于改进的YOLOv7网络模型,将双级路由注意力机制加入至下采样阶段以构建针对小目标的特征提取模块MP-ATT(max pooling-attention),使得模型更加关注小目标的特征,提高小目标检测精度。为了加强对小目标的细节感知能力,使用DCNv3(deformable convolution network v3)替换骨干网络中的二维卷积,以此构建新的层聚合模块ELAN-D。为网络设计新的小目标检测层以获取更精细的特征信息,从而提升模型的鲁棒性。同时使用MPDIoU(minimum point distance based IoU)替换原模型中的CIoU来优化损失函数,以适应遥感图像的尺度变化。实验表明,所提出的方法在DOTA-v1.0数据集上取得了良好效果,准确率、召回率和平均准确率(mean average precision,mAP)相比原模型分别提升了0.4、4.0、2.3个百分点,证明了该方法能够有效提升遥感图像中小目标的检测效果。

基于YOLOv5s的改进实时红外小目标检测

针对红外图像分辨率低、背景复杂、目标细节特征缺失等问题,提出了一种基于YOLOv5s的改进实时红外小目标检测模型Infrared-YOLOv5s。在特征提取阶段,采用SPD-Conv进行下采样,将特征图切分为特征子图并按通道拼接,避免了多尺度特征提取过程中下采样导致的特征丢失情况,设计了一种基于空洞卷积的改进空间金字塔池化模块,通过对具有不同感受野的特征进行融合来提高特征提取能力;在特征融合阶段,引入由深到浅的注意力模块,将深层特征语义特征嵌入到浅层空间特征中,增强浅层特征的表达能力;在预测阶段,裁减了网络中针对大目标检测的特征提取层、融合层及预测层,降低模型大小的同时提高了实时性。首先通过消融实验验证了提出各模块的有效性,实验结果表明,改进模型在SIRST数据集上平均精度均值达到了95.4%,较原始YOLOv5s提高了2.3%,且模型大小降低了72.9%,仅为4.5 M,在Nvidia Xavier上推理速度达到28 f/s,利于实际的部署和应用。在Infrared-PV数据集上的迁移实验进一步验证了改进算法的有效性。提出的改进模型在提高红外图像小目标检测性能的同时,能够满足实时性要求,因而适用于红外图像小目标实时检测任务。

MFE-YOLOX:无人机航拍下密集小目标检测算法

针对无人机航拍时物体尺度变化大,检测目标大多较小且物体较密集的问题,提出一种混合特征增强结构(mix feature enhancement, MFE)方法。通过在超分辨率方法中加入注意力机制以增强小目标信息提取,利用一种新的特征层融合计算方法,加强不同特征层间的融合效率,提高了中小型目标的检测精度;设计了尾端感受野扩大层以扩大尾端特征层感受野,使检测头可接收丰富的物体信息来定位并区分密集物体。实验在数据集VisDrone2021的测试集上进行测试,MFE-YOLOX网络的AP50结果为47.78%,在参数量、计算量与原网络相近的情况下精度提高了9.43个百分点。

雷达信号与遥感地图融合的深度学习低慢小目标检测算法

雷达复杂环境低慢小目标检测是一项具有挑战性的任务,而利用深度学习以及数据特征融合等方法是解决这一难题的有效手段。本文在雷达地图融合检测网络(Radar Map fusion Detection Network,RMDN)的基础上进行了优化,主要优化方向为将雷达与地图信息在检测过程中进行重要性程度区分,具体优化内容为减少地图特征提取模块的网络深度,加入通道注意力机制,让神经网络自主学习雷达信息与地图信息特征的权重,使神经网能够更好地利用地图信息对雷达目标进行辅助检测。在此优化基础上,本文重新设计出了雷达地图融合检测网络RMDN-V2。算法的主要思想为利用卫星遥感地图来提供背景环境信息,作为雷达信号检测的辅助,通过将目标背景中的特征信息融入检测决策中,提高目标检测的准确性和鲁棒性,减少对强杂波和移动物体的干扰敏感性,改善目标检测算法在复杂环境下的表现。最后的无人机雷达实测数据实验结果表明,本文所做的针对性优化是有效的,RMDN-V2的检测性能优于原始的RMDN,同时本文算法检测性能远超传统的雷达检测算法,同时也优于目前主流的一些深度学习雷达目标检测算法。本文为解决当下低慢小目标检测的难题提出了新的算法。

基于图像低维特征融合的航拍小目标检测模型

针对无人机航拍图像目标检测中视野变化大、时空信息复杂等问题,文中基于YOLOv5(You Only Look Once Version5)架构,提出基于图像低维特征融合的航拍小目标检测模型.引入CA(Coordinate Attention),改进MobileNetV3的反转残差块,增加图像空间维度信息的同时降低模型参数量.改进YOLOv5特征金字塔网络结构,融合浅层网络中的特征图,增加模型对图像低维有效信息的表达能力,进而提升小目标检测精度.同时为了降低航拍图像中复杂背景带来的干扰,引入无参平均注意力模块,同时关注图像的空间注意力与通道注意力;引入VariFocal Loss,降低负样本在训练过程中的权重占比.在VisDrone数据集上的实验验证文中模型的有效性,该模型在有效提升检测精度的同时明显降低复杂度.

基于上下文信息与特征细化的无人机小目标检测算法

无人机航拍图像中的目标检测是近年来研究的热点,针对无人机视角下目标小而密集、背景复杂导致检测精度低的问题,提出一种基于上下文信息与特征细化的无人机小目标检测算法。通过上下文特征增强模块,利用多尺度扩张卷积捕获与周围区域像素点的潜在关系,为网络补充上下文信息,并根据不同尺度的特征层自适应生成各层级特征图的输出权重,动态优化特征图表达能力;由于不同特征图细粒度不同,使用特征细化模块来抑制特征融合中冲突信息的干扰,防止小目标特征淹没在冲突信息中;设计了一种带权重的损失函数,加快模型收敛速度,进一步提高小目标检测精度。在VisDrone2021数据集进行大量实验表明,改进后的模型较基准模型mAP50提高8.4个百分点,mAP50:95提高5.9个百分点,FPS为42,有效提高了无人机航拍图像中小目标的检测精度。

改进的YOLOv5s遥感影像机场场面飞机小目标识别

遥感影像具有地物拍摄模糊以及背景环境复杂等特点,导致大面积地面物体识别准确率较低。针对此问题,提出了一种基于YOLOv5s改进网络模型。该模型对YOLOv5s中的骨干提取网络和颈部多尺度特征融合网络进行优化,引入Swin Transformer以获得更多关于目标物体的特征信息;同时对骨干网络中的模块做了修剪;此外,模型中还添加了坐标注意力机制来提升特征提取和融合效果。对于遥感数据集进行了小目标检测识别测试实验,改进后的YOLOv5s网络的mAP值为0.8375,比YOLOv5s网络模型提高了0.0225。实验结果表明,改进后的YOLOv5s网络模型对比YOLO系列网络和EfficientDet模型有效地提高了识别准确率、召回率以及mAP值,并且在训练时间上也比YOLOv5s减少了1/12。

基于ATO-YOLO的小目标检测算法

小目标检测在计算机视觉领域具有重要意义,但现有方法在应对小目标的尺度变化、目标密集和无规则排列等挑战时经常出现漏检和误检的问题。为解决这些问题,提出基于改进YOLOv5算法的ATO-YOLO。为提升检测模型的特征表达能力,提出一种结合注意力机制的自适应特征提取模块(adaptive feature extraction,AFE),通过动态调整权重分配突出关键目标的特征表示,提高目标检测任务在不同场景下的准确性和鲁棒性。设计一种三重特征融合机制(triple feature fusion,TFF),能够在不同尺度下充分利用多尺度信息,将多个尺度的特征图融合,以获取更全面的目标特征,提升对小目标的检测效果。引入一种输出重构模块(output reconstruction,ORS),通过去除大目标检测层并增加小目标检测层,实现精确定位和识别小目标,并且相对于原模型复杂度更低,检测速度更快。实验结果表明,ATO-YOLO算法在VisDrone数据集上的mAP@0.5达到了38.2%,较原YOLOv5提升了6.1个百分点,且FPS较改进前提升了4.4%,能够快速准确地对小目标进行检测。

高阶深度可分离无人机图像小目标检测算法

当前无人机图像中存在小目标数量众多、背景复杂的特点,目标检测中易造成漏检误检率较高的问题,针对这些问题,提出一种高阶深度可分离无人机图像小目标检测算法.首先,结合CSPNet结构与ConvMixer网络,深度可分离卷积核,获取梯度结合信息,并引入递归门控卷积C3模块,提升模型的高阶空间交互能力,增强网络对小目标的敏感度;其次,检测头采用两个头部进行解耦,分别输出特征图分类和位置信息,加快模型收敛速度;最后,使用边框损失函数EIoU,提高检测框精准度.在VisDrone2019数据集上的实验结果表明,该模型检测精度达到了35.1%,模型漏检率和误检率有明显下降,能够有效地应用于无人机图像小目标检测任务.在DOTA 1.0数据集和HRSID数据集上进行模型泛化能力测试,实验结果表明,该模型具有良好的鲁棒性.

窗口锚定的偏移受限动态蛇形卷积网络航拍小目标检测

为了从小目标有限特征中获取关键的有效信息,提升小目标的定位能力和检测精度,文中提出窗口锚定的偏移受限动态蛇形卷积网络航拍小目标检测方法.首先,构造偏移受限动态蛇形卷积,在不同方位动态偏移,受限蛇形卷积核自适应地关注不同大小和形状的特征区域,使特征提取聚焦于微小局部结构,促进小目标特征的捕获.然后,采用双阶段多尺度特征融合方法,对不同层阶特征图进行特征对齐、融合和注入,增强底层细节信息与高层语义信息的融合,并强化不同尺寸目标信息传输,提高小目标的检测能力.与此同时,设计窗口锚定的边界框回归损失函数,基于辅助边界框和最小点距离进行边界回归,获得准确的回归结果,提高小目标的定位能力.最后,在3个航拍数据集上的实验表明,文中方法对小目标的检测性能有不同程度的改善和提高.

融合边界注意力的特征挖掘息肉小目标网络

从结肠图像中分割息肉小目标病变区域对于预防结直肠癌至关重要,它可以为结直肠癌的诊断提供有价值的信息。然而目前现有的方法存在2个局限性:一是不能稳健捕获全局上下文信息,二是未能充分挖掘细粒度细节特征信息。因此,提出融合边界注意力的特征挖掘息肉小目标网络(transformer feature boundary network,TFB-Net)。该网络主要包括3个核心模块:首先,采用Transformer辅助编码器建立长程依赖关系,补充全局信息;其次,设计特征挖掘模块进一步细化特征,学习到更好的特征;最后,使用边界反转注意力模块加强对边界语义空间的关注,提高区域辨别能力。在5个息肉小目标数据集上进行广泛实验,实验结果表明TFBNet具有优越的分割性能。

基于跨越连接与融合注意力机制的红外弱小目标检测方法

针对复杂背景红外小弱目标信号弱、特征不明显、干扰虚警多等检测性能低问题,提出基于跨越连接与融合注意力机制的单阶段红外弱小目标检测算法。该方法融合注意力机制与残差网络提取小目标多特征,减少复杂背景干扰;双向跨越连接结构融合低层与高层各自的特征信息,凸显小弱目标特征表达能力;增加一个高分辨率检测层,重新聚类弱小目标先验框,增强目标与背景的特征差别学习能力;最后,建立真实目标和预测目标框的高斯分布模型,计算两者相似性,解决因IoU度量造成的目标损失回归偏差敏感问题,提升损失回归准确性。在公开红外小目标数据集上进行对比测试,实验结果表明该算法对多种复杂背景下红外小弱目标检测均取得了最佳性能,在平均精度和速度等方面都得到显著提升,模型最小,方便部署。

裂缝小目标缺陷的轻量化检测方法

及时且准确捕获井壁出现的微小裂缝,对于井筒安全意义重大.轻量化检测模型是推动井壁裂缝自动检测的关键,打破现有方法聚焦于提取深层语义信息的局限,重视浅层特征表征的几何结构信息的应用,针对井壁裂缝提出轻量化检测模型E-YOLOv5s.首先融合普通卷积、深度可分离卷积和ECA注意力机制设计轻量化卷积模块ECAConv,再引入跳跃链接构建特征综合提取单元E-C3,得到骨干网络ECSP-Darknet53,它负责显著降低网络参数,同时增强对裂缝深层特征的提取能力.然后设计特征融合模块ECACSP,利用多组ECAConv和ECACSP模块组建细颈部特征融合模块E-Neck,旨在充分融合裂缝小目标的几何信息和表征裂缝开裂程度的语义信息,同时加快网络推理速度.实验表明,E-YOLOv5s在自制井壁数据集上的检测精度相较YOLOv5s提升了4.0%,同时模型参数量和GFLOPs分别降低了44.9%、43.7%.E-YOLOv5s有助于推动井壁裂缝自动检测的应用.

基于改进YOLOv5s的无人机小目标检测算法

为了解决传统目标检测算法对无人机(UAV)航拍小目标存在错漏检严重的问题,提出基于YOLOv5的无人机小目标检测算法FDB-YOLO.在YOLOv5的基础上增加小目标检测层,优化特征融合网络,充分利用网络浅层小目标细粒信息,提升网络感知能力;提出损失函数FPIoU,通过充分利用锚框的几何性质,采用四点位置偏置约束函数,优化锚框定位,加快损失函数收敛速度;采用结合注意力机制的动态目标检测头(DyHead),通过增加尺度、空间、任务感知提升算法检测能力;在特征提取部分引入双级路由注意力机制(BRA),通过有选择性地对相关区域进行计算,过滤无关区域,提升模型的检测精确度.实验证明,在VisDrone2019数据集上,本算法与YOLOv5s目标检测算法相比,精确率提升了3.7个百分点,召回率提升了5.1个百分点,mAP50增加了5.8个百分点,mAP_(50∶95)增加3.4个百分点,并且相比当前主流算法而言都有更加优秀的表现.

基于FACET滤波加权局部对比度的红外小目标检测

针对低空复杂背景下红外图像中目标与背景对比度低、边缘高亮的问题,提出一种基于FACET滤波加权局部对比度的红外小目标检测算法。首先,通过FACET滤波运算获取目标候选像素;然后,利用目标区域和背景区域灰度差异的比率计算局部对比度,同时基于目标和背景的异质性设计了一种加权函数,用来增强目标显著性和抑制背景;最后,通过自适应阈值分割提取真实的目标。在5组真实红外小目标图像数据集上与不同的算法进行性能比较分析,实验结果表明,提出的算法在不同低空复杂场景中具有较好的检测性能。

基于改进YOLO v5算法的道路小目标检测

为解决交通道路小目标检测难度大、精度低,容易出现错检漏检的问题,提出一种基于YOLO v5(you only look once v5)算法的多尺度特征融合目标检测改进算法。首先,增加小目标检测头用于适应小目标尺寸,缓解漏检情况。然后,引入可变形卷积网络v2(deformable convolutional networks V2,DCN V2)提高模型对运动中小目标的学习能力;同时,增加上下文增强模块,提升对远距离小目标的识别能力。最后,在替换损失函数、提高边界框定位精度的同时,使用空间金字塔池化和上下文空间金字塔卷积分组模块,提高网络的感受野和特征表达能力。实验结果表明,所提算法在KITTI数据集小目标类别上平均识别精度达到了95.2%,相较于原始YOLO v5,算法总体平均识别精度提升了2.7%,对小目标的检测效果更佳,平均识别精度提升了3.1%,证明所提算法在道路小目标检测方面的有效性。

改进YOLOv7的遥感图像小目标检测

针对在遥感图像中进行小目标检测时,由于目标尺寸小、视觉信息不明显以及背景复杂多变等因素,导致传统的检测方法在精度和鲁棒性方面存在局限性,容易造成漏检、误检的问题,文章提出了一种改进YOLOv7的目标检测算法,采用SIoU作为损失函数,改善目标检测框的定位精度,从而提高检测的准确性和鲁棒性。同时,通过将CNeB模块应用于特征融合过程,增强了特征之间的空间交互能力,进一步提升了小目标的检测性能。此外,为了更好地捕捉遥感图像中小目标的细节特征,利用CA注意力机制,设计了MPCA模块,实现了对特征图的自适应调整,以提高表征能力。在实验部分,使用了经典的遥感图像数据集进行了大量的实验评估。实验结果表明,所提出的基于SIoU、CNeB模块和CA注意力机制的改进方法在RSOD数据集上四分类均值平均精度达到了96.8%,比原版YOLOv7提升了2.5%,有效提高了遥感图像小目标检测精度。

多特征融合的无人艇视觉小目标鲁棒跟踪

[目的]针对低特征分辨率、相似环境信息引起的无人艇视觉小目标跟踪混淆问题,提出一种多特征融合的连续卷积算子跟踪算法。[方法]首先,采用双三次插值技术,提高多特征图分辨率,实现亚像素级定位;其次,利用特征投影和生成样本空间,提高目标跟踪的效率,避免滤波器过拟合;最后,设计高置信度模型更新策略,解决相似环境信息对滤波器的干扰问题。[结果]结果表明:相较于传统的连续卷积算子跟踪算法,平均成功率提升17.4%,平均距离精度指标提升17.8%,期望平均覆盖率提升5.1%。[结论]该算法法能够处理海洋环境下的小目标跟踪混淆问题,为提升无人艇及海洋机器人的智能感知能力,提供关键技术支撑。