针对坐标注意力(CA)在水平和垂直方向特征的平均池化可能丢失目标显著特征,以及使用二维普通卷积对小目标特征学习不足的情况,提出了CARFB(coordinate attention and receptive field block)模块。该模块将CA的平均池化修改为平均+最大...针对坐标注意力(CA)在水平和垂直方向特征的平均池化可能丢失目标显著特征,以及使用二维普通卷积对小目标特征学习不足的情况,提出了CARFB(coordinate attention and receptive field block)模块。该模块将CA的平均池化修改为平均+最大池化,以保留输入特征在水平和垂直方向的显著和细节信息;利用RFB具有不同大小感受野的优势,在水平和垂直方向分别使用RFB模块代替CA的融合特征统一卷积,以同时提取不同大小目标的特征;引入包含不同大小卷积核和步长的CBS模块,替换CA的二维普通卷积,进一步提取水平和垂直方向的特征,得到重新加权的输出特征。CARFB模块在水平和垂直方向保存目标位置信息,利用不同感受野提取不同大小目标的强辨别性特征,从而具有更强的特征学习能力。为了验证提出的即插即用模块CARFB的性能,将其嵌入ObjectBox目标检测框架,得到ObjectBox-CARFB模型;用CARFB模块替换RFBnet中的RFB模块,得到CARFBnet目标检测模型。MSCOCO数据集的实验测试表明,ObjectBox-CARFB模型的性能得到全面提升,尤其对小目标的检测性能提升突出;PASCALVOC和MSCOCO数据集的实验结果表明,CARFBnet300和CARFBnet512的目标检测能力分别优于原始RFBnet300和RFBnet512模型,并优于其他同系列对比模型。提出的CARFB模块具有更强的特征学习能力,对不同尺度目标均能取得较好的检测效果,特别是在小目标检测方面,效果提升显著。提出的CARFB模块可以嵌入到任何一个卷积神经网络,能保存更多的目标信息,具有更强的特征学习能力和更高的网络性能,对不同尺度目标均能取得较好的检测效果,尤其对小目标的检测效果提升显著。展开更多
针对无人机视角下的目标存在多尺度、目标小、被遮挡与背景复杂等问题,提出了一种基于动态样本注意力尺度序列的YOLOv8改进算法BDAD-YOLO。通过引入BiFormer的思想来改造原模型骨干结构,提高模型对关键信息的关注度,更好地保留目标细粒...针对无人机视角下的目标存在多尺度、目标小、被遮挡与背景复杂等问题,提出了一种基于动态样本注意力尺度序列的YOLOv8改进算法BDAD-YOLO。通过引入BiFormer的思想来改造原模型骨干结构,提高模型对关键信息的关注度,更好地保留目标细粒度细节信息。由于目标存在大小、位置等多变性,传统卷积并不能很好地处理这一情况,因此基于DCN(deformable convolutional network)的思想,设计了一种可以增强对小目标特征提取的C2_DCf模块,从而进一步提高颈部网络中小目标层对特征信息的融合。提出一种基于动态样本的注意力尺度序列融合框架AFD(attention-scale sequence fusion framework based on dynamic samples),使用轻量化动态点采样并通过融合不同尺度的特征图来增强网络提取多尺度信息的能力。使用WIoU损失函数,改善小目标低质量数据对梯度的不利影响,以加快网络收敛速度。实验结果表明,在VisDrone数据集中的val集与test集上平均精度(mAP@0.5)分别提升了4.6个百分点、3.7个百分点,在DOTA数据集上平均精度(mAP@0.5)提升了2.4个百分点,证明了改进算法的有效性和普适性。展开更多
文摘针对坐标注意力(CA)在水平和垂直方向特征的平均池化可能丢失目标显著特征,以及使用二维普通卷积对小目标特征学习不足的情况,提出了CARFB(coordinate attention and receptive field block)模块。该模块将CA的平均池化修改为平均+最大池化,以保留输入特征在水平和垂直方向的显著和细节信息;利用RFB具有不同大小感受野的优势,在水平和垂直方向分别使用RFB模块代替CA的融合特征统一卷积,以同时提取不同大小目标的特征;引入包含不同大小卷积核和步长的CBS模块,替换CA的二维普通卷积,进一步提取水平和垂直方向的特征,得到重新加权的输出特征。CARFB模块在水平和垂直方向保存目标位置信息,利用不同感受野提取不同大小目标的强辨别性特征,从而具有更强的特征学习能力。为了验证提出的即插即用模块CARFB的性能,将其嵌入ObjectBox目标检测框架,得到ObjectBox-CARFB模型;用CARFB模块替换RFBnet中的RFB模块,得到CARFBnet目标检测模型。MSCOCO数据集的实验测试表明,ObjectBox-CARFB模型的性能得到全面提升,尤其对小目标的检测性能提升突出;PASCALVOC和MSCOCO数据集的实验结果表明,CARFBnet300和CARFBnet512的目标检测能力分别优于原始RFBnet300和RFBnet512模型,并优于其他同系列对比模型。提出的CARFB模块具有更强的特征学习能力,对不同尺度目标均能取得较好的检测效果,特别是在小目标检测方面,效果提升显著。提出的CARFB模块可以嵌入到任何一个卷积神经网络,能保存更多的目标信息,具有更强的特征学习能力和更高的网络性能,对不同尺度目标均能取得较好的检测效果,尤其对小目标的检测效果提升显著。
文摘针对无人机视角下的目标存在多尺度、目标小、被遮挡与背景复杂等问题,提出了一种基于动态样本注意力尺度序列的YOLOv8改进算法BDAD-YOLO。通过引入BiFormer的思想来改造原模型骨干结构,提高模型对关键信息的关注度,更好地保留目标细粒度细节信息。由于目标存在大小、位置等多变性,传统卷积并不能很好地处理这一情况,因此基于DCN(deformable convolutional network)的思想,设计了一种可以增强对小目标特征提取的C2_DCf模块,从而进一步提高颈部网络中小目标层对特征信息的融合。提出一种基于动态样本的注意力尺度序列融合框架AFD(attention-scale sequence fusion framework based on dynamic samples),使用轻量化动态点采样并通过融合不同尺度的特征图来增强网络提取多尺度信息的能力。使用WIoU损失函数,改善小目标低质量数据对梯度的不利影响,以加快网络收敛速度。实验结果表明,在VisDrone数据集中的val集与test集上平均精度(mAP@0.5)分别提升了4.6个百分点、3.7个百分点,在DOTA数据集上平均精度(mAP@0.5)提升了2.4个百分点,证明了改进算法的有效性和普适性。