基于新型特征增强与融合的雾天目标检测方法

为进一步提升深度学习网络对雾天场景下目标的检测精度,在YOLOX网络基础上,提出了基于新型特征增强与融合(novel feature enhancement and fusion, NFF)的雾天目标检测方法NFF-YOLOX。首先,在瓶颈结构中通过多支路卷积构建新型特征增强模块,该模块在保留基本信息特征的同时能够提取更多有效特征信息,增强目标特征的表征能力,提升网络对目标的特征提取能力;其次,利用双向金字塔自上而下和自下而上的网络特征构建新型特征融合模块,使目标的语义信息从深层特征流向浅层特征,充分融合和提取图像的细节特征,并在瓶颈结构的特征融合模块引入坐标注意力,模型在训练时能准确定位目标,减少目标特征信息的丢失;最后,考虑到正负样本可能存在不均衡的情况,将Focal loss与α-IOU结合构造一种新型损失函数,减少模型训练时的损失,缩短收敛时间,提升网络对雾天目标的识别率。实验结果表明:该方法与YOLOv7及DETR等6种先进目标检测网络相比,在真实雾天数据集RTTS上能够取得更高的雾天目标检测精度,当真实框与预测框的交并比(intersection over union, IOU)为0.5时,平均精度(mean average precision, mAP)提高了1.3%以上,当IOU从0.5到0.95且步长为0.05时,mAP提高了2.99%以上。

雾天车辆目标检测域适应模型

在图像清晰、无遮挡的情况下,车辆检测模型可以准确识别出大多数车辆,但在雾霾和雨雪等极端天气下,特征和输出标签的联合分布改变,准确率大幅下降。为平衡速度与准确度,本文提出单阶段目标检测网络与域适应结合的JMMD-YOLO模型,对齐跨域的多个特定层的联合分布,使模型同时学习雾霾特征与晴天特征,改进后的模型指标有所提升,在150 m可见度下单类平均精度最高提升6.4%,整体平均精度提升2.2%。改进后的模型在雾天情况下能更好地识别出车辆目标,为复杂条件下的车辆目标检测或目标跟踪提供参考。

一种改进的雾天图像行人和车辆检测算法

由于雾天图像数据集不足、雾天表现形式多样等因素,使得基于深度学习的目标检测网络在雾天图像行人和车辆检测中容易出现过拟合,造成鲁棒性不佳和准确率不高等问题。针对上述问题,在检测网络中加入雾浓度判别模块以提高网络的适应性和鲁棒性,通过引入可变形卷积和注意力机制以提升卷积神经网络的特征提取能力,通过模拟合成雾天图像的方式扩充数据集以加快网络的收敛速度。实验结果表明,改进后的网络针对雾天图像行人和车辆检测,其检测平均准确率相较于基于候选框的检测网络有约2%~4%的提高,且未显著地增加网络的训练参数和计算量。