改进YOLOv5目标检测模型在城市街道场景中的应用

针对城市街道场景中小目标和密集目标检测准确率不高的问题,提出一种改进的YOLOv5的目标检测模型——City-YOLO。首先利用可变形卷积和Focus模块设计了两种新的下采样模块,使骨干网络(Backbone)与Neck层提取特征信息更准确,同时融合了全局特征信息;其次增加一层检测特征层,增强小目标的检测能力;随后将二阶通道注意力机制引入检测特征层,使网络更加关注目标的重要特征,提升网络对密集遮挡目标的检测能力;最后使用Kmeans算法重新设计了先验框,并将它分配到相应的检测特征层。在CityScape数据集上,City-YOLO模型的均值平均精度mAP50与mAP50:95分别达到了54.3%和30.6%;相较于YOLOv5,mAP50与mAP50:95分别提升了5.8和4.0个百分点。实验结果表明,City-YOLO模型有效地实现了高精度城市街道场景目标检测。

基于DeformableDETR的域自适应目标检测模型在城市街道场景中的应用

针对在特定环境背景条件下训练的城市街道目标检测模型直接应用在另一种环境背景条件下城市街道场景中检测性能下降的问题,提出一种基于Deformable DETR(DEtection TRansformer)的域自适应目标检测模型City-DA-DETR,通过引入域自适应模块融合主干网络特征与Transformer特征,有效实现特征对齐与知识跨域迁移。首先,域自适应模块利用Transformer解码器输出Token与编码器特征交互,生成多尺度实例特征蒙板(MSIM);其次,实例特征蒙板引导Transformer编码器特征生成多尺度空间注意力机制与通道注意力机制;最后,主干网络特征与编码器特征通过注意力机制融合生成用于跨域特征对齐的语义向量。从Cityscape到Fogy-Cityscape数据集,City-DA-DETR模型的平均精度均值(mAP)达到了43.8%,相较于基线模型SFA(Sequence Feature Alignment)提升了2.5百分点;从Sim10K到Cityscape数据集,City-DA-DETR模型的mAP达到了56.1%,相较于SFA提升了3.5百分点。实验结果表明,City-DA-DETR具有良好的域自适应性,有效实现了不同环境背景城市街道场景的跨域迁移。

复杂场景下自适应注意力机制融合实时语义分割

实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息,再经过特征融合网络(FFN)获得准确语义图像。AAFNet采用扩展的深度可分离卷积(DDW)可增大语义特征提取感受野,提出自适应平均池化(Avp)和自适应最大池化(Amp)构成自适应注意力机制融合模块(AAFM),可细化目标边缘分割效果并降低小目标的漏分率。最后在复杂城市街道场景Cityscapes和CamVid数据集上分别进行了语义分割实验,所设计的AAFNet以32帧/s(Cityscapes)和52帧/s(CamVid)的推理速度获得73.0%和69.8%的平均分割精度(mIoU),且与扩展的空间注意力网络(DSANet)、多尺度上下文融合网络(MSCFNet)以及轻量级双边非对称残差网络(LBARNet)相比,AAFNet平均分割精度最高。