基于鸟瞰图融合的多级旋转等变目标检测网络

随着自动驾驶系统的发展,针对道路场景下的3D目标检测受到研究人员的广泛关注。然而,大多数基于单一传感器或者多传感器融合的目标检测方法未考虑实际道路场景中车辆旋转,使得捕获的场景同步旋转,从而导致目标检测性能降低。针对这类问题,提出一种基于多传感器融合的多级全局旋转等变目标检测网络架构,以缓解场景旋转造成的目标检测困难,从而提高目标检测性能。首先,对体素内部进行各点之间距离编码,增强局部点云几何信息,并提取体素的全局旋转等变特征;其次,引入图像的语义信息并提取全局旋转等变特征,进一步提高网络性能;最后,将具有旋转等变性的点云和图像信息在鸟瞰图上进行融合,并嵌入群等变网络提取融合鸟瞰图级全局旋转等变特征。实验结果表明,该网络架构在nuScenes验证集上达到了68.7%的平均精度均值(mAP)和71.7的nuScenes检测分数(NDS),以及平均角度误差均值(mAOE)降低到0.288,相比主流的目标检测方法,其实现了网络架构本身的旋转等变性并在性能上得到了提升,此外,各个组件对于整体网络架构的目标检测性能提升都起到了重要作用。