基于YOLOX的轻量级毫米波雷达和相机融合检测算法

为满足交通系统全天候高效准确的感知需求,对基于YOLOX的轻量级毫米波雷达和相机融合检测算法进行了研究;该研究主要包括异构传感器信息融合和模型轻量化两个方面;异构传感器信息融合主要针对雷达信息对视觉信息辅助能力不足的问题,设计了一种雷达空间注意力模块有效提取雷达空间特征,以此辅助视觉在低能见度场景下学习到鲁棒的特征表达;在自制数据集和NuScenes数据集上训练并测试,所提出的RV-YOLOX算法相比YOLOX算法AP指标提升约3~4左右,说明算法的全天候检测能力得到了提升;模型轻量化则针对终端算力设备对算法部署的限制,采用了结构重参数化的方式对RV-YOLOX进行了优化,轻量级RV-YOLOX在提高推理速度的同时实现了与RV-YOLOX相当的检测精度。