近些年来,在目标检测以及图像分割等领域涌现了许多先进的算法。在能见度较差的微光场景下如夜晚、大雾天气等场景中,视频图像具有像素声高、对比度低、无彩色信息等特点,算法的检测性能受到明显限制。与目前主流的RGB相机相比,毫米波...近些年来,在目标检测以及图像分割等领域涌现了许多先进的算法。在能见度较差的微光场景下如夜晚、大雾天气等场景中,视频图像具有像素声高、对比度低、无彩色信息等特点,算法的检测性能受到明显限制。与目前主流的RGB相机相比,毫米波雷达对上述复杂环境具有一定的免疫能力,可以在不利条件下辅助RGB相机进行目标检测工作。以单阶段目标检测器中实时性较高的YOLOv5s为基础,结合毫米波雷达的特性,提出了用于微光环境下目标检测的多模态识别网络。与现有的传感器融合方法相比,多模态识别网络有几个关键优势。系统以基于学习的方式融合了2种模态,只需要少量新场景的标记图像和雷达数据,因为其可以充分利用已经开源的大型图像数据集进行大批量的训练。这一突出特性使新系统能够适应高度复杂的现实环境。由于使用了高度计算效率的融合方法,系统是非常轻量级的,因此适用于各个复杂场景下的实时应用。为了评估系统的性能,制作了一个小批量的雷达和摄像机融合数据集,包含普通光照和不同强度微光光照条件下的多模态数据。实验结果表明,微光场景下多模态识别网络的平均精度达到76.6%,相比Faster R-CNN算法和YOLOv7算法,全类平均精度(mean Average Precision,mAP)提高了16.8%和9.3%,且误检、漏检率低,达到了在微光环境下完成目标检测任务的要求。展开更多
文摘近些年来,在目标检测以及图像分割等领域涌现了许多先进的算法。在能见度较差的微光场景下如夜晚、大雾天气等场景中,视频图像具有像素声高、对比度低、无彩色信息等特点,算法的检测性能受到明显限制。与目前主流的RGB相机相比,毫米波雷达对上述复杂环境具有一定的免疫能力,可以在不利条件下辅助RGB相机进行目标检测工作。以单阶段目标检测器中实时性较高的YOLOv5s为基础,结合毫米波雷达的特性,提出了用于微光环境下目标检测的多模态识别网络。与现有的传感器融合方法相比,多模态识别网络有几个关键优势。系统以基于学习的方式融合了2种模态,只需要少量新场景的标记图像和雷达数据,因为其可以充分利用已经开源的大型图像数据集进行大批量的训练。这一突出特性使新系统能够适应高度复杂的现实环境。由于使用了高度计算效率的融合方法,系统是非常轻量级的,因此适用于各个复杂场景下的实时应用。为了评估系统的性能,制作了一个小批量的雷达和摄像机融合数据集,包含普通光照和不同强度微光光照条件下的多模态数据。实验结果表明,微光场景下多模态识别网络的平均精度达到76.6%,相比Faster R-CNN算法和YOLOv7算法,全类平均精度(mean Average Precision,mAP)提高了16.8%和9.3%,且误检、漏检率低,达到了在微光环境下完成目标检测任务的要求。
