可见光–红外特征交互与融合的YOLOv5目标检测算法

目标检测是自动驾驶系统的关键技术,普通RGB目标检测算法在夜间和恶劣气候等场景往往表现一般,融合可见光和红外信息的目标检测算法因而受到诸多研究关注.现有方法通常融合结构复杂,且忽视了模态间信息交流的重要性.对此,本文以YOLOv5为基本框架,提出一种可见光–红外特征交互与融合的目标检测算法,使用一种新的主干网络跨阶段局部(CSPDarknet53-F),采用双分支结构分别提取可见光和红外特征.然后,通过特征交互模块重构各模态的信息成分和比例,提升模态间信息交流,使可见光和红外特征进行更充分的融合.在FLIR-aligned和M3FD数据集上的大量实验证明,本文算法使用的CSPDarknet53-F在协同利用可见光和红外信息方面更加出色,提升了模型精度,同时,拥有对抗光照强度骤变的鲁棒性.