可见光与红外双模态图像融合行人检测

由于传统融合检测方法未能较好地解决双模态融合中冗余信息带来的误检、漏检问题。为了更有效地利用双模态信息,提出一种光照感知和卷积块注意模块相结合的双模态特征融合行人检测网络(IWFC-Net)。首先根据可见光图像提取光照感知值,将其作为融合权重指导双模态图像特征融合;然后加强融合特征进行卷积块注意力机制加强,强化特征表示;最后将加强后的融合特征送入YOLO目标检测层进行多尺度行人预测,得到多尺度行人检测结果。在KAIST、LLVIP多光谱数据集上的实验结果表明,所提方法既能有效融合双模图像互补信息提升目标检测精度,又能显著降低冗余信息造成的漏检和误检率,还能达到35 FPS左右的检测速度,以期为行人检测提供新的解决方法。