基于光照感知权重融合的多模态行人检测算法

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题,提出一种基于光照感知权重融合的多模态行人目标检测算法。首先,使用引入高效通道注意力(ECA)机制模块的ResNet50作为特征提取网络,分别提取两个模态的特征;其次,对现有光照加权感知融合策略进行改进,通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重,并进行加权融合得到融合特征,从而降低算法的检测漏检率;最后,将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络,完成行人目标检测。实验结果表明,所提算法在KAIST数据集下具有良好的检测性能,在全天候下对行人目标的检测漏检率为11.16%。