基于遥感图像的多模态小目标检测

由于遥感图像目标往往较小且容易受光线、天气等因素的影响,所以单一模态下基于深度学习的遥感图像目标检测的准确度较低。然而,不同模态间的图像信息可以相互增强提高目标检测的性能。因此,基于RGB和红外图像,提出了一种适用于遥感图像多模态小目标检测的平衡多模态深度模型。相比简单地相加、点乘和拼接的方式融合2个模态的特征信息,设计了一种平衡多模态特征的方法增强目标特征,以弥补单一模态信息不足的缺点。首先分别对RGB和红外图像进行浅层特征提取;其次,融合2个模态的特征信息并进行深层的特征提取;然后,基于YOLOv4方法,构建了多模态小目标检测模型。最后,基于VEDAI数据集,在遥感图像多模态小目标检测实验结果中验证了该方法的有效性。