基于遥感图像的多模态小目标检测

由于遥感图像目标往往较小且容易受光线、天气等因素的影响,所以单一模态下基于深度学习的遥感图像目标检测的准确度较低。然而,不同模态间的图像信息可以相互增强提高目标检测的性能。因此,基于RGB和红外图像,提出了一种适用于遥感图像多模态小目标检测的平衡多模态深度模型。相比简单地相加、点乘和拼接的方式融合2个模态的特征信息,设计了一种平衡多模态特征的方法增强目标特征,以弥补单一模态信息不足的缺点。首先分别对RGB和红外图像进行浅层特征提取;其次,融合2个模态的特征信息并进行深层的特征提取;然后,基于YOLOv4方法,构建了多模态小目标检测模型。最后,基于VEDAI数据集,在遥感图像多模态小目标检测实验结果中验证了该方法的有效性。

改进的YOLO V3算法及其在小目标检测中的应用

针对图像中小目标检测率低、虚警率高等问题,提出了一种YOLO V3的改进方法,并将其应用于小目标的检测。由于小目标所占的像素少、特征不明显,提出对原网络输出的8倍降采样特征图进行2倍上采样,将2倍上采样特征图与第2个残差块输出的特征图进行拼接,建立输出为4倍降采样的特征融合目标检测层。为了获取更多的小目标特征信息,在YOLO V3网络结构Darknet53的第2个残差块中增加2个残差单元。利用K-means聚类算法对目标候选框的个数和宽高比维度进行聚类分析。用改进的YOLO V3算法和原YOLO V3算法在VEDAI数据集上进行对比实验,结果表明改进后的YOLO V3算法能有效检测小目标,对小目标的召回率和检测的平均准确率均值都有明显的提升。