基于空间注意力和可变形卷积的无人机田间障碍物检测

为了解决植保无人机作业时,传统田间障碍物识别方法依赖人工提取特征,计算耗时较长,难以实现在非结构化田间环境下实时作业识别的问题,提出一种优化的Mask R-CNN模型的非结构化农田障碍物实例分割方法。以ResNet-50残差网络为基础,将空间注意力(Spatial attention,SA)引入残差结构,聚焦跟踪目标的显著性表观特征并主动抑制噪声等无用特征的影响;引入可变形卷积(Deformable convolution,DCN),通过加入偏移量,增大感受野,提高模型的鲁棒性。构建包含农田典型障碍物的数据集,通过对比试验研究在ResNet残差网络结构中的不同阶段中加入空间注意力和可变形卷积时的模型性能差异。结果表明,与Mask R-CNN原型网络相比,在ResNet的阶段2、阶段3、阶段5加入空间注意力和可变形卷积后,改进Mask R-CNN的边界框(Bbox)和掩膜(Mask)的平均精度均值(mAP)分别从64.5%、56.9%提高到71.3%、62.3%。本文提出的改进Mask R-CNN可以很好地实现农田障碍物检测,可为植保无人机在非结构化农田环境下安全高效工作提供技术支撑。

基于改进YOLOv3-tiny的田间行人与农机障碍物检测

为实现农机自主作业中的避障需求,本文针对室外田间自然场景中因植被遮挡、背景干扰而导致障碍物难以检测的问题,基于嵌入式平台应用设备,提出了农机田间作业时行人和农机障碍物检测的改进模型,更好地平衡了模型的检测速度与检测精度。该改进模型以You only look once version 3 tiny(YOLOv3-tiny)为基础框架,融合其浅层特征与第2 YOLO预测层特征作为第3预测层,通过更小的预选框增加小目标表征能力;在网络关键位置的特征图中混合使用注意力机制中的挤压激励注意模块(Squeeze and excitation attention module,SEAM)与卷积块注意模块(Convolutional block attention module,CBAM),通过强化检测目标关注以提高抗背景干扰能力。建立了室外环境下含农机与行人的共9405幅图像的原始数据集。其中训练集7054幅,测试集2351幅。测试表明本文模型的内存约为YOLOv3与单次多重检测器(Single shot multibox detector,SSD)模型内存的1/3和2/3;与YOLOv3-tiny相比,本文模型平均准确率(Mean average precision,mAP)提高11个百分点,小目标召回率(Recall)提高14百分点。在Jetson TX2嵌入式平台上本文模型的平均检测帧耗时122 ms,满足实时检测要求。