基于FE-P2Pnet的无人机小麦图像麦穗计数方法

针对无人机图像背景复杂、小麦密集、麦穗目标较小以及麦穗尺寸不一等问题,提出了一种基于FE-P2Pnet(Feature enhance-point to point)的无人机小麦图像麦穗自动计数方法。对无人机图像进行亮度和对比度增强,增大麦穗目标与背景之间的差异度,减少叶、秆等复杂背景因素的影响。引入了基于点标注的网络P2Pnet作为基线网络,以解决麦穗密集的问题。同时,针对麦穗目标小引起的特征信息较少的问题,在P2Pnet的主干网络VGG16中添加了Triplet模块,将C(通道)、H(高度)和W(宽度)3个维度的信息交互,使得主干网络可以提取更多与目标相关的特征信息;针对麦穗尺寸不一的问题,在FPN(Feature pyramid networks)上增加了FEM(Feature enhancement module)和SE(Squeeze excitation)模块,使得该模块能够更好地处理特征信息和融合多尺度信息;为了更好地对目标进行分类,使用Focal Loss损失函数代替交叉熵损失函数,该损失函数可以对背景和目标的特征信息进行不同的权重加权,进一步突出特征。实验结果表明,在本文所构建的无人机小麦图像数据集(Wheat-ZWF)上,麦穗计数的平均绝对误差(MAE)、均方误差(MSE)和平均精确度(ACC)分别达到3.77、5.13和90.87%,相较于其他目标计数回归方法如MCNN(Multi-column convolutional neural network)、CSRnet(Congested scene recognition network)和WHCNETs (Wheat head counting networks)等,表现最佳。与基线网络P2Pnet相比,MAE和MSE分别降低23.2%和16.6%,ACC提高2.67个百分点。为了进一步验证本文算法的有效性,对采集的其它4种不同品种的小麦(AK1009、AK1401、AK1706和YKM222)进行了实验,实验结果显示,麦穗计数MAE和MSE平均为5.10和6.17,ACC也达到89.69%,表明本文提出的模型具有较好的泛化性能。

基于TPH-YOLO的无人机图像麦穗计数方法

在无人机上安装光学传感器捕捉农作物图像是一种经济高效的方法,它有助于产量预测、田间管理等。该研究以无人机小麦作物图像为研究对象,针对图像中麦穗分布稠密、重叠现象严重、背景信息复杂等特点,设计了一种基于TPH-YOLO(YOLO with transformer prediction heads)的麦穗检测模型,提高无人机图像麦穗计数的精度。首先,为了减小光照不均匀对无人机图像质量造成的影响,该研究采用Retinex算法进行图像增强处理。其次,在YOLOv5的骨干网络中添加坐标注意力机制(coordinate attention,CA),使模型细化特征,更加关注麦穗信息,抑制麦秆、麦叶等一些背景因素的干扰。再次,将YOLOv5中原始的预测头转换为Transformer预测头(transformer prediction heads,TPH),该预测头具有多头注意力机制的预测潜力,可以在高密度场景下准确定位到麦穗。最后,为了提高模型的泛化能力和检测精度,采用了迁移学习的训练策略,先使用田间采集的小麦图像数据集对模型进行预训练,接着再使用无人机采集的小麦图像数据集对模型进行参数更新和优化训练,并在无人机采集的小麦图像数据集上进行了试验。结果表明,该研究方法精确率、召回率及平均精确率分别为87.2%、84.1%和88.8%,相较于基础的YOLOv5平均精确率提高4.1个百分点,性能优于SSD、Faster-RCNN、CenterNet、YOLOv5等目标检测模型。此外,该研究利用公开数据集Global Wheat Head Detection(GWHD)在不同目标检测模型上进行对比试验,该数据集的小麦样本是多样的和典型的,与SSD、Faster-RCNN、CenterNet和YOLOv5等模型相比,平均精确率分别提升11.1、5.4、6.9和3.3个百分点,进一步验证了该研究所提方法的可靠性和有效性,研究结果可以为小麦的产量预测提供支撑。