基于YOLO v7-ST-ASFF的复杂果园环境下苹果成熟度检测方法

针对复杂果园环境下目标检测算法参数量大、鲁棒性差等问题,本文提出一种改进的YOLO v7网络模型用于苹果成熟度(未成熟、半成熟、成熟)检测。以YOLO v7为基线网络,在特征提取结构中引入窗口多头自注意力机制(Swin transformer,ST),极大地降低网络参数量与计算量;为提高模型对远景图像中小目标的检测能力,在特征融合结构中引入自适应空间特征融合(Adaptively spatial feature fusion,ASFF)模块优化Head部分,有效利用图像的浅层特征和深层特征,加强特征尺度不变性;采用WIoU(Wise intersection over union)代替原始CIoU(Complete intersection over union)损失函数,在提高检测准确率的同时加快模型收敛速度。试验结果表明,本文改进的YOLO v7-ST-ASFF模型在苹果图像测试集上的检测速度和准确率均有显著提高,不同成熟度检测精确率、召回率和平均精度均值可达92.5%、84.2%和93.6%,均优于Faster R-CNN、SSD、YOLO v3、YOLO v5、YOLO v7以及YOLO v8目标检测模型;针对多目标、单目标、顺光、逆光、远景、近景以及套袋、未套袋苹果目标的检测效果都较好;本文网络模型内存占用量为53.4MB,模型平均检测时间(Average detection time,ADT)为45.ms,均优于其他目标检测模型。改进的YOLO v7-ST-ASFF模型能够满足复杂果园环境下苹果目标的检测,可为果蔬机器人自动化采摘提供技术支撑。

基于Swin-TDL算法的果园环境下葡萄病害检测方法

为在果园复杂环境因素下准确检测葡萄病害,提出一种基于Swin Transformer的葡萄病害检测模型Swin-TDL。采用Kmeans++聚类算法计算模型输入图像的锚框以提高检测精度;以Swin Transformer网络作为Swin-TDL的骨干网络更准确地获取目标特征信息;特征金字塔网络和路径聚合网络用于融合骨干网络中不同深度的特征层信息以增强检测目标的语义信息和定位信息;使用SIoU损失函数作为边界回归预测损失函数用于提高训练的速度和模型推理的准确性;使用Soft-NMS对目标边界框后处理以提高遮挡及重叠目标的检出率。在田间葡萄病害数据集中进行模型训练和性能测试,结果表明,Swin-TDL模型的平均精度均值为92.7%,平均检测时间为15.3 ms,综合性能优于对比检测算法,可以为葡萄植保装备研究提供参考。

机器人三目视觉系统详细设计

由于果园环境复杂,果实和障碍物难以定位,这势必对机器人采摘带来一定的困难。而三目摄像机可以同时对一个果实或障碍物进行摄像,获取三幅图像,通过软件系统同时对这三幅图像进行分析和处理,并且通过对这三幅图像的像素进行分析,建立相对应的像素关系,从而确定果实或障碍物到摄像机之间的距离。