无规则扰动状态下柑橘果实在线目标检测与快速定位

柑橘采摘机器人连续采摘过程中因各种因素会引起其他待采柑橘无规则扰动,扰动状态下的柑橘无法在线快速准确检测与定位,影响机器人采摘效率。针对此问题,该研究提出一种基于改进YOLOv5s+DeepSORT算法的扰动柑橘在线目标检测与快速定位方法。首先在YOLOv5骨干网络中融入卷积注意力机制(convolutional block attention module,CBAM),提升模型对复杂目标的检测能力;用SIoU(scalable intersection over union)损失函数增强预测框与标定框之间的方向匹配,提升回归收敛速度。其次在DeepSORT算法中改进目标重识别网络(re-identification,ReID),增强网络特征提取能力,提升目标跟踪准确度与精度;在算法中融入Count计数机制,实时反馈每个扰动柑橘跟踪帧数,并改进算法实现对预测坐标值进行实时更新,提升预测准确率。最后结合深度相机排除背景柑橘影响并限制每次跟踪目标数目为3个,提升扰动柑橘预测定位速度。试验结果表明,与原算法相比,改进YOLOv5s算法的准确度、平均检测精度分别提升3.9、1.1个百分点,检测速率69.3帧/s。改进DeepSORT算法的跟踪准确度、跟踪精度分别提升9.2、5.4个百分点,ID(identity)切换次数减少32次。当预测定位时间为3 s时,定位平均准确度为81.9%,在试验室进行模拟试验,将盆栽柑橘果实沿不同方位随机摆动,摆幅约10 cm,单个柑橘平均抓取时间为12.8 s,比未使用改进算法缩短5.6 s,效率提升30.4%。该研究可为扰动状态下的柑橘快速采摘提供技术支持。