准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番...准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest,ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素,深度误差±4 mm,成功定位采摘点后采摘成功率为98.15%。与现有的同类方法相比,采摘点图像坐标定位精度提高76.80个百分点,采摘成功率提高15.17个百分点,采摘效率提高31.18个百分点,满足非结构化种植环境中番茄串采摘需求。展开更多
采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果...采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域(Region of Interest,ROI);融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。展开更多
文摘准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest,ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素,深度误差±4 mm,成功定位采摘点后采摘成功率为98.15%。与现有的同类方法相比,采摘点图像坐标定位精度提高76.80个百分点,采摘成功率提高15.17个百分点,采摘效率提高31.18个百分点,满足非结构化种植环境中番茄串采摘需求。
文摘采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域(Region of Interest,ROI);融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。