针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;...针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;利用半径滤波和体素滤波减少树干点云数据;利用闭环式手眼标定方法对双目eye in hand系统进行标定,并对同一树干多角度相机位置的点云数据进行拼接;利用随机抽样一致(RANSAC)算法与无约束最小二乘法估计并优化树干的位置和姿态,获取树干的圆柱体参数。通过对30幅标定板图像进行实验,闭环式手眼标定方法的平均欧式误差为3.7177 mm;采用半径滤波和体素滤波可减少98.470%的点云数据;采用RANSAC算法、圆柱体估计算法拟合树干点云数据,得到圆柱体的半径r=41.2771 mm,R_(MAE)=2.57156 mm,R_(RMSE)=2.98936 mm;无约束最小二乘法优化后r=39.4028 mm,R_(MAE)=1.98955 mm,R_(RMSE)=2.46588 mm。该文通过对双目eye in hand系统进行标定,建立坐标系转换关系,多角度采集环境信息,准确定位机器人与果树之间的相对位置,估计果树树干的姿态。展开更多
目的立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳...目的立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 d B,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。展开更多
文摘针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;利用半径滤波和体素滤波减少树干点云数据;利用闭环式手眼标定方法对双目eye in hand系统进行标定,并对同一树干多角度相机位置的点云数据进行拼接;利用随机抽样一致(RANSAC)算法与无约束最小二乘法估计并优化树干的位置和姿态,获取树干的圆柱体参数。通过对30幅标定板图像进行实验,闭环式手眼标定方法的平均欧式误差为3.7177 mm;采用半径滤波和体素滤波可减少98.470%的点云数据;采用RANSAC算法、圆柱体估计算法拟合树干点云数据,得到圆柱体的半径r=41.2771 mm,R_(MAE)=2.57156 mm,R_(RMSE)=2.98936 mm;无约束最小二乘法优化后r=39.4028 mm,R_(MAE)=1.98955 mm,R_(RMSE)=2.46588 mm。该文通过对双目eye in hand系统进行标定,建立坐标系转换关系,多角度采集环境信息,准确定位机器人与果树之间的相对位置,估计果树树干的姿态。
文摘目的立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 d B,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。
