针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;...针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;利用半径滤波和体素滤波减少树干点云数据;利用闭环式手眼标定方法对双目eye in hand系统进行标定,并对同一树干多角度相机位置的点云数据进行拼接;利用随机抽样一致(RANSAC)算法与无约束最小二乘法估计并优化树干的位置和姿态,获取树干的圆柱体参数。通过对30幅标定板图像进行实验,闭环式手眼标定方法的平均欧式误差为3.7177 mm;采用半径滤波和体素滤波可减少98.470%的点云数据;采用RANSAC算法、圆柱体估计算法拟合树干点云数据,得到圆柱体的半径r=41.2771 mm,R_(MAE)=2.57156 mm,R_(RMSE)=2.98936 mm;无约束最小二乘法优化后r=39.4028 mm,R_(MAE)=1.98955 mm,R_(RMSE)=2.46588 mm。该文通过对双目eye in hand系统进行标定,建立坐标系转换关系,多角度采集环境信息,准确定位机器人与果树之间的相对位置,估计果树树干的姿态。展开更多
为解决人工切割大型铸件冒口对人体损害大,生产效率低和切割平面粗糙的问题,对视觉检测技术和机器人切割轨迹规划进行研究。首先,利用3D工业相机采集铸件三维场景点云信息;然后,通过提出的三点模板点云配准(three-point template point ...为解决人工切割大型铸件冒口对人体损害大,生产效率低和切割平面粗糙的问题,对视觉检测技术和机器人切割轨迹规划进行研究。首先,利用3D工业相机采集铸件三维场景点云信息;然后,通过提出的三点模板点云配准(three-point template point cloud registration, TTPCR)方法获取铸件切割点位的位姿信息,利用手眼标定变换矩阵把切割点位的信息变换到机械臂的基坐标系下;最后,利用空间圆弧的姿态插补求出切割轨迹的位姿信息,并用RoboDK软件开展实验。实验结果表明切割的误差小于1.3 mm,相对于传统的人工切割方法,切割豁口缝隙减少了37.5%,切割表面粗糙度降低了70.8%,切割表面平均粗糙深度降低了65.6%,满足铸件切割工艺要求,具有一定的工业应用价值。展开更多
包裹体积测量是物流计费的重要环节.针对快递网点和快递员上门收件等场景中对包裹体积现场快速测量的需求,提出一种基于RGB-D(red green blue-depth)相机的手持式包裹体积测量方法.首先,使用RGB-D相机获得场景初始点云,对初始点云预处...包裹体积测量是物流计费的重要环节.针对快递网点和快递员上门收件等场景中对包裹体积现场快速测量的需求,提出一种基于RGB-D(red green blue-depth)相机的手持式包裹体积测量方法.首先,使用RGB-D相机获得场景初始点云,对初始点云预处理后得到包裹点云,并提取包裹的两个特征平面.其次,对点云平面进行坐标变换,针对坐标变换后点云数据的非均匀性问题,采用基于八叉树的体素滤波算法对点云进行下采样及初步均匀化处理,并提出一种点云空洞填补算法修复体素滤波后点云中的空洞,从而得到两组分布均匀的包裹特征平面点云.最后,利用两组特征平面点云的坐标求取包裹体积.实验结果表明:测量结果的重复性相对误差小于1.6%,在不大于80 cm的拍摄距离内体积测量相对误差小于3.2%,满足物流现场高精度、低成本测量的需求.展开更多
文摘针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;利用半径滤波和体素滤波减少树干点云数据;利用闭环式手眼标定方法对双目eye in hand系统进行标定,并对同一树干多角度相机位置的点云数据进行拼接;利用随机抽样一致(RANSAC)算法与无约束最小二乘法估计并优化树干的位置和姿态,获取树干的圆柱体参数。通过对30幅标定板图像进行实验,闭环式手眼标定方法的平均欧式误差为3.7177 mm;采用半径滤波和体素滤波可减少98.470%的点云数据;采用RANSAC算法、圆柱体估计算法拟合树干点云数据,得到圆柱体的半径r=41.2771 mm,R_(MAE)=2.57156 mm,R_(RMSE)=2.98936 mm;无约束最小二乘法优化后r=39.4028 mm,R_(MAE)=1.98955 mm,R_(RMSE)=2.46588 mm。该文通过对双目eye in hand系统进行标定,建立坐标系转换关系,多角度采集环境信息,准确定位机器人与果树之间的相对位置,估计果树树干的姿态。
文摘包裹体积测量是物流计费的重要环节.针对快递网点和快递员上门收件等场景中对包裹体积现场快速测量的需求,提出一种基于RGB-D(red green blue-depth)相机的手持式包裹体积测量方法.首先,使用RGB-D相机获得场景初始点云,对初始点云预处理后得到包裹点云,并提取包裹的两个特征平面.其次,对点云平面进行坐标变换,针对坐标变换后点云数据的非均匀性问题,采用基于八叉树的体素滤波算法对点云进行下采样及初步均匀化处理,并提出一种点云空洞填补算法修复体素滤波后点云中的空洞,从而得到两组分布均匀的包裹特征平面点云.最后,利用两组特征平面点云的坐标求取包裹体积.实验结果表明:测量结果的重复性相对误差小于1.6%,在不大于80 cm的拍摄距离内体积测量相对误差小于3.2%,满足物流现场高精度、低成本测量的需求.