Effective Self-calibration for Camera Parameters and Hand-eye Geometry Based on Two Feature Points Motions

A novel and effective self-calibration approach for robot vision is presented, which can effectively estimate both the camera intrinsic parameters and the hand-eye transformation at the same time. The proposed calibration procedure is based on two arbitrary feature points of the environment, and three pure translational motions and two rotational motions of robot endeffector are needed. New linear solution equations are deduced, and the calibration parameters are finally solved accurately and effectively. The proposed algorithm has been verified by simulated data with different noise and disturbance. Because of the need of fewer feature points and robot motions, the proposed method greatly improves the efficiency and practicality of the calibration procedure. © 2017 Chinese Association of Automation.

基于双目eye in hand系统的多角度树干位姿估计方法

针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;利用半径滤波和体素滤波减少树干点云数据;利用闭环式手眼标定方法对双目eye in hand系统进行标定,并对同一树干多角度相机位置的点云数据进行拼接;利用随机抽样一致(RANSAC)算法与无约束最小二乘法估计并优化树干的位置和姿态,获取树干的圆柱体参数。通过对30幅标定板图像进行实验,闭环式手眼标定方法的平均欧式误差为3.7177 mm;采用半径滤波和体素滤波可减少98.470%的点云数据;采用RANSAC算法、圆柱体估计算法拟合树干点云数据,得到圆柱体的半径r=41.2771 mm,R_(MAE)=2.57156 mm,R_(RMSE)=2.98936 mm;无约束最小二乘法优化后r=39.4028 mm,R_(MAE)=1.98955 mm,R_(RMSE)=2.46588 mm。该文通过对双目eye in hand系统进行标定,建立坐标系转换关系,多角度采集环境信息,准确定位机器人与果树之间的相对位置,估计果树树干的姿态。

基于救援机器人的人体关节点检测方法

为了使救援机器人在危楼环境下能够精确地检测人体关节点,以代替救援人员进入危险现场,提出了一种基于救援机器人的人体关节点检测方法。首先,通过Kinect相机获取人体关节点检测数据,采用归一化的方法对关节点数据进行平滑预处理。其次,对预处理数据加入人体关节长度约束和关节旋转角约束,从而生成每个人体关节点空间位置。最后,采用Tsai方法进行手眼标定,得到机械臂和伤员之间的距离。实验结果表明该方法在危楼救援环境下能够准确测量伤员关节点位置,验证了所提出检测方法的有效性。

基于三维点云的大型铸件冒口切割轨迹规划

为解决人工切割大型铸件冒口对人体损害大,生产效率低和切割平面粗糙的问题,对视觉检测技术和机器人切割轨迹规划进行研究。首先,利用3D工业相机采集铸件三维场景点云信息;然后,通过提出的三点模板点云配准(three-point template point cloud registration, TTPCR)方法获取铸件切割点位的位姿信息,利用手眼标定变换矩阵把切割点位的信息变换到机械臂的基坐标系下;最后,利用空间圆弧的姿态插补求出切割轨迹的位姿信息,并用RoboDK软件开展实验。实验结果表明切割的误差小于1.3 mm,相对于传统的人工切割方法,切割豁口缝隙减少了37.5%,切割表面粗糙度降低了70.8%,切割表面平均粗糙深度降低了65.6%,满足铸件切割工艺要求,具有一定的工业应用价值。

面向工业机器人的非线性手眼标定方法研究

手眼标定是机器人视觉领域中的一个关键技术,主要包括眼在手上和眼在手外两种标定方式。标定的目的是得到相机坐标系与机器人坐标系之间的位姿关系,根据相机获取的图像重构三维场景,求出两个坐标系之间的转换参数,其结果将直接影响到机器人精准作业。受当前镜头工艺水平和机器误差限制,相机采集的图像存在非线性畸变,原有的手眼标定方法存在精确度不足的缺点。针对这个问题,文中提出面向工业机器人的非线性手眼标定方法,通过卷积原理使矩阵参数适应镜头下不同区域畸变的方法,减小相机镜头畸变影响。通过实验验证表明,该方法能够提高手眼标定结果的精确度,标定后的平均误差为0.4 mm,稳定性更强,可满足更多场景需求。

基于三维点云处理的自动化手眼标定系统设计与实现

为了解决手眼标定过程中存在的操作烦琐、人工选点误差大等问题,文章设计并实现了一个基于三维点云处理技术的自动化手眼标定系统。该系统通过简单的棋盘格标定板在10个不同姿态下扫描了三维点云,利用Harris算法自动提取了角点坐标,构建了AX=XB方程并利用Tsai方法求解方程,从而通过ICP配准算法对计算结果进行了补偿。实验结果证明,该系统具有高效稳定的标定性能,标定精度可达1 mm。

基于多深度相机融合的机械臂抓取系统

针对单深度相机视角下获取的物体深度图像存在噪声干扰、遮挡等问题,使物体点云形状缺失或变形,3D特征存在不稳定性,提出一种多深度相机融合方法。利用多相机标定结果拼接各个相机视角下的点云数据,通过k邻域去噪算法除去点云中的噪声点,再对去噪点云数据进行体素化降采样,使拼接后的点云在空间均匀分布,从而获取完整的物体形状。同时建立了一个端到端的神经网络,通过输入多相机拍摄的RGB-D图像来预测二指平行夹爪的3D位置和3D方向。为优化预测抓取结果,改进了神经网络中对预测结果的鲁棒性评估,提出力螺旋空间场评价方法,提高了4%的成功率。最后将该抓取系统应用于AR5机械臂,实现了91%的抓取成功率。

基于视觉引导的机器人抓取系统手眼标定方法

[目的]为降低食品自动化生产线机器人定位误差和标定物识别误差,设计一种基于空间网格的手眼标定方法。[方法]基于姿态矩阵的组成,通过平移和旋转机器人末端获取末端相对于相机的姿态与位置,提出使用已知对应点对配准的方法降低平移法中机器人定位误差对姿态求解的影响;在空间圆拟合法的基础上提出两点向量法求解末端位置以减少数据采集量,并提出拟合球心的方式补偿手眼标定结果。[结果]标定后实测平均误差为0.8 mm。[结论]基于Eye-In-Hand型手眼系统可实现较高精度的物体定位。

用于工业三维点测量的接触式光学探针

为了快速、准确地获得大尺寸工业产品或带有深槽孔工件的关键点三维坐标,本文基于工业近景摄影测量理论、立体视觉技术等,研究并实现了两种工业便携式、接触式光学探针测量系统。研究了测量系统涉及的探针设计、探针标定以及三维点解算等关键技术,设计了点阵式和手持相机式两种适用于不同工业场合的工业探针。针对点阵式探针的测量,提出了一种用于解算探针坐标系与世界坐标系相对关系的点云匹配方法。此外,采用拟合虚拟球的方法准确标定了两种探针的内部参数。最后,通过对比标准球与三坐标测量机的测量结果,得到系统的测量精度可达0.1mm/m。该精度满足一般大、中型工件的三维点测量精度标准。

一种新的手提相机自定标方法

在计算机视觉中 ,如何由非定标序列图象得到相机和景物的度量特性是相机自定标技术要解决的主要问题 .一般相机定标方法则是利用景物的已知三维点坐标或几何特性 (如正交方向的灭点等 )来确定相机的定标矩阵K,而相机自定标方法则是直接根据图象和相机内外参数的约束来确定相机和景物的度量特性 .相机定标对于计算机视觉的许多应用来说是非常重要的 ,而在实际应用中 ,由于定标过程往往是很复杂的 ,因而 ,在过去的几年中 ,许多学者在相机自定标方面做了大量的工作 ,其研究结果表明 ,对于刚性景物来说 ,相机自定标是可行的 .为了使摄像机自定标更鲁棒、速度更快 ,给出了一种新的基于线性模型的相机自定标方法 ,该方法是首先利用三点透视投影图、灭点和向量正交的性质来得到一组非线性方程 ,然后将其转换为线性方程组 ,以避免求解过程中的累积误差 ,最后高精度地求出了全部内参数 αx,αy,u0 ,v0 .实验结果表明 ,此方法是有效的 .

一种搭载深度相机的机器人手眼标定方法

针对机器人手眼标定过程中人工标定时间长和标定误差大的问题,以双目测量为基础,设计了一种基于深度相机的机器人手眼标定方法.深度相机对标定物进行成像并建立点云模型,通过标定物的特征点视差及深度值反映摄像机的空间关系,同时导入机器人基坐标系下坐标,计算手眼关系变换矩阵,完成机器人手眼关系标定.实验表明:该方法标定的平面误差不高于0.40mm,空间误差不高于0.46mm,标定时间不超过5min.验证了该方法的正确性和有效性,提高了工业机器人标定过程的作业效率.

非特制靶标的结构光视觉自动标定系统

为解决现有结构光视觉装置的标定方法需要高精度特制靶标且标定过程复杂的问题,实现标定过程的流程化,提出了一种基于非特制靶标的结构光视觉自动标定方法,并构建了相应的自动标定系统。该系统控制机器人带动结构光视觉装置做两组运动对非特制靶标拍照,第一组运动通过8次平移和3次末端姿态改变运动,利用靶标平面的特征点信息并结合机器人的姿态信息获取相机参数和手眼参数,第二组运动通过5次平移,利用相机外参数和机器人的位移信息求解出光平面方程。采用具有清晰图像信息的卡片式物体作为靶标,利用所提出的方法完成线结构光平面标定,精度验证实验结果表明,系统对靶标的选择有较强的适应性,在测量30 mm、50 mm和60 mm标准块时,平均绝对误差均值为0.049 6 mm,相对误差均值为0.11%,标定精度能够满足毫米级的测量要求,能适应如焊缝跟踪、物体测量等工业现场对结构光视觉装置的要求。

基于手眼模型的三维激光雷达外参数标定

无人车三维激光雷达与GPS/INS组合导航系统融合使用,需要对两者之间的相对位姿进行标定。针对车辆运动过程点云畸变的现象,提出了一种单帧点云中激光扫描点坐标修正方法。针对标定问题,建立了标定模型,提出了一种基于ICP算法和手眼标定模型及最小二乘法进行外参数标定的方法。通过蒙特卡罗仿真实验,对该方法的有效性和精度进行了仿真和验证。在实验室JJUV-6无人车平台上进行标定试验,得到两者之间的三维位姿关系。对比标定前后三维点云重建效果,点云重叠度接近于配准效果。基于应用的目的,基本满足二维地图构建和三维环境重建的需求。

基于强定位与三点手眼标定的目标移载视觉引导算法

为了解决当前定位算法受目标背景干扰影响大,且其采用的物理接触标定技术易损伤工件表面的不足,提出了基于强定位与三点手眼标定的视觉引导算法。首先,利用高斯滤波处理Hessian矩阵,采用非极大值抑制法来确定特征点和方向,从而构造了surf特征点描述子,完成目标位置边缘和中心点的强定位,达到去除背景和环境光干扰,精确定位目标中心点与角度。然后提出三点标定法,计算缩放旋转矩阵和平移矩阵参数,完成Robot世界坐标与相机图像坐标的绑定映射。最后,编程实现算法和系统,实验测试结果显示:与当前工件材料移载系统相比,文中系统拥有更高的目标定位与标定移载成功率。

激光单目视觉焊缝起始点导引技术

针对弧焊机器人自动化焊接过程中初始焊接位置定位问题,本文提出了一种十字激光单目视觉的两步导引法.首先,找到成像平面上焊缝起始点坐标,以光轴中心为原点,光轴中心与该点的连线为z轴建立新的坐标系,通过求解新旧坐标系之间的旋转矩阵,控制机器人调整摄像机的姿态,使目标点位于摄像机光轴;然后,结合十字激光发生器,控制机器人沿摄像机z轴逐渐向焊缝起始点靠近,直至十字激光交叉点与焊缝起始点重合,即获得焊缝起始点的三维坐标,将该坐标反馈给机器人,控制焊枪运动至焊缝起始点.试验结果表明,该方法能够在保证焊接精确度的情况下实现对焊缝起始点导引.

基于3D视觉点云配准的高精度手眼标定方法

针对二维视觉测量方式缺乏Z轴深度信息导致手眼标定结果精度不高的问题,提出一种基于3D视觉点云配准的高精度手眼标定方法,搭建了一套单目结构光手眼标定系统,以传统的手眼标定模型为基础,采用最小化点云配准误差算法解算手眼标定矩阵。采用基于矩阵直积参数化方法初步求解手眼标定矩阵并作为初值,构建点云配准误差优化模型,以最小化点云配准误差为代价函数,同时,为保证手眼矩阵中旋转矩阵的正交特性,把代价函数从李群空间变换到李代数空间下,并对李代数空间下的代价函数进行最小二乘法迭代求解,获得最优的手眼标定矩阵。实验结果表明,所提方法具有较好的稳定性和精确性,手眼标定结果满足基于机械臂3D视觉测量的点云配准精度要求。

基于3D视觉传感器的龙门架机器人手眼标定方法

针对龙门架机器人末端执行机构只具有三个正交方向上的平移自由度的工作特性,参照传统手眼标定的两步法,设计了一种直接对3D视觉传感器的点云坐标系与机器人执行机构的工具坐标系进行手眼标定的方法。该方法只需要操作机器人进行两次正交的平移运动,采集三组标定板图片和对应点云数据,并通过执行机构的工具中心点(TCP)接触式测量出标定板上标志点的基坐标值,即可解算出手眼关系的旋转矩阵和平移矢量。该方法操作简单,标定板易于制作且成本低。采用XINJE龙门架机器人与3D视觉传感器搭建实验平台,实验结果表明,该方法具有良好的稳定性,适合现场标定,标定精度达到±0.2 mm。

基于双视角点云拼接的机械手抓取方法

针对传统的抓取方法难以获得可靠抓取位姿的问题,提出一种基于双视角点云拼接的抓取方法。首先,通过手眼标定将两个视角下的点云同时转化到机器人基坐标系下,实现点云粗拼接;其次,为了解决迭代最近点(ICP)算法容易陷入局部最优的问题,设计了一种基于垂直平面的ICP算法(VP-ICP),引入辅助参照物以补偿错误匹配点所带来的计算误差,实现精细拼接;然后,对抓取位姿检测(GPD)算法进行改进,调整候选抓取位姿的筛选条件,提高对贴近地面的物体的抓取能力;最后,搭建了一套基于机器人操作系统(ROS)的3D视觉抓取系统,使用改进的GPD法在拼接后的点云中检测出可靠的抓取位姿,实现对散乱堆放物体的无序抓取。实验结果表明,所提算法的平均拼接耗时为1.23 s,地面法向量夹角的均值为0.56°,较次优算法有明显提升;点云拼接和改进的GPD法分别将平均抓取完成度提升了12.5%和4.1%。

复杂零件在线三维测量中的点云配准方法

复杂零件的在线检测对质量控制和工艺优化具有重要意义,而如何对齐由多个视点拍摄获得的三维点云是实现在线检测的关键。基于点云内部属性与坐标系无关这一性质,提出基于手眼标定的多视点云配准算法,将不同视点下传感器坐标系中的点云转移到固定的机器人基座坐标系中,实现多视点云的粗配准;针对粗配准精度不高的问题,提出一种由粗到精的自适应距离阈值ICP算法,实现多视点云的精配准。ICP粗配准阶段旨在扩大算法的收敛范围,加快迭代速度;ICP精配准阶段旨在消除误匹配,保证最终收敛结果的准确性。试验结果表明,所提点云配准方法的精度和速度均能够满足复杂在线检测的应用要求。

一种改进的机器人视觉点云手眼标定方法

本文提出一种基于视觉点云测量系统的标定方法,设计了一套Eye-in-Hand手眼系统,包含手眼关系误差与机械臂结构参数的系统误差模型,在机器人工作空间中固定一些标定球作为实验对象,控制机器人改变不同的空间位姿,以不同位姿测量球心坐标。首先用机器人运动学公式得到初始的手眼关系;之后通过系统误差模型、矩阵运算、最小二乘法等不断迭代到达预期精度。在UR10工业机器人进行了系统标定实验,进行图像采集、点云处理、球心拟合等工作,完成Eye-in-Hand手眼系统标定实验,并使用激光跟踪仪完成精度验证。得出结论:标定前后机器人在局部空间运动的距离测量标准差由0.4963mm降低到0.1834mm,充分验证了改进方法的高效性、便捷性和实用性。