Effective Self-calibration for Camera Parameters and Hand-eye Geometry Based on Two Feature Points Motions

A novel and effective self-calibration approach for robot vision is presented, which can effectively estimate both the camera intrinsic parameters and the hand-eye transformation at the same time. The proposed calibration procedure is based on two arbitrary feature points of the environment, and three pure translational motions and two rotational motions of robot endeffector are needed. New linear solution equations are deduced, and the calibration parameters are finally solved accurately and effectively. The proposed algorithm has been verified by simulated data with different noise and disturbance. Because of the need of fewer feature points and robot motions, the proposed method greatly improves the efficiency and practicality of the calibration procedure. © 2017 Chinese Association of Automation.

基于双目eye in hand系统的多角度树干位姿估计方法

针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;利用半径滤波和体素滤波减少树干点云数据;利用闭环式手眼标定方法对双目eye in hand系统进行标定,并对同一树干多角度相机位置的点云数据进行拼接;利用随机抽样一致(RANSAC)算法与无约束最小二乘法估计并优化树干的位置和姿态,获取树干的圆柱体参数。通过对30幅标定板图像进行实验,闭环式手眼标定方法的平均欧式误差为3.7177 mm;采用半径滤波和体素滤波可减少98.470%的点云数据;采用RANSAC算法、圆柱体估计算法拟合树干点云数据,得到圆柱体的半径r=41.2771 mm,R_(MAE)=2.57156 mm,R_(RMSE)=2.98936 mm;无约束最小二乘法优化后r=39.4028 mm,R_(MAE)=1.98955 mm,R_(RMSE)=2.46588 mm。该文通过对双目eye in hand系统进行标定,建立坐标系转换关系,多角度采集环境信息,准确定位机器人与果树之间的相对位置,估计果树树干的姿态。

基于点云维度转换的双优化层手眼标定方法

为提高点云相机与机器人坐标转换精度,提出一种双层Levenberg-Marquardt优化(D-LM)算法标定点云视觉系统和机器人的手眼关系。根据点云成像特点提出采用同心圆标记物代替棋盘格标定板,推导出2D-3D维度转换的标记物中心提取算法。利用欧拉角变换正交化手眼矩阵旋转矩阵。此外,构建双层LM优化模型对手眼矩阵进行优化。通过自主搭建的机器人平台验证提出的手眼标定算法,并与传统Tsai-LM标定方法对比。实验结果是采用提出的D-LM方法标定出的手眼矩阵平均误差为0.89 mm,优于Tsai-LM(平均误差3.55 mm),表明D-LM方法能减少系统随机误差对标定结果影响,提升工业领域视觉机器人工作精度。

基于机器视觉的SCARA机器人动态抓取应用研究

机器视觉技术应用于工业机器人系统能够增加机器人的智能性,使其能够更加灵活、精准地应对复杂的制造任务。基于机器视觉的工业机器人系统集成应用是企业实现数字化转型、智能化必然途径。针对流水线上传送带不停机,机器人动态跟踪目标物体抓取作业的特点,研究了机器人在视觉引导下动态跟踪目标物体、实现动态抓取的过程。以某SCARA机器人及视觉系统为例,提出了基于机器视觉的机器人动态抓取系统,该系统能够实现目标物体的传输与识别,目标位置的计算与定位、机器人的跟踪与抓取。在此基础上搭建了应用硬件平台,详细介绍了设备参数配置、手眼标定、动态跟踪参数设置的原理及过程,设计了目标物体动态跟踪及抓取的流程。最后通过口罩分装案例验证了该应用系统的可行性,为机器人流水线动态抓取作业提供了参考依据,对提高流水线生产效率和实现企业智能化升级具有较高的实际应用意义。

基于线激光传感器的机器人快速手眼标定方法和自动化程序

线激光传感器用于焊接机器人视觉引导时,易出现前期手眼标定较为繁琐、人为误差较大、后期难以复用和自动重标定等问题,提出了一种基于标准球的机器人快速手眼标定方法和通用性自动标定程序。该方法利用线激光传感器扫描标准球,通过球心拟合算法获取球心位置,并结合机器人位姿信息,建立传感器坐标系与机器人坐标系之间的转换关系。自动标定程序支持多种品牌机器人、线激光传感器和通讯协议,并采用PCL点云库和MathNET数值计算库进行计算,实现了标定过程的自动化和通用性。试验结果表明,该方法只需机器人粗略示教5个程序点,即可在2 min内自动扫描并获得标定结果,标定精度优于0.5 mm,满足机器人弧焊应用要求。此外,该程序易于复用,可简化机器人搭载线激光3D视觉系统的前期调试和后期运维工作,有效解决了传统手眼标定方法的不足,为线激光传感器在机器人视觉引导中的应用提供了便利。未来,将从减小球心拟合误差、优化扫描位置姿态等方面对标定方法进行进一步优化,并拓展其在高能束精密焊接等领域的应用。

Planar Motion Tracking with an Uncalibrated Robot/Vision System

This paper discusses the coordination process for a robot gripper to approach a movingobject with feedback from an uncalibrated visual system. The dynamic of the whole system, includingtarget's random motion and the gripper's tracking motion, is bounded to a 2-D working plane. Acamera, whose relations with the robot system and the 2-D working plane are unknown to the robotcontroller, is fixed aside to observe the object and gripper positions continually. Thus the movementsof the robot gripper can be decided on the positions of the object observed in each visual samplingmoment. The coordination of the vision and robot system is to be shown independently from therelations between the robot and the vision system, which should always be calibrated a prior forthe control of traditional robot/vision coordination system. Simulations are provided to show theproperty of the proposed method.

工业机器人手眼标定综合实验设计

为了提高工业机器人技术课程的多学科交叉应用与集成创新能力培养的教学效果,设计了一种针对眼在手外模式的机械臂手眼标定综合实验。采用机械臂、相机、标定板和Visual Studio软件完成手眼标定工程化实验平台的搭建,利用软件编程将采集到的机械臂末端位姿信息转化为位姿矩阵,获得了标定板图片中圆心位置并求解了手眼矩阵,最后进行标定结果误差分析。通过熟悉设备、编写代码、调试程序、测试验证等步骤,帮助学生理解手眼标定理论知识,增强应用实践和创新能力。

齿轮倒角检测定位和加工系统研究

为了满足对大尺寸,多型号齿轮的自动化倒角加工要求,设计一套基于机器人视觉的齿轮倒角检测定位和加工系统。本论文主要研究内容有:提出一种高精密协同测量的方法,实现对齿轮轮廓的精准测量,解决了齿轮轮廓在视觉系统中的定位问题;为应对不同型号的齿轮加工,提出一种手眼协动的标定方法,标定出视觉系统和机器人系统的位姿关系;推导出在实际齿轮倒角加工过程中偏心现象和端跳震荡现象的误差模型,在机器人坐标系中进行纠正,实现视觉引导机器人进行齿轮倒角自动化加工进程。根据实验的数据表明,该系统的倒角加工精度优于0.3mm,满足齿轮倒角行业的自动化生产要求,对传统的齿轮倒角行业有着重要意义。

基于深度学习车顶焊缝涂胶机械臂研究

为提高汽车工艺涂胶质量及机械臂作业效率,针对基于深度学习的双目视觉车顶焊缝涂胶机械臂系统,提出了一种SEmYOLOv5算法,在主干网络上增加SE(squeeze and excitation)注意力机制,同时在颈部网络上增加一组采样模块,提高焊缝的识别能力。对提取到的图像进行图像处理,使得更好的提取车顶焊缝的特征信息从而得到特征点坐标,采用B样条曲线法对机械臂进行轨迹规划。改进后的算法相较原YOLOv5算法的mAP值提升了6.76%,针对该系统进行实验并验证了提出的基于深度学习的双目视觉车顶焊缝涂胶机械臂系统的有效性。

应用垂直角特征的机器人与2D激光雷达手眼标定

现有的机器人与2D激光雷达手眼标定方法中一般存在标定装置制造成本高、采样过程要求严格等缺点,针对这些问题,提出一种利用垂直角特征标定装置进行标定的方法。标定过程中保持标定装置与机器人基坐标系相对位置不变;控制搭载2D激光雷达的机器人在某位姿下扫描标定装置,雷达扫描平面与三个标定平面上形成三条直线特征,利用它们之间存在的几何约束,解算出雷达坐标系与标定坐标系间的变换关系;通过变换机器人位姿重复扫描,建立机器人工具坐标系与雷达坐标系间变换矩阵的约束方程;求解约束方程得到变换矩阵的估计结果。同时提出一种基于平面特征的手眼标定优化算法,该算法是一个三阶段迭代过程,避免了垂直角特征制作精度对标定结果的不良影响。实验结果表明该方法在激光雷达扫描误差2 mm水平时,通过10次迭代就可将旋转矩阵的欧拉角误差降到小于0.01°、平移矩阵的距离误差小于1.0 mm。相比同等标定条件下的其他方法在收敛速度上具有优势,在初值选择上也更客观合理。

机器人与双目相机的手眼标定方法

为了得到钻头在激光熔覆机器人坐标系下的模型数据需要机器人与双目相机进行手眼标定,针对这一问题提出了一种手眼标定的方法。改变机器人位姿对同一点进行测量,建立机器人DH模型并利用机器人正运动学方程计算出机器人末端坐标系与双目相机坐标系之间的变换矩阵,完成了手眼测量系统标定。基于此标定方法进行了误差测试与激光熔覆实验,对误差产生的原因进行分析并提出了减小误差的方法。实验结果表明,机器人与双目相机的手眼标定方法有效,可用于PDC钻头激光熔覆系统。

基于3D相机的拆垛机器人手眼标定方法研究

为了提高拆垛机器人手眼标定的准确度,设计了一种结合有序点云和对偶四元数的改进粒子群优化算法的手眼标定方法。首先,采用三层梯状采样法获取不同姿态的手眼标定数据;然后,对圆形标定板进行圆心提取,采用加权奇异值分解的方案求解定位点的旋转平移矩阵,减少了噪声干扰;最后,将求得的刚性变换矩阵转换为对偶四元数,采用改进的自适应粒子群优化算法求解出手眼矩阵的旋转和平移部分。实验结果表明,手眼标定方法可稳定地处理标定数据,且平均误差小于2.5 mm,优于Tsai法和传统对偶四元数法。

面向手眼标定的改进灰狼优化方法

为解决眼在手上的机器视觉智能机器人手眼标定精度较低的问题,提出了一种改进灰狼算法的手眼标定方法。首先建立了眼在手的机器视觉智能机器人的手眼标定数学模型,通过分析影响手眼标定误差的因素,提出一种用于降低手眼标定误差的拍照位姿生成方案。然后,融合维度学习和差分进化策略,利用改进的灰狼算法对经由传统手眼标定算法求得的解析解进行非线性优化,避免了传统优化算法在迭代过程中,容易提前收敛,陷入局部最优解等缺陷。最后利用实物设备进行手眼标定实验,实验结果证明了该方法对降低手眼标定误差的可行性和有效性。

视觉引导机器人的电池镍片识别与标定方法研究

针对电池PACK线电池镍片摆放难以自动化问题,以某电池自动化生产线中机器人对电池镍片的识别与无序抓取为例,进行了理论分析和测试试验研究。用Eye-to-Hand的三点手眼标定法建立了机器人与视觉相机之间的仿射变换矩阵;利用Halcon软件平台对拍摄电池镍片图像进行零件特征提取和基于形状的模板匹配算法进行镍片的识别,并研究了镍片各种位姿情况下对识别速度、准确性的影响;最后搭建了测试平台进行了验证。研究结果表明,该方法的识别速度达到了32.3 ms,识别准确度达到了0.9521,一次性可以识别10个以上不同位姿形态的镍片,可以精准有效地引导机器人对物料进行操作,满足了该自动化生产线的需求,对类似作业类型有较好的参考价值。

机器人三维视觉实验平台坐标系标定实验设计

为了探究机器人工作站的高精度坐标系标定方法,搭建了一个由工业机器人、双目结构光相机以及单轴转台组成的机器人三维视觉实验平台。研究了定位误差补偿方法、工业机器人工具中心点标定方法、工业机器人与双目结构光相机的手眼标定方法以及双目结构光相机与单轴转台的坐标系标定方法,并形成了实验平台的坐标系综合标定方法,最后测试了标定后的综合精度。实验结果表明,工业机器人与双目结构光相机之间的平均标定误差为0.442~0.689 mm,机器人三维视觉实验平台的综合标定误差为0.399~0.696 mm,能完全满足焊接、涂胶、切割等机器人离线编程应用的精度要求。

基于救援机器人的人体关节点检测方法

为了使救援机器人在危楼环境下能够精确地检测人体关节点,以代替救援人员进入危险现场,提出了一种基于救援机器人的人体关节点检测方法。首先,通过Kinect相机获取人体关节点检测数据,采用归一化的方法对关节点数据进行平滑预处理。其次,对预处理数据加入人体关节长度约束和关节旋转角约束,从而生成每个人体关节点空间位置。最后,采用Tsai方法进行手眼标定,得到机械臂和伤员之间的距离。实验结果表明该方法在危楼救援环境下能够准确测量伤员关节点位置,验证了所提出检测方法的有效性。

基于机器视觉的钢水自动化取样

钢水分析是钢铁生产重要的过程控制环节。针对现有人工钢水取样危险系数高、工作环境恶劣,基于机器视觉的钢水自动化取样系统设计,采用机械臂完成钢水自动化取样。基于CCD获取的钢水样件图像,设计了分区特征提取算法,实现了图像坐标系下抓取位置及抓取方向的识别。通过摄像机标定、手眼标定、末端转轴映射函数,完成了图像坐标系下抓取位置、方向到机械臂基座坐标系下抓取位置、姿态的转化。实验验证了设计系统的有效性,针对直径6 mm、长度为50 mm的钢水样件把手,机械臂定位抓取位置偏差不高于2 mm,方向偏差不高于2°,精度满足应用需求。

基于三维点云的大型铸件冒口切割轨迹规划

为解决人工切割大型铸件冒口对人体损害大,生产效率低和切割平面粗糙的问题,对视觉检测技术和机器人切割轨迹规划进行研究。首先,利用3D工业相机采集铸件三维场景点云信息;然后,通过提出的三点模板点云配准(three-point template point cloud registration, TTPCR)方法获取铸件切割点位的位姿信息,利用手眼标定变换矩阵把切割点位的信息变换到机械臂的基坐标系下;最后,利用空间圆弧的姿态插补求出切割轨迹的位姿信息,并用RoboDK软件开展实验。实验结果表明切割的误差小于1.3 mm,相对于传统的人工切割方法,切割豁口缝隙减少了37.5%,切割表面粗糙度降低了70.8%,切割表面平均粗糙深度降低了65.6%,满足铸件切割工艺要求,具有一定的工业应用价值。

基于手持示教笔的工业机器人轨迹演示示教方法

针对工业机器人传统示教方式存在示教交互性差和编程效率低、学习成本高等问题,提出一种基于手持示教笔的工业机器人轨迹演示示教方法。该方法首先通过手眼标定建立位姿追踪系统坐标系与机器人基坐标系之间的转换矩阵,提出基于迭代最近点(ICP)的标定精度优化方法,以提高手眼标定精度。然后,使用位姿追踪系统追踪手持示教笔的位置和姿态,并将其位置和姿态转换到机器人基坐标系下,通过以太网传输给工业机器人控制柜,从而控制工业机器人复现手持示教笔的轨迹。搭建了机器人示教平台,进行了工业机器人轨迹演示示教实验。实验结果表明,利用手持示教笔得到的位姿数据平均误差为2.19 mm,最大误差为4.57 mm,能够满足工业机器人示教需求。

基于几何式手眼标定的五轴平台运动学标定研究

运动学标定是提高多轴运动平台绝对定位精度的有效方式之一,以视觉系统为平台末端位姿测量设备时需要首先标定准确的手眼关系,以将视觉系统测量得的数据与平台末端运动量进行联系。传统的手眼标定方法需要准确的运动学模型方可精确计算出手眼关系矩阵,但是运动学几何参数未标定使运动学模型存在误差,也导致基于运动学的手眼关系矩阵存在误差。针对这一问题,提出了一种几何式的手眼标定方法,可在未标定运动学模型的情况下标定获得准确的手眼关系。该方法首先标定平台平移轴的方向向量,由此构建优化函数辨识得到手眼关系的姿态矩阵,而后通过平台的旋转轴运动标定得到手眼关系的位置矩阵,最后使用该方法获得的手眼矩阵计算出平台末端运动数据进行运动学标定。实验结果表明,所提方法具有较好的稳定性与准确性,手眼标定结果满足多轴运动平台的运动学标定要求。