Effective Self-calibration for Camera Parameters and Hand-eye Geometry Based on Two Feature Points Motions

A novel and effective self-calibration approach for robot vision is presented, which can effectively estimate both the camera intrinsic parameters and the hand-eye transformation at the same time. The proposed calibration procedure is based on two arbitrary feature points of the environment, and three pure translational motions and two rotational motions of robot endeffector are needed. New linear solution equations are deduced, and the calibration parameters are finally solved accurately and effectively. The proposed algorithm has been verified by simulated data with different noise and disturbance. Because of the need of fewer feature points and robot motions, the proposed method greatly improves the efficiency and practicality of the calibration procedure. © 2017 Chinese Association of Automation.

基于双目eye in hand系统的多角度树干位姿估计方法

针对采摘机器人自主行走导航过程中,难以准确定位其与果树之间的相对位置,难以准确估计果树树干姿态的问题,提出基于双目eye in hand系统的多角度树干位姿估计方法。利用YOLOv5深度学习方法与半全局块匹配算法识别树干并生成局部点云;利用半径滤波和体素滤波减少树干点云数据;利用闭环式手眼标定方法对双目eye in hand系统进行标定,并对同一树干多角度相机位置的点云数据进行拼接;利用随机抽样一致(RANSAC)算法与无约束最小二乘法估计并优化树干的位置和姿态,获取树干的圆柱体参数。通过对30幅标定板图像进行实验,闭环式手眼标定方法的平均欧式误差为3.7177 mm;采用半径滤波和体素滤波可减少98.470%的点云数据;采用RANSAC算法、圆柱体估计算法拟合树干点云数据,得到圆柱体的半径r=41.2771 mm,R_(MAE)=2.57156 mm,R_(RMSE)=2.98936 mm;无约束最小二乘法优化后r=39.4028 mm,R_(MAE)=1.98955 mm,R_(RMSE)=2.46588 mm。该文通过对双目eye in hand系统进行标定,建立坐标系转换关系,多角度采集环境信息,准确定位机器人与果树之间的相对位置,估计果树树干的姿态。

Planar Motion Tracking with an Uncalibrated Robot/Vision System

This paper discusses the coordination process for a robot gripper to approach a movingobject with feedback from an uncalibrated visual system. The dynamic of the whole system, includingtarget's random motion and the gripper's tracking motion, is bounded to a 2-D working plane. Acamera, whose relations with the robot system and the 2-D working plane are unknown to the robotcontroller, is fixed aside to observe the object and gripper positions continually. Thus the movementsof the robot gripper can be decided on the positions of the object observed in each visual samplingmoment. The coordination of the vision and robot system is to be shown independently from therelations between the robot and the vision system, which should always be calibrated a prior forthe control of traditional robot/vision coordination system. Simulations are provided to show theproperty of the proposed method.

工业机器人手眼标定综合实验设计

为了提高工业机器人技术课程的多学科交叉应用与集成创新能力培养的教学效果,设计了一种针对眼在手外模式的机械臂手眼标定综合实验。采用机械臂、相机、标定板和Visual Studio软件完成手眼标定工程化实验平台的搭建,利用软件编程将采集到的机械臂末端位姿信息转化为位姿矩阵,获得了标定板图片中圆心位置并求解了手眼矩阵,最后进行标定结果误差分析。通过熟悉设备、编写代码、调试程序、测试验证等步骤,帮助学生理解手眼标定理论知识,增强应用实践和创新能力。

齿轮倒角检测定位和加工系统研究

为了满足对大尺寸,多型号齿轮的自动化倒角加工要求,设计一套基于机器人视觉的齿轮倒角检测定位和加工系统。本论文主要研究内容有:提出一种高精密协同测量的方法,实现对齿轮轮廓的精准测量,解决了齿轮轮廓在视觉系统中的定位问题;为应对不同型号的齿轮加工,提出一种手眼协动的标定方法,标定出视觉系统和机器人系统的位姿关系;推导出在实际齿轮倒角加工过程中偏心现象和端跳震荡现象的误差模型,在机器人坐标系中进行纠正,实现视觉引导机器人进行齿轮倒角自动化加工进程。根据实验的数据表明,该系统的倒角加工精度优于0.3mm,满足齿轮倒角行业的自动化生产要求,对传统的齿轮倒角行业有着重要意义。

基于深度学习车顶焊缝涂胶机械臂研究

为提高汽车工艺涂胶质量及机械臂作业效率,针对基于深度学习的双目视觉车顶焊缝涂胶机械臂系统,提出了一种SEmYOLOv5算法,在主干网络上增加SE(squeeze and excitation)注意力机制,同时在颈部网络上增加一组采样模块,提高焊缝的识别能力。对提取到的图像进行图像处理,使得更好的提取车顶焊缝的特征信息从而得到特征点坐标,采用B样条曲线法对机械臂进行轨迹规划。改进后的算法相较原YOLOv5算法的mAP值提升了6.76%,针对该系统进行实验并验证了提出的基于深度学习的双目视觉车顶焊缝涂胶机械臂系统的有效性。

机器人与双目相机的手眼标定方法

为了得到钻头在激光熔覆机器人坐标系下的模型数据需要机器人与双目相机进行手眼标定,针对这一问题提出了一种手眼标定的方法。改变机器人位姿对同一点进行测量,建立机器人DH模型并利用机器人正运动学方程计算出机器人末端坐标系与双目相机坐标系之间的变换矩阵,完成了手眼测量系统标定。基于此标定方法进行了误差测试与激光熔覆实验,对误差产生的原因进行分析并提出了减小误差的方法。实验结果表明,机器人与双目相机的手眼标定方法有效,可用于PDC钻头激光熔覆系统。

基于3D相机的拆垛机器人手眼标定方法研究

为了提高拆垛机器人手眼标定的准确度,设计了一种结合有序点云和对偶四元数的改进粒子群优化算法的手眼标定方法。首先,采用三层梯状采样法获取不同姿态的手眼标定数据;然后,对圆形标定板进行圆心提取,采用加权奇异值分解的方案求解定位点的旋转平移矩阵,减少了噪声干扰;最后,将求得的刚性变换矩阵转换为对偶四元数,采用改进的自适应粒子群优化算法求解出手眼矩阵的旋转和平移部分。实验结果表明,手眼标定方法可稳定地处理标定数据,且平均误差小于2.5 mm,优于Tsai法和传统对偶四元数法。

面向手眼标定的改进灰狼优化方法

为解决眼在手上的机器视觉智能机器人手眼标定精度较低的问题,提出了一种改进灰狼算法的手眼标定方法。首先建立了眼在手的机器视觉智能机器人的手眼标定数学模型,通过分析影响手眼标定误差的因素,提出一种用于降低手眼标定误差的拍照位姿生成方案。然后,融合维度学习和差分进化策略,利用改进的灰狼算法对经由传统手眼标定算法求得的解析解进行非线性优化,避免了传统优化算法在迭代过程中,容易提前收敛,陷入局部最优解等缺陷。最后利用实物设备进行手眼标定实验,实验结果证明了该方法对降低手眼标定误差的可行性和有效性。

视觉引导机器人的电池镍片识别与标定方法研究

针对电池PACK线电池镍片摆放难以自动化问题,以某电池自动化生产线中机器人对电池镍片的识别与无序抓取为例,进行了理论分析和测试试验研究。用Eye-to-Hand的三点手眼标定法建立了机器人与视觉相机之间的仿射变换矩阵;利用Halcon软件平台对拍摄电池镍片图像进行零件特征提取和基于形状的模板匹配算法进行镍片的识别,并研究了镍片各种位姿情况下对识别速度、准确性的影响;最后搭建了测试平台进行了验证。研究结果表明,该方法的识别速度达到了32.3 ms,识别准确度达到了0.9521,一次性可以识别10个以上不同位姿形态的镍片,可以精准有效地引导机器人对物料进行操作,满足了该自动化生产线的需求,对类似作业类型有较好的参考价值。

机器人三维视觉实验平台坐标系标定实验设计

为了探究机器人工作站的高精度坐标系标定方法,搭建了一个由工业机器人、双目结构光相机以及单轴转台组成的机器人三维视觉实验平台。研究了定位误差补偿方法、工业机器人工具中心点标定方法、工业机器人与双目结构光相机的手眼标定方法以及双目结构光相机与单轴转台的坐标系标定方法,并形成了实验平台的坐标系综合标定方法,最后测试了标定后的综合精度。实验结果表明,工业机器人与双目结构光相机之间的平均标定误差为0.442~0.689 mm,机器人三维视觉实验平台的综合标定误差为0.399~0.696 mm,能完全满足焊接、涂胶、切割等机器人离线编程应用的精度要求。

基于救援机器人的人体关节点检测方法

为了使救援机器人在危楼环境下能够精确地检测人体关节点,以代替救援人员进入危险现场,提出了一种基于救援机器人的人体关节点检测方法。首先,通过Kinect相机获取人体关节点检测数据,采用归一化的方法对关节点数据进行平滑预处理。其次,对预处理数据加入人体关节长度约束和关节旋转角约束,从而生成每个人体关节点空间位置。最后,采用Tsai方法进行手眼标定,得到机械臂和伤员之间的距离。实验结果表明该方法在危楼救援环境下能够准确测量伤员关节点位置,验证了所提出检测方法的有效性。

基于机器视觉的钢水自动化取样

钢水分析是钢铁生产重要的过程控制环节。针对现有人工钢水取样危险系数高、工作环境恶劣,基于机器视觉的钢水自动化取样系统设计,采用机械臂完成钢水自动化取样。基于CCD获取的钢水样件图像,设计了分区特征提取算法,实现了图像坐标系下抓取位置及抓取方向的识别。通过摄像机标定、手眼标定、末端转轴映射函数,完成了图像坐标系下抓取位置、方向到机械臂基座坐标系下抓取位置、姿态的转化。实验验证了设计系统的有效性,针对直径6 mm、长度为50 mm的钢水样件把手,机械臂定位抓取位置偏差不高于2 mm,方向偏差不高于2°,精度满足应用需求。

基于三维点云的大型铸件冒口切割轨迹规划

为解决人工切割大型铸件冒口对人体损害大,生产效率低和切割平面粗糙的问题,对视觉检测技术和机器人切割轨迹规划进行研究。首先,利用3D工业相机采集铸件三维场景点云信息;然后,通过提出的三点模板点云配准(three-point template point cloud registration, TTPCR)方法获取铸件切割点位的位姿信息,利用手眼标定变换矩阵把切割点位的信息变换到机械臂的基坐标系下;最后,利用空间圆弧的姿态插补求出切割轨迹的位姿信息,并用RoboDK软件开展实验。实验结果表明切割的误差小于1.3 mm,相对于传统的人工切割方法,切割豁口缝隙减少了37.5%,切割表面粗糙度降低了70.8%,切割表面平均粗糙深度降低了65.6%,满足铸件切割工艺要求,具有一定的工业应用价值。

基于手持示教笔的工业机器人轨迹演示示教方法

针对工业机器人传统示教方式存在示教交互性差和编程效率低、学习成本高等问题,提出一种基于手持示教笔的工业机器人轨迹演示示教方法。该方法首先通过手眼标定建立位姿追踪系统坐标系与机器人基坐标系之间的转换矩阵,提出基于迭代最近点(ICP)的标定精度优化方法,以提高手眼标定精度。然后,使用位姿追踪系统追踪手持示教笔的位置和姿态,并将其位置和姿态转换到机器人基坐标系下,通过以太网传输给工业机器人控制柜,从而控制工业机器人复现手持示教笔的轨迹。搭建了机器人示教平台,进行了工业机器人轨迹演示示教实验。实验结果表明,利用手持示教笔得到的位姿数据平均误差为2.19 mm,最大误差为4.57 mm,能够满足工业机器人示教需求。

基于几何式手眼标定的五轴平台运动学标定研究

运动学标定是提高多轴运动平台绝对定位精度的有效方式之一,以视觉系统为平台末端位姿测量设备时需要首先标定准确的手眼关系,以将视觉系统测量得的数据与平台末端运动量进行联系。传统的手眼标定方法需要准确的运动学模型方可精确计算出手眼关系矩阵,但是运动学几何参数未标定使运动学模型存在误差,也导致基于运动学的手眼关系矩阵存在误差。针对这一问题,提出了一种几何式的手眼标定方法,可在未标定运动学模型的情况下标定获得准确的手眼关系。该方法首先标定平台平移轴的方向向量,由此构建优化函数辨识得到手眼关系的姿态矩阵,而后通过平台的旋转轴运动标定得到手眼关系的位置矩阵,最后使用该方法获得的手眼矩阵计算出平台末端运动数据进行运动学标定。实验结果表明,所提方法具有较好的稳定性与准确性,手眼标定结果满足多轴运动平台的运动学标定要求。

面向工业机器人的非线性手眼标定方法研究

手眼标定是机器人视觉领域中的一个关键技术,主要包括眼在手上和眼在手外两种标定方式。标定的目的是得到相机坐标系与机器人坐标系之间的位姿关系,根据相机获取的图像重构三维场景,求出两个坐标系之间的转换参数,其结果将直接影响到机器人精准作业。受当前镜头工艺水平和机器误差限制,相机采集的图像存在非线性畸变,原有的手眼标定方法存在精确度不足的缺点。针对这个问题,文中提出面向工业机器人的非线性手眼标定方法,通过卷积原理使矩阵参数适应镜头下不同区域畸变的方法,减小相机镜头畸变影响。通过实验验证表明,该方法能够提高手眼标定结果的精确度,标定后的平均误差为0.4 mm,稳定性更强,可满足更多场景需求。

基于LSTM网络的机器人异空间手眼标定方法

针对现有机器人操作空间与相机视野异空间的情况,基于长短期记忆(LSTM)网络,提出了一种新颖的机器人异空间手眼标定方法。首先依次提取并记录标定板上各圆心的像素坐标,然后利用传送带将标定板平移送至机器人工作空间内,并记录机器人末端顶针的位姿信息。其次利用LSTM网络数据训练获得手眼映射关系。最后使用采集的36组真实数据作为验证集来验证预测精度。结果表明,该方法训练的模型所预测的机器人基坐标系坐标平均平移误差仅为0.69 mm,并且针对随机分布于传送带所有工作空间中的验证集数据,平移误差波动值均小于1 mm,有效验证了该方法的鲁棒性和有效性。相较于经典平面标定方法,本文所提出的方法有效工作空间大,标定精度高,并且可以有效补偿相机镜头畸变、深度值变化等因素所带来的误差。

基于PatMax视觉引导的机械臂末端轨迹规划与控制

该文旨在介绍一种基于PatMax视觉引导的机械臂末端轨迹规划与控制方法。该系统主要是利用了美国Cognex公司旗下的VisionPro机器视觉开发软件,开发环境为C#语言环境,主要完成了视觉定位系统硬件设计、3D相机的预处理采集及校准和图像定位等核心工作。首先利用了视觉传感器来采集目标物体的姿态和位置信息,并采用PatMax算法对目标物体进行识别和定位。不同于传统方法,该方法采用了2D到3D的图像数据转换成点云数据,从而实现了无需人工示教。该方法具有高精度和稳定性,并且可以实现机械臂末端轨迹规划和控制。通过PatMax算法,该系统可以达到2 mm图像定位精度。该精度下的机械臂轨迹规划和控制在实际工业,特别是机器人领域中有着重要的应用价值。

耳温计检定系统机械臂位姿自动修正方法研究

针对耳温计自动检定系统中机械定位随机偏移的问题,提出一种基于机器视觉的机械臂位姿自动修正算法。在恒温槽基准位建立机械臂运动的基准参考坐标系,在此坐标系下设计机械臂作业路径动作;系统作业过程中,通过定位恒温槽上的特征图案生成变换矩阵,产生新参考坐标系;机械臂来到新参考坐标系下拍照,反推变换矩阵偏差值并对其迭代更新;通过对机械臂运动的参考坐标系进行修正,完成对机械臂三维作业的位姿修正。实验结果表明,所提算法对恒温槽上3个平面的定位精度达到0.5 mm以内,为相似场景下的视觉引导提供了一种新思路。