Seam Tracking and Visual Control for Robotic Arc Welding Based on Structured Light Stereovision

A real-time arc welding robot visual control system based on a local network with a multi-level hierarchy is developed in this paper. It consists of an intelligence and human-machine interface level, a motion planning level, a motion control level and a servo control level. The last three levels form a local real-time open robot controller, which realizes motion planning and motion control of a robot. A camera calibration method based on the relative movement of the end-effector connected to a robot is proposed and a method for tracking weld seam based on the structured light stereovision is provided. Combining the parameters of the cameras and laser plane, three groups of position values in Cartesian space are obtained for each feature point in a stripe projected on the weld seam. The accurate three-dimensional position of the edge points in the weld seam can be calculated from the obtained parameters with an information fusion algorithm. By calculating the weld seam parameter from position and image data, the movement parameters of the robot used for tracking can be determined. A swing welding experiment of type V groove weld is successfully conducted, the results of which show that the system has high resolution seam tracking in real-time, and works stably and efficiently.

基于绝对相位求解的三维重构算法设计

文章基于单目结构光系统实现对物体的三维重建,针对条纹投影的相位计算进行了算法分析与设计,分别使用多频外差法与格雷码对目标物体进行包裹相位求解,同时针对环境光对相位重建效果的影响提出了曝光补偿的方法来降低噪声并应用。仿真实验结果表明,基于格雷码的三维重构算法能较好地实现对三维物体的重构。

一种3D相机标定方法的研究

针对以参数化投影模型为代表的相机标定所求参数多、效率低,且大多数针对特定相机等问题,提出一种以广义成像模型为代表的相机标定方法,直接建立物方平面标定板与像方成像面投影之间的关系。对于Z向标定,通过光条纹中心的直线特性将投影到像面的中心点坐标与实际物方的中心点坐标建立非线性优化模型,利用Levenberg-Marquardt算法与多项式畸变模型迭代算出一阶径向畸变系数,从而完成畸变矫正;将矫正完成的像方坐标与物方坐标通过最小二乘法建立二次多项式关系,完成Z向标定。对于X向标定,提取棋盘格角点像方坐标,再与物方坐标建立多项式关系,完成标定。试验结果表明,对Z轴标定与X轴标定结果均满足精度要求。

基于激光线阵相机的家具板件三维尺寸在线测量技术

机器视觉技术可实现物体尺寸的快速、非接触式检测,替代人工测量家具板件尺寸,解决测量效率低、连续性差等问题。本研究基于激光线阵相机与线结构光测量技术,构建一种适用于家具板件的三维尺寸在线测量系统,并分析该系统的测量精度与效率。家具板件在传送装置上以300 mm/s的速度作匀速运动,经过650 nm激光器照射的激光三角平面时,互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)传感器对家具板件表面反射的激光进行成像;使用锯齿靶标法标定,应用机器视觉软件Halcon读取相机标定文件和激光线阵相机生成的家具板件信息图像,经过图像处理,完成家具板件三维尺寸测量。结果表明:系统测量的板件厚度、宽度和长度,相对人工测量结果,最大偏差率分别为3.6%、0.5%和0.1%;对照QB/T4452—2013《木家具极限与配合》标准要求,测量的厚度最大差值小于IT15级公差值(<0.70 mm),宽度最大差值小于IT14级公差值(<1.00 mm),长度最大差值小于IT12级公差值(<0.90mm)。单件测量用时由人工测量的30.1s缩短至5.5s,表明系统的测量精度与效率优势。

线结构光扫描传感器结构参数一体化标定

为了精确快捷地标定线结构光扫描传感器的结构参数,提出了一种线结构光扫描传感器结构参数一体化现场标定的新方法,建立了线结构光扫描传感器的数学模型,根据张正友摄像机标定思想结合L-M非线性优化算法能快速精确地完成摄像机内外参数的标定,在此基础上,引入辅助线激光,通过反复多次提取两激光交点完成对线结构光平面精确标定。文章还介绍了如何获取激光交点以及精确提取交点坐标的方法,通过设计相关实验验证了本文方法的可行性,使系统精度优于24μm,能满足实际测量要求。

基于激光扫描的人脸三维重建方法

针对人脸三维重建,基于RGB激光扫描系统,提出了一种彩色三维重建方法。首先,以直接标定的方法,建立了数码相机采样图片的像素坐标系与世界坐标系的映射关系;利用相机拍摄的三色激光照明下的标准色板图像,标定了数码相机对三原色的感光曲线,即建立了相机三原色记录值与标准值之间的关系。然后,以人脸为目标,提出了从获取扫描数据到进行三维重建的完整方法。最后,经迭代法匹配,输出为通用的三维模型格式,实现了人脸在毫米量级上的三维重建。该方法简化了标定过程,算法简单,系统造价低,可推广至各种物件的三维扫描重建。

一种基于面结构光的刀具三维测量系统

提出一种基于面结构光的刀具三维测量系统。该系统由计算机、CCD摄像机、投影仪以及刀具转台组成。采用多频外差相移法对刀具包裹相位进行展开,并得出刀具的绝对相位。基于张正友标定法,提出采用50%灰度棋盘格和黑白棋盘格对CCD摄像机-投影仪标定的方法。在系统标定的基础上对刀具进行三维测量实验,得出刀具的三维点云,并重建出刀具的三维模型。实验结果表明,该系统能够准确的对刀具进行三维测量,为其他复杂刀具的测量奠定基础。

多投影显示系统结构光几何校正算法

针对带有非规则曲面显示墙的多投影显示系统的几何校正问题,提出一种基于结构光投影技术的自动非线性几何校正算法.该算法首先用结构光投影技术计算出每个投影机与显示墙的映射关系;其次使用相机拍摄显示墙上的经纬度点阵;最后通过提取拍摄的图像特征计算得到投影机帧缓存中每个像素点在全局坐标系下的经纬度值,并将其转换为纹理坐标,从而实现了非线性几何校正.模拟仿真实验和虚拟机场系统中的实际应用结果表明,文中算法能够有效地提高系统的几何校正精度,且无需进行相机的标定和具有显示墙解析式的先验知识,适用于任意光滑的曲面显示墙.

多摄像机结构光大视场测量中全局标定方法研究

多摄像机结构光大视场测量系统,存在摄像机空间分布广、摄像机之间无公共视场角、标定模型复杂等问题。所以采用合适方法对多摄像机与结构光进行高精度全局标定非常关键。提出将二维平面靶标与一维靶标相结合,分步对摄像机及结构光进行全局标定。首先,综合考虑摄像机镜头畸变,采用二维平面靶标对单个摄像机内部参数进行离线标定。借助一维靶标对摄像机及结构光外部参数进行在线标定。将一维靶标上距离已知的共线特征点作为约束条件,逐个求解相邻摄像机坐标系之间外部参数。任选一个摄像机作为全局坐标系,通过相邻摄像机坐标系外部参数矩阵逐步换算,求解每个摄像机坐标系与全局坐标系外部参数。同理,采用一维靶标,至少获取激光平面上3个非共线特征点全局坐标,计算激光平面方程。最后,综合所有摄像机内外部参数、激光平面方程系数,建立多摄像机结构光大视场测量系统全局测量模型。标定试验和现场实际应用表明文中所提方法切实可行。

线结构光传感器模型的简易标定

为了现场完成线结构光视觉传感器中摄像机和光平面的同时标定,提出了一种基于单一圆形标靶标定线结构光视觉传感器的方法,该平面标靶包含一个同心圆以及过圆心的两条正交直线。通过共轭点原理线性计算摄像机内参数的初值,并根据正交性约束进行迭代优化。然后,多次移动传感器,保持结构光与同心圆相交,使其构成三点透视模型(P3P),依此计算光平面上标定点的三维坐标。最后,利用最小二乘法拟合出光平面方程,从而完成光平面方程的标定。实验结果表明:该方法具有较高的精度,平均测量精度为0.036 82mm,相对测量误差为0.277 13%。该标定方法仅需同一标靶即可完成摄像机内参数和光平面方程的标定,降低了标定成本,且计算简单、操作灵活,适宜现场环境标定。

基于彩色结构光的三维重构方法

通过对摄像机和投影机进行畸变校正和标定,确定了相应单应性变换矩阵。为了在复杂投影条件下对彩色结构光编码图像进行快速高精度解码,提出了基于拓扑结构和局部结构化的单幅彩色结构光编码方法以及基于波形分析的编码特征点提取方法和基于聚类分析的颜色分类方法,并利用编码图像本身特性提高解码精度和正确率。根据单应性变换矩阵和编码图像中每个特征点编码值调制前后的匹配关系,计算特征点的三维信息。实验结果表明,特征点的解码正确率超过99.5%。由于对投影机和摄像机的位置没有严格的限定,该方法适合快速搭建三维物体重构系统以及快速高精度地获得物体的点云。

单摄像机结构光扫描系统中投影仪标定技术

传统的单摄像机、单投影仪三维扫描系统,利用相位值计算被测物体的高度信息,可操作性差,且测量精度不高。将立体视觉的三维重构技术引入到单摄像机、单投影仪扫描系统,利用相位值实现投影仪与摄像机的匹配,根据双目视觉的原理进行三维重构,测量精度明显提高。该技术的关键是投影仪的定标,研究了基于相位匹配技术的投影仪标定算法,实验结果验证了该算法的可行性。

应用市售设备的结构光系统模型及标定

建立了基于市售数码相机和投影仪的结构光三维测量系统,研究了系统的数学模型、标定方法及镜头畸变校正方法。在射影几何矩阵模型和三角法解析模型的基础上,结合市售设备内部结构参数精度高、工作稳定的特点,建立了实用数学模型。提出一种借助数码相机赋予投影仪"视觉"功能,向标定模板投射正交格雷码图案,从而确定数字微镜(DMD)像面点和空间标准点对应关系的投影仪标定方法。最后,作为上述数学模型的基础,设计了基于共线特征的校正模板,采用图像法将数码相机镜头畸变参数分离于系统参数之外单独标定。实验结果表明:仿真系统测量相对误差约为0.2%;实际系统测量相对误差<0.7%。结果验证了方法的可行性,重构的复杂表面具有良好视觉效果。

基于最优匹配区域的结构光系统的投影仪标定

针对现有的投影仪标定算法精度不高的问题,根据投影仪的非线性模型,提出一种基于最优匹配区域的新投影仪标定算法。首先通过试验得到最优匹配区域,然后在最优匹配区域内计算角点的局部单应性矩阵,最后采用相机标定的方法对投影仪进行亚像素级标定。实验结果表明,该方法标定过程简便,投影仪标定误差最大为0.10617 pixel,算法的执行时间为0.1907 s,系统三维重构的点云密度达9.14个/mm2。该方法只需要普通的平面标定板,操作简单,可满足高精度的三维测量系统要求。

线结构光视觉传感器直接标定方法

分析了传感器测量模型,推导了摄像机畸变模型下的像坐标与像素坐标变换关系,在此基础上,提出了一种基于二元五次多项式拟合的线结构光视觉传感器物像标定模型。在数控平台上,利用锯齿形标定块获取一组标定点,应用最小二乘方法实现参数标定。标定与测量实验表明:本方法实现简单,精度较高,满足测量要求。

双目立体视觉和编码结构光相结合的三维重建方法

提出了一种双目立体视觉和编码结构光相结合的三维重建方法。为了降低单纯双目立体视觉方法中稠密对应点匹配问题的复杂度,同时回避单纯编码结构光法中的投影仪标定难题,该方法将编码结构光条纹带来的空间约束引入双目立体视觉方法中。实验实现了物体表面的重建,且算法复杂度和实现难度较低。

双相机结构光系统中两相机定标与映射计算

研究双相机结构光系统中两相机图像的对应关系 ,基于结构光系统平面约束DLT模型 ,分析了两相机成像的对应关系 ,推导了两相机图像映射计算公式 ,提出了双相机结构光系统中两相机的定标算法 .实验结果表明此算法可以达到较高的精度 ,证明了分析的正确性 .

基于液晶靶标的多CCD线结构光测量系统全局标定

为了对多CCD线结构光测量系统进行精确快速的全局标定,研究了一种基于液晶平面靶标的多CCD全局标定方法。首先,将液晶靶标放入光平面,在靶标上显示一系列特征点,然后进行各个CCD同步采集。通过时间序列对应特征点的图像坐标与靶标坐标,建立起像平面与靶标平面间的非线性模型,对形位关系已知的标准块进行测量,利用标准块的形位关系对像平面与靶标平面间的非线性模型进行优化,得到像平面与光平面间的映射关系,从而完成多CCD的全局标定。利用优化后的标定结果进行测量,结果表明,在自由曲面类物体的测量中,3个摄像机的数据拼接精度高,对标准块上特征点距离测量的RMS误差为0.217mm,角度测量的绝对误差为±0.2°。该方法快速简便,适合现场操作,已在多CCD线结构光测量系统中得到了实际应用。

基于线结构光参考平面的多摄像机灵活标定方法研究

多摄像机视觉测量系统中不同视觉传感器空间分布广,无公共视角,现场标定十分困难。针对多摄像机标定问题,研究了一种基于线结构光参考平面的灵活标定方法。标定过程中,以空间中同时覆盖相邻摄像机视角的结构光平面作为标定参考基准,在不同摄像机视角中,自由移动平面靶标多次,确保每次移动后靶标与结构光相交,并能在各自摄像机中清晰成像,摄像机拍摄靶标图像。提取靶标图像中角点坐标、激光光条特征点坐标。借助靶标平面与摄像机坐标系外部参数矩阵,求解激光光条特征点在对应摄像机坐标系中坐标。通过结构光基准平面内,不同摄像机坐标系中至少3组非共线特征点坐标信息,求解相邻摄像机外部参数。分别进行标定试验和精度验证试验,试验结果表明该方法切实可行。