On-line detection system of weld-based rapid prototyping process based on structured light

In order to realize the closed-loop control for rapid prototyping process based on gas metal arc welding, the geometric parameters of weld beads should be detected. In this study, a vision sensor system consisting of a linear laser projector and a CCD camera was designed to collect images of weld beads. Then, an image processing approach which combines with a Gaassian filter and an improved gravity method was used to extract the centerline of a light stripe based on VC ＋＋. Feature points of the centerline were identical directly by means of an image fusion algorithm. Experimental results show that image fusion is an effective approach to measure the width and height of the weld bead with high accuracy. This method can identify beads effectively in multi-pass welding and avoid designing different modes to suit all kinds of shapes.

基于YOLOv5的焊缝图像特征信息检测方法研究

为了满足自动化工艺的需要和获取更为清晰的焊缝原始图像,提出了一种基于YOLOv5和结构光的焊缝特征点提取算法。首先利用激光视觉系统获取焊缝图像,使用改进后的YOLOv5算法进行预训练;然后通过Steger算法提取结构光中心线,使用Harris算法对中心线图像进行处理,并确定焊缝坐标点的坐标;最后将坐标信息传输给PLC,控制十字滑台带动焊枪进行焊缝的跟踪操作。实验结果表明,改进后的YOLOv5算法mAP值更大、稳定性更高、鲁棒性更强。

基于线结构光扫描的烟支表面缺陷检测方法研究

在烟支表面缺陷检测时,为解决传统二维图像方法无法获得深度信息的问题,提出一种基于线结构光传感器旋转扫描的检测方法。烟支在两同向辊轮的旋转带动下实现自转,通过线结构光视觉传感器获取物体轴向轮廓线,使用随机采样一致性拟合轮廓线,通过计算原始点到拟合轮廓的距离判断缺陷点。选取某品牌烟支在检测过程中得到的原始数据,其中多组样本的Kappa值均达到0.97,重复性达到99.3%。研究为烟支缺陷检测提供参考。

基于共面靶标的线结构光机器人视觉标定方法

建立了线结构光视觉系统的数学模型,提出一种基于共面靶标的线结构光视觉系统标定方法,包括相机的内、外参数的标定,线结构光平面在相机坐标系下的标定方法,提出一种利用微分的思想映射到世界坐标系下逼近标定特征点纵坐标的实际值,使用相机标定时的外参将多个特征点转换至相机坐标系下,组成光平面超定方程组,使用最小二乘法估计光平面方程参数。为验证方法的准确性和实用性,实现以CMOS工业相机、线激光发射器组成的视觉系统,通过对棋盘格标定板测量,进行实验。实验结果表明,该标定方法测量得出的相对误差为0.14%,能够满足焊接机器人的精度要求。

基于空间灰度重心推进的线结构光中心提取

利用线结构光对工件进行三维测量时,快速、准确提取激光光条中心是测量系统的关键技术之一。提出一种基于空间灰度重心推进的激光中心提取方法。该方法基于激光条纹空间灰度重心向前推进,结合八邻域判定法进行光条空间区域的选取,接着对选取的区域进行新的空间灰度重心坐标提取;在完成整幅图像提取后,采取3σ准则剔除异常中心点,最终获得激光中心坐标信息。实验结果表明,所提算法对不同类型条纹的适用性强,提取效果稳定。提取中心均方根误差为0.492pixel,相较于提取精度最优的Steger改进算法提升了9.8%,提取速度提高了5倍;相较于处理速度最优的内部推进算法,在保持提取速度基础上,提取精度提升了24.1%。同时,所提算法极大增强了对欠曝光光条图像的处理能力,有效降低了环境对线结构光测量的限制。

基于改进灰度重心法的线结构光中心提取算法

针对传统算法无法准确提取线结构光条中曲率变化较大区域中心线的缺陷,提出了一种基于改进灰度重心法的线结构光中心线提取算法。基于阈值法提取感兴趣区域和开闭运算滤除图像中的噪声点,获取质量相对较高的待处理图像;利用灰度重心法提取光条中心点,得到初始坐标并设置一个矩形计算区域,根据最小二乘法计算每个初始点的方向向量和法向量;在设定的矩形区域内计算初始点在其法线方向上的偏移量,得到精确的中心点坐标。实验结果表明:提出的算法能在线结构光中心中曲率变化较大区域精确提取中心线,提取精度均值为0.096 pixels,精度比率为44.2%,平均提取速度为0.082 s。

基于服装个性化智能定制的三维人体测量系统物-像结构算法的研究

目前,我国基于服装个性化智能量身定制的理念日趋完善。但是,在消费者目标尺寸自动获取方面仍然缺乏实用的设备和技术,成为了大多数企业个性化智能定制发展的一个瓶颈,其根本原因是缺少实用性强的个性化智能定制系统。人体动态测量与其他工业产品精密测量相比具有自身独有的特殊性和困难。在探讨了现有的光学类基于个性化智能定制系统的现状的前提下,针对目前存在的激光三维人体扫描测量系统普遍存在硬件设备庞大、结构复杂的问题,对文中提出的基于个性化智能定制系统进行了原理设计,建立了系统的物-像结构算法的数学模型。该算法采用了扫描单元旋转的测量方式,使系统能够在垂直方向上获得较大的测量范围,目的是使系统采用较小的硬件获取满意的三维人体空间坐标,有利于节省竖直空间、减小体积。该算法已成功应用于基于服装个性化智能定制系统。为了验证本算法的精度,设计了与法国力克系统的三维人台对比扫描实验,实验数据验证了本系统结构算法的精度、工程实用性和可靠性。

基于平面靶标的交叉结构光标定方法

为实现线结构光高精度标定,提出一种基于平面靶标的交叉结构光标定方法。根据Blinn-Phong光照模型可知,当激光条纹投射在平面靶标上特征点边缘处时光截面不再服从高斯分布,常用的中心提取算法无法准确提取目标。首先,基于形态学操作剔除在平面靶标上特征点边缘处的中心点,使得直线拟合的误差由0.060 8 pixel提升到0.035 8 pixel,有效减少因算法提取误差对标定结果造成的影响;然后,基于高斯曲线拟合方法对所提取的线结构光与辅助结构光交点位置进行修正,基于Ransac算法进行直线拟合,结果同样也有效剔除因光照不均、材质变化造成误差较大的点。实验结果表明,两种方法结合后标定精度提高25%,中心点三维坐标与标定板平面方程相差仅4 μm,有效提高线结构光标定精度。

基于双三次插值和高斯拟合的光条中心亚像素提取方法

针对结构光三维测量的高精度要求,提出一种基于双三次插值和高斯拟合的激光线条亚像素提取方法。该方法首先对光条图像进行感兴趣区域提取、高斯滤波等前处理,其次用形态学方法细化激光线条得到初始中心点,然后使用五点拟合法得到光条法线方向,在光条法线方向上取亚像素的拟合点,利用双三次插值得到亚像素坐标的像素值,最后进行高斯拟合,到光条亚像素中心。实验结果表明,算法平均精度值为0.389147像素,消耗时间为0.056 2 s,具有较高的提取精度和稳定性。

基于线结构光的牵伸罗拉工作面圆跳动测量方法

针对牵伸罗拉工作面圆跳动的人工测量精度不稳定、效率低等问题,课题组提出了基于线结构光的牵伸机罗拉工作面圆跳动测量方法。通过线结构光获取牵伸罗拉工作面的条纹图像,在条纹图像预处理的基础上采用Steger算法提取条纹图像的中线点云数据;建立基于点云的牵伸罗拉工作面圆跳动测量模型;通过构建虚拟平面,得到牵伸罗拉的圆跳动值。实验结果表明:课题组所提出测量方法的绝对误差在0.01 mm之内,小于传统测量方法的绝对误差,提高了测量精度。

基于线结构光传感器的多型胶体三维尺寸测量方法

为解决当前工业点胶质量检测精度低、算法通用性差等问题,提出了一种基于线结构光传感器的多型胶体三维尺寸测量方法。该方法使用线结构光传感器进行胶体图像采集,采用一种倾斜矫正方法解决受外界影响导致高度图数据不准的问题,而后提出胶体三维测量方法。针对多种形状胶体,设计并优化了一种直线扫描测宽法与一种骨架提取测宽法,将两者结合提出了一种自适应测宽法。通过对比分析,实验结果表明所提出的测量方法能够有效适应多种形状胶体实现高精度三维测量,测量平均相对误差低至0.55%,具有较强的通用性与准确性。

一种应用于复杂场景的线结构光激光中心线提取方法

线结构光激光中心线提取是线结构光三维测量的关键技术之一,其提取精度对系统测量精度有决定性影响。实际三维测量中,相机采集图像受物体表面反射率等因素的影响,给激光中心线提取增加了难度,针对这一问题,提出了一种结合灰度重心法的改进提取方法。该方法基于连通域分析去除背景光条和噪声区域,接着基于线宽分布实现局部形态学处理,最后结合灰度重心法计算出激光中心线的亚像素位置。该方法的中心线计算精度相较于改进前提高了约60%,在条纹图像出现过曝光和欠曝光区域仍能比较准确提取激光中心线的位置,可以适应复杂环境的考验,能够保证激光中心线提取工作的稳定性和精确性。

基于PCA的金属工件表面线激光中心提取算法

在基于线结构光的金属工件表面测量中,针对金属工件表面存在的强烈反光、激光条纹断裂等问题,本文提出了一种基于改进主成分分析法的激光条纹中心线提取算法。首先,针对金属工件表面不规则反光,提出了基于分段灰度变换的大津法(OTSU)提取图像的光条纹区域;其次,针对Steger算法卷积运算次数多、效率低、实时性差的问题,提出了基于主成分分析法(PCA)的改进Steger算法,采用主成分分析法构建了梯度向量的协方差矩阵估算条纹的法线方向,并在该方向使用二阶泰勒展开获得精确的条纹中心亚像素坐标。实验结果表明,本文算法在金属工件表面存在严重反光条件下可以有效提取激光条纹区域,同时提取的激光条纹中心线标准差相较于灰度重心法减少了约0.25 pixel,速度上相对Steger算法提高了近13倍,能够快速、高精度的提取激光条纹中心线,满足结构光三维视觉实时检测的需求。

复杂光照环境下的线结构光条纹中心提取方法

提取线结构光条纹中心是三维测量系统中关键的一步,针对复杂光照环境以及Steger算法耗时长的问题,提出一种快速、准确的光条纹中心提取方法。采用滤波算法去噪,顶帽运算和边缘检测消除背景中的复杂光照;接着采用改进Rosenfeld骨架化得到初始中心,拟合初始中心点和条纹上下轮廓点计算初始中心的法向和光条纹的线宽;最后基于改进Hessian矩阵得到亚像素中心点。实验表明,该算法适用于复杂多变的环境;算法运行时间为0.151 s,相较于Steger算法提高了近8倍;提取精度为0.23 pixel,保留了Steger算法的高精度,能够实现对光条纹中心的快速、精确提取。

基于线结构光的管棒材捆缝与捆丝识别方法研究

特钢管棒材精整过程需要对其进行打捆和拆捆操作,而人工拆捆工作环境差、强度高。针对拆捆过程捆缝状态和捆丝识别这一难题,提出一种基于线结构光的管棒材捆缝与捆丝识别方法。提出一种基于图像各亮度值像素数量的二值化阈值算法,通过计算满足亮度的像素点数量得到二值化阈值,以减弱环境光照影响;针对单张图片视野无法确定最大捆缝位置的问题,提出一种基于圆弧顶点和端点特征的激光图像拼接算法;最后,提出一种基于霍夫变换和连通域分析的捆丝数量和状态识别算法,实现对生产现场不同规格管棒材捆丝特征的精确识别。实验结果表明:提出的二值化阈值算法相较传统算法对激光条纹的识别率更高,且速度提升17%;最大捆缝和捆丝识别算法的检测误差小于3 mm,完全满足实际生产需要。

一维摄像机的线结构光测头标定方法

为了解决传统的线结构光标定过程步骤繁琐并且准确度不足的问题,提出了把线结构光的光刀平面建立模型为一维摄像机的测头标定方法。首先从线结构光的光条中心提取坐标信息,并计算其在标定靶上的位置坐标,接着依据至少两组姿势下的光条中心的三维坐标点来建立拟合平面方程,最后构建虚拟一维摄像机来表示光刀平面。通过进行迭代摄像机标定和线结构光测头标定,再结合三角测量技术,可获得在立体视觉模型中的被测物的三维点云数据坐标。经实验测试,对两个有高低差异的量块进行了测量,重复10次标定实验,结果显示迭代摄像机标定的平均误差为0.077 220 pixel,光刀平面标定的平均误差为1.415 17 mm,这个试验表明了这种线结构光测头标定的方法有着较高精度,是可行的。

面向微束等离子选区熔化的在线检测系统

为解决微束等离子选区熔化过程中的自动化检测问题,开发出一套面向微束等离子选区熔化的在线检测系统.该系统以每一层的成形金属为研究对象,基于深度学习目标检测原理,对金属成形表面进行缺陷检测,并根据检测结果控制设备启停,确保每一层成形质量达到要求.同时,通过双目相机与线激光相配合,利用线阵扫描方式对成形表面形貌进行三维重建,并显示在自主开发的可视化软件上,实现缺陷检测和三维重建相结合的检测方案.实验结果表明,该系统能够快速、精确地检测出成形过程中产生的缺陷,实时性强、漏检率低,并可将结果及时反馈到系统,实现成形过程的主动、有效调控.

基于STL模型的焊缝横截面提取方法

目的:针对线结构光视觉传感器获取的截面轮廓与焊缝主方向不垂直,不能完全反映焊缝横截面真实形貌的问题,提出一种基于STL模型的焊缝横截面提取方法。方法:以线结构光轮廓传感器采集的原始离散点数据为基础,通过RANSAC算法进行轮廓分割,提取特征点和焊缝边缘,确定焊缝主方向;利用分割后焊缝截面轮廓点拼接焊缝表面三维点云;在此基础上,采用泊松算法对点云进行曲面拟合构建STL模型;采用基于三角形面片位置信息对STL模型进行分层处理,获取焊缝横截面轮廓。结果:对有无缺陷焊缝表面点云数据进行处理,结果表明,所提方法能够准确地提取焊缝横截面轮廓。相较于传统方法,获取的有缺陷焊缝横截面轮廓偏差平均值减少46%,最大值降低28%,标准差减小41%。结论:本方法能够有效提取焊缝横截面,可以解决线结构光视觉传感器获取的截面轮廓与焊缝主方向不垂直,不能完全反映焊缝横截面真实形貌的问题,能够为后续焊缝缺陷识别、损伤评估和修复提供重要数据支撑。

一种用于计算三维视觉测量中线结构光平面的新型算法

介绍了一种基于线结构光的机器视觉测量系统的光平面计算方法.该方法采用图像减影来获取光条图像,利用Steger算法提取图像中的亚像素光条中心点,再用正交直线拟合法计算图像坐标系下的光条直线方程.通过靶标特征点的世界坐标和交比不变性,计算线结构光在靶标平面上的世界坐标点,并将这些坐标点用正交平面拟合法计算得到光平面方程.为了提高整体准确度,本文对算法进行了细节优化,给出了标定系统的设计方案和实验过程.实验结果表明,该方法具有较好的鲁棒性和较高的准确度.

线结构光三维视觉测量中光条纹中心提取综述

光条纹中心提取是线结构光三维视觉测量中的关键技术.把影响光条纹中心提取精度的主要因素归纳为工作环境、激光平面、被测物体和图像采集系统,并对其进行了对比分析.根据提取算法的理论基础、对图像信息的利用及计算思路特点的差异,将其分为几何中心方法和能量中心方法两大类.针对每类方法的计算思路、优缺点、改进方法、适用工况等在细分类方法中进行了对比分析和归纳总结.最后结合两大类方法的发展特点,提出了光条纹中心提取方法的进一步发展方向.