基于轻型自限制注意力的结构光相位及深度估计混合网络

相位提取与深度估计是结构光三维测量中的重点环节,目前传统方法在结构光相位提取与深度估计方面存在效率不高、结果不够鲁棒等问题。为了提高深度学习结构光的重建效果,本文提出了一种基于轻型自限制注意力(Light Self-Limited-Attention,LSLA)的结构光相位及深度估计混合网络,即构建一种CNN-Transformer的混合模块,并将构建的混合模块放入U型架构中,实现CNN与Transformer的优势互补。将所提出的网络在结构光相位估计和结构光深度估计两个任务上进行实验,并和其他网络进行对比。实验结果表明:相比其他网络,本文所提出的网络在相位估计和深度估计的细节处理上更加精细,在结构光相位估计实验中,精度最高提升31%;在结构光深度估计实验中,精度最高提升26%。该方法提高了深度神经网络在结构光相位估计及深度估计的准确性。

基于线结构光扫描的烟支表面缺陷检测方法研究

在烟支表面缺陷检测时,为解决传统二维图像方法无法获得深度信息的问题,提出一种基于线结构光传感器旋转扫描的检测方法。烟支在两同向辊轮的旋转带动下实现自转,通过线结构光视觉传感器获取物体轴向轮廓线,使用随机采样一致性拟合轮廓线,通过计算原始点到拟合轮廓的距离判断缺陷点。选取某品牌烟支在检测过程中得到的原始数据,其中多组样本的Kappa值均达到0.97,重复性达到99.3%。研究为烟支缺陷检测提供参考。

基于线结构光的厚板焊缝特征点提取算法

针对厚板结构件在使用激光视觉系统时图像特征区域提取难和工件表面加工不均匀漫反射等导致特征点提取困难的问题,提出基于线结构光的厚板焊缝特征点提取算法。首先,激光视觉系统获取焊缝图像并使用YOLOv4算法进行预训练,利用训练获取的权重文件自动检测并获取焊缝特征感兴趣区域(ROI);其次,对ROI进行降噪、二值化等处理,通过逐行(列)搜索法得到焊缝中心线;最后,根据不同焊缝类型,基于最小二乘法使用距离法和直线段聚类的方法来提取特征点。实验结果表明:该方法可有效提取不同类型的焊缝特征点,具有鲁棒性强、识别误差小等特点。

基于面结构光的飞机舱门间隙测量技术与应用

针对复杂试验环境下,战机舱门间隙非均匀变形动态测量难度大、精度要求高的问题,提出了基于面结构光的飞机舱门间隙测量方法,研究了条纹投影结构形面测量方法,包括在不需要空间相位展开过程或任何先验信息的情况下搜索包裹相位图中每个有效像素的立体对应和绝对条纹顺序,生成初始视差图和绝对相位图并进行了视差优化;建立了立体结构光模型,利用视差图和绝对相位图计算三维坐标。对得到的数据进行处理,包括建立被测件的物理坐标系,曲面截取以及对间隙位移量提取。设计了两种标准间隙,对本文方法的合理性和有效性进行了验证,可以对任意曲面和动态场景进行快速、准确的间隙和阶差的测量。将本方法应用于某飞机舱门间隙变形的测量中,获得了实际的变形位移量。

基于数字微镜器件的快速超分辨晶格结构光照明显微研究

超分辨结构光照明显微成像技术(super-resolution structured illumination microscopy,SR-SIM)具有时间分辨率高、光漂白和光毒性低和对荧光探针的要求少等优点,适用于活细胞的长时程超分辨成像.采用二维晶格结构光作为照明光,可以实现更快的成像速度和更低的光毒性,但同时也增加了系统的复杂性.为了解决此问题,本文提出了一种基于数字微镜器件的快速超分辨晶格结构光照明显微成像方法(digital micromirror device-based lattice SIM,DMD-Lattice-SIM),通过同步分时触发DMD和sCMOS相机的方式实现二维正交晶格结构光的产生,且只需要采集5幅相移原始图像即可重构出超分辨图像,相比于传统SR-SIM需要9幅相移原始图像的方法,图像采集时间减少了约44.4%.同时,在基于空域和频域联合的SIM重构算法(joint space and frequency reconstruction method-SIM,JSFR-SIM)的基础上,本文还发展了用于Lattice-SIM的JSFR超分辨图像重构方法(Lattice-JSFR-SIM),先在频域对原始图像进行预滤波处理;然后,在空域对滤波后的图像进行超分辨重构处理.与传统频域图像重构处理对比,该方法在512×512像素数的成像视场下重构时间减少了约55.6%,对于实现活细胞实时超分辨成像具有重要意义和应用价值.

基于线结构光扫描的工件高精度三维测量方法

为了提高工业中对复杂轮廓工件的测量精度和效率,设计了一套高精度非接触三维测量系统,并提出了一种基于线结构光扫描的工件轮廓三维测量方法。首先,利用高精度相机和三轴移动平台采集线结构光图像。然后,通过基于差分区间的灰度质心算法,精确而高效地提取出线结构光中心线,并生成原始点云模型。接着,对采集到的点云数据进行必要的点云滤波和精简预处理。最后,将预处理后的点云数据与CAD模型精确配准,进行工件表面轮廓的测量与误差评定。实验结果表明:测量工件轮廓高度的绝对误差小于0.07 mm,相对误差小于0.5%。所提出的三维测量系统及方法测量误差较低,能够实现工件的高精度三维测量,具有一定的工业应用价值。

基于结构光的飞机蒙皮对缝自主测量跟踪技术

针对飞机蒙皮对缝间隙和阶差的自动化测量问题,以线结构光视觉检测技术为基础,研究了蒙皮对缝自主测量跟踪方法。将传统的基于图像形态学的处理方法和光流法结合,实现了对蒙皮对缝特征的实时跟踪,从而确定间隙和阶差的测量位置。通过实测数据对手眼标定参数进行修正,提高了对缝跟踪的精度。结果表明,当跟踪速度为7 mm/s时,对缝跟踪的位置精度大于0.500 mm,对缝跟踪的姿态精度大于0.5°,跟踪系统具有较好的准确性和稳定性,能够满足飞机蒙皮对缝跟踪的要求。

圆结构光系统深孔圆度测量方法研究

圆结构光系统测量深孔(通孔)圆度时存在激光器、相机和深孔难以保持平行或同轴的问题,导致无法测量准确的圆截面,从而产生系统误差。搭建了基于圆结构光的测量系统,分析了系统误差的产生机理并提出了一种基于圆结构光系统测量圆度的方法,可对系统误差进行一定补偿:首先,获取待测深孔的内表面高分辨率三维点云,拟合点云轴线,通过刚体变换将三维点云变换到深孔轴线与相机光轴平行的位置;然后,选定一个测量截面,搜索该截面上的点和与该截面范围较近的点作为圆度评定点;最后,采用网格搜索算法完成圆度评定。测量实验的结果表明,该方法对于圆度误差的补偿效果良好,其中测量不确定度为4.78μm。

基于多点结构光扫描的工件定位方法

在自动化生产线工业机器人抓取工件作业中,工件定位方法直接影响作业质量、效率及系统成本。传统基于线结构光的工件定位方式通常存在专用性强、成本高等特点,难以在劳动密集型产业中推广应用。针对这一问题,利用KD-tree ICP算法,提出一种基于多点结构光扫描的工业机器人抓取工件定位方法。首先,利用模型点云和多点结构光原始点云进行粗配准;其次,提取待定位工件点云特征点,并拟合出工件边界;最后,利用模型边界点云和拟合出工件边界点云进行精配准。试验结果表明,该方法具有较高的定位精度及识别效率,满足工件抓取要求。

基于双目结构光的三维立体电路板焊点定位

三维立体电路将传统二维集成电路拓展至三维,在提高了电路板形状设计柔性的同时,也提升了电路板上元器件焊点定位的复杂度.为了降低三维立体电路加工过程中的人力成本,提高加工效率,设计了一种用于焊接机床对三维立体电路板焊点定位的双目结构光系统,并针对双目结构光系统在与焊接机床结合应用过程中存在的坐标转换、焊点识别困难等问题,从硬件与算法层面提出了解决方案.在软硬件的配合下,可以简单快速地完成双目结构光系统与焊接机床之间的坐标转换,并对电路板焊点完成定位与坐标计算,代替了人工对三维立体电路板焊点测量定位的复杂流程.实验表明,提出的方案具有较高的精度,能够满足机床焊接元器件过程中对焊点的定位需求.

基于线结构光的大型构件表面尺寸加工质量检测方法

针对大型构件表面尺寸加工质量的高精度三维检测的需求,设计了一套主动式线结构光旋转扫描检测系统.采用相机主动式旋转扫描,适用于不方便移动且跨距大、特征多的大型构件检测.提出了一种新的系统旋转中心快速标定的方法,仅需标靶上一点即可完成标定,适合大型构件检测的现场快速标定.加入编码机构,可根据被测物的特征变化动态调整扫描速度,提高了系统检测效率和通用性.所有元器件均可单独调用,保证了系统的可扩展性.改善了扫描时的串口逻辑,进一步提高了三维点云的密度.实验结果表明,本系统对标准物体的最大偏差为0.0310 mm,标准差最大为0.0150 mm,对大型构件实物的检测误差在0.05 mm以内,满足大型构件表面特征加工质量的高精度三维检测需求.

双目结构光视觉引导的螺栓自动装配系统设计

为解决螺栓自动化装配过程中存在的零件位姿快速获取和在弱纹理、反光等复杂场景中实现精确定位等难题,基于双目结构光视觉原理,研制了一套螺栓自动装配系统。首先,通过双目结构光视觉系统获取工件场景的三维信息,涉及光栅条纹图案的获取、双目标定、多频外差法求解绝对相位、相位校正、极线校正、立体匹配,接着采用欧式聚类对重建的点云数据进行分割,获取单个螺栓的三维点云聚类,然后利用迭代最近点(ICP)算法估计模板点云到目标点云的位姿变换矩阵,识别连接螺栓在空间中的位姿,最后结合机械臂末端进行自动装配拧紧。实验结果表明,整个装配过程可自动完成,单个螺栓拧紧装配时间约为10 s,系统测试平均轴孔对中误差不超过1.20 mm,误差标准差不超过0.11 mm。

基于结构光的铆钉凹凸量双目视觉检测方法

为了弥补飞机铆钉凹凸量的传统检测方式在精度、效率及稳定性方面的不足,提出了一种基于结构光的铆钉凹凸量双目视觉检测方法。首先通过工业投影仪将结构光投射到铆接表面,由双目相机采集投影图像。然后根据铆钉边缘特征提取出铆接区域,并采用改进的格雷码解相位方法计算铆接区域表面的相位信息。根据相位信息匹配特征点,利用视差原理计算出点云。最后通过点云数据处理,计算出铆钉的凹凸量。制作标准件并完成了凹凸量测量试验,测量误差在±20μm以内,重复测量标准差小于3μm,单个铆钉测量用时约2.2 s,能够满足现场测量精度和效率要求。

改进的三频四步相移面结构光三维重建算法

针对面结构光中传统三频四步相移算法投影图片过多、效率较慢这一问题,提出了改进的三频四步相移面结构光重建算法。改进的算法需要3个高频率的正弦条纹图,但所需投影的条纹数量从传统算法的12张减少到了7张,最高频率的条纹图4张,次高频和最低条纹图分别为2张和1张,投影效率比传统算法提高了41.7%。介绍了改进算法的原理,将最高频率4张图所计算的包裹相位用来三维重建,其余两个频率条纹图计算的包裹相位用来进行相位展开,理论上该方法与传统算法精度一致。最后,通过实验验证了该算法的重建精度以及对具有复杂表面物体的三维重建能力。实验结果表明改进的面结构光算法在提高投影效率的同时与传统算法保持着一致的精度。

空间相干结构光场产生、传输及应用研究进展

空间相干性是光场除了振幅、相位和偏振以外的一个固有属性,它在理解光的干涉、传输、光与物质相互作用等方面起着重要作用.近年来,对空间相干性的研究已经逐渐拓展至对空间相干结构的构建及特性研究,这是因为具有特定空间相干结构分布的光场展现出了新奇的物理效应,如自聚焦、自分裂、自偏移和自整形传输特性等.这些新奇物理效应的许多潜在应用也逐渐被发现,包括在自由空间光通信中降低大气湍流的负面效应、基于空间相干结构的光学加密和鲁棒光信息传输、光学微粒俘获及操纵等.本综述系统地回顾空间相干结构光场的表征方法、理论构建和实验产生方法、在自由空间和湍流介质中的传输特性和相关应用.首先,利用非负正定条件和相干模式分解理论来表示空间相干结构光场的交叉谱密度函数;然后,讨论理论和实验上构建及产生空间相干结构光场的2种不同策略,一种是基于广义范西特-泽尼克定理,另一种是基于相干模分解理论;接下来,概述特定空间相干结构光束在自由空间和湍流大气中的新颖物理特性;最后,介绍空间相干结构光场在降低大气湍流负面效应、光学加密、复杂介质中的鲁棒光信息传输和光学微粒俘获和操纵等方面的应用.光学空间相干结构不仅为光操控提供了新的自由度,产生的空间相干结构光场在诸多领域也展现出了重要应用价值.

基于线结构光的零件三维尺寸测量系统

针对原有接触式三维测量技术测量时间长、效率低、对零件有损伤等问题,提出一种基于线结构光的零件三维尺寸测量系统。建立光平面数学模型,采用基于平面靶标的自由移动标定法标定光平面,利用基于Hessian矩阵的Steger方法对线结构光中心提取,通过坐标变换得到零件的三维尺寸。在Visual Studio软件中的Winform窗体应用设计三维测量系统的软件交互界面,搭建实验测量平台进行多个零件的测量实验。实验结果表明,对不同零件三维尺寸测量相误差均小于4%,提出的测量系统及方法具有较高的精度和稳定性,能够满足工程应用。

单目结构光在异形工件三维重构及测量中的应用

针对工业生产中异形工件尺寸在线测量的难题,将单目相机与线激光相结合,以突破传统测量技术在复杂几何形状、成本、避免表面损伤和测量精度方面的局限性。针对线结构光条纹中心提取的挑战,对传统的Steger算法改进提出双重调节优化算法,优化Steger算法中的二值化阈值参数和光条宽度参数,以提高算法在检测条纹中心时的准确性和鲁棒性。实验结果表明:采用基于线结构光和单目相机的测量方法以及改进的结构光条纹中心提取技术,对异形工件进行了三维重构,测量误差在0.10 mm以内,处于可接受的范围。相较于传统方法,基于线结构光和单目相机的新测量方法提取的条纹中心位置更准确,能实现对异形工件的高精度测量。

基于结构光三维扫描技术的收割机割刀数据采集试验

针对联合收割机割刀在作业时容易崩断、折弯失效等问题,基于结构光三维扫描技术对样本割刀进行了数据采集试验,并对结果进行了对比分析。在试验过程中,融入格雷码与相位移技术以提高数据采集精度,将采集到的割刀点云数据与标准模型参数进行对比后可知,刀面法向变形量为±0.013mm,该结果与ANSYS Workbench软件分析结果一致。试验结果表明,该技术可提供更加直观的点云数据,且相比传统方式采集效率更高,可为割刀后续的改进和优化提供数据源。

基于空间灰度重心推进的线结构光中心提取

利用线结构光对工件进行三维测量时,快速、准确提取激光光条中心是测量系统的关键技术之一。提出一种基于空间灰度重心推进的激光中心提取方法。该方法基于激光条纹空间灰度重心向前推进,结合八邻域判定法进行光条空间区域的选取,接着对选取的区域进行新的空间灰度重心坐标提取;在完成整幅图像提取后,采取3σ准则剔除异常中心点,最终获得激光中心坐标信息。实验结果表明,所提算法对不同类型条纹的适用性强,提取效果稳定。提取中心均方根误差为0.492pixel,相较于提取精度最优的Steger改进算法提升了9.8%,提取速度提高了5倍;相较于处理速度最优的内部推进算法,在保持提取速度基础上,提取精度提升了24.1%。同时,所提算法极大增强了对欠曝光光条图像的处理能力,有效降低了环境对线结构光测量的限制。

基于改进灰度重心法的线结构光中心提取算法

针对传统算法无法准确提取线结构光条中曲率变化较大区域中心线的缺陷,提出了一种基于改进灰度重心法的线结构光中心线提取算法。基于阈值法提取感兴趣区域和开闭运算滤除图像中的噪声点,获取质量相对较高的待处理图像;利用灰度重心法提取光条中心点,得到初始坐标并设置一个矩形计算区域,根据最小二乘法计算每个初始点的方向向量和法向量;在设定的矩形区域内计算初始点在其法线方向上的偏移量,得到精确的中心点坐标。实验结果表明:提出的算法能在线结构光中心中曲率变化较大区域精确提取中心线,提取精度均值为0.096 pixels,精度比率为44.2%,平均提取速度为0.082 s。