基于条纹投影的复杂结构多维度信息传感技术(内封面文章·特邀)

随着精密加工和智能制造业的高速发展,在航空航天、汽车工业、工业检测等领域中,对复杂结构,例如:发动机组件、蜂窝结构件等在生产制造与使用过程中的形貌、形变及应变等多维度信息的测量需求日益增加。最近兴起的数字图像相关辅助条纹投影技术已被证明在复杂结构的形貌和形变测量方面具有独特优势。但目前由于两类方法各自不同的技术特点,基于两者结合的形貌、形变测量方法在测量精度、效率等方面存在诸多矛盾,难以兼顾高分辨率、多维度的测量需求,阻碍了该类技术进一步拓展应用。综述了课题组近年来发展的基于条纹投影的复杂结构多维度信息传感技术及最新的研究进展,系统回顾了两类方法结合时的条纹与散斑信息干扰、原始纹理被破坏、编码效率低等技术难点,并总结了对应的解决方案,最终实现了对复合材料编织结构、颗粒膨胀减震结构以及层叠结构等复杂结构的多维度信息传感。文中所提方法在不增加额外硬件的前提下,将传统条纹投影测量系统升级为多维度信息传感系统,可以同时测量2D纹理(T)、4D形貌(x,y,z,t)以及分析维度力学参数(形变d和应变s),突破了复杂结构高分辨率、高精度纹理形貌重建与形变应变分析的技术壁垒,有望在复杂结构可靠性分析、复合材料性能评估等领域中得到应用。

用于数字条纹轮廓术的一种基于广义分析模型的后滤波方法

由于数字投影和采集系统的非线性失真,传统的方法通常需对采集到的条纹进行低通或带通滤波从而抑制高次谐波并获取基频分量。基于广义分析模型针对数字条纹轮廓术提出一种对测量后的物体形貌进行后滤波的算法,消除了非线性失真对测量结果所造成的影响并提高了数字条纹轮廓术的测量精度。论述了条纹轮廓术的原理和广义分析模型,分析推导出后滤波算法。仿真和实验结果表明,后滤波方法能够快速准确地实现基于数字投影的三维形貌重建。

基于条纹投影轮廓术的相位-高度映射标定方法

在基于条纹投影轮廓术和转台辅助的360°三维形貌测量中,使用移动工作台标定系统几何参数时存在操作复杂、携带不便的问题。文中提出了一种基于相机、投影仪、计算机和转台组成的转台的单目全景三维形貌测量系统的柔性标定方法。该算法主要利用转台和标记点完成系统几何参数的标定。对于完整的标定过程,该方法仅要求相机捕捉参考面的变形条纹图像、旋转后标定平面上的变形条纹图像以及旋转后的标记点图像。与传统方法相比,该方法更加方便、省时。新的相位高度映射标定方法用于重建高度为10.000 mm的标定平面,结果为10.047 mm。实验验证了所提方法的有效性。

条纹投影轮廓术系统模型与标定综述

条纹投影轮廓术能较好地兼顾系统灵活性与测量精度,是光学三维表面成像与测量的主流技术。利用条纹投影轮廓术进行三维成像,首先需要建立合适的系统模型,然后通过系统标定来确定描述模型的系统参数,最后利用标定的系统模型进行三维重建,获得物体的三维表面形貌。由此可见,系统标定与系统模型密不可分,对三维成像的性能有直接影响。根据相位-三维映射和双目立体视觉两类不同的工作原理,对条纹投影轮廓术的系统模型和系统标定方法进行了综述,并简要总结了评估系统精度的方法和依据。

三灰度编码相位展开方法条纹投影轮廓术

为了通过减少条纹投影轮廓术所需投影和采集的条纹图像数量,提高三维测量速度,提出了一种用于条纹投影轮廓术的三灰度编码相位展开方法。投影仪投射5幅条纹图像到被测物体表面,包括三幅正弦相移条纹图像和两幅三灰度编码图像,由相机采集经物体表面调制的变形条纹图。通过相机采集到的三幅变形正弦相移条纹图像计算包裹相位。通过相机采集的三灰度编码图像,经过空间灰度平均、灰度三值化、灰色伪码去除后得到三灰度编码值,在获得编码值后利用编码值的空间邻域信息进行解码后得到展开相位级次,对包裹相位进行相位展开。将由对准误差导致的错误相位点去除后得到最终的展开相位。最后,通过系统标定得到的标定系数和最终的展开相位得到被测物体表面的三维形貌。实验结果表明,与最佳三条纹结合四步相移方法相比,该方法在测量精度相当的情况下,测量速度提升了2.4倍。本文所提方法在不牺牲测量精度的同时,提高了三维形貌测量的效率,对复杂形面的快速测量具有实际应用价值。

新的基于条纹投影轮廓测量的系统标定方法

提出一种新的光栅条纹投影轮廓测量术系统标定模型,新模型不要求投影装置和成像系统的光心连线与参考面平行、成像系统的光轴垂直于参考面及投影装置和成像系统的光轴相交。基于该模型得出了新的相位高度映射关系,其待定系数与成像点的坐标无关。实际测量中只需2个高度不同的标准块便可以求得待定系数。对4个标准块进行高度测量,得到的最大相对误差为0.6%。实验证明:该标定方法简单有效,提高了系统标定的可操作性和测量精度。

数字图像相关法辅助的条纹投影轮廓术相位展开方法

相位展开是相移条纹投影轮廓术中的关键技术之一。为了提高复杂形貌的测量能力和降低噪声的干扰,相位展开算法或处理策略变得日益复杂。本文引入立体数字图像相关(DIC)法,针对时间相移条纹投影轮廓术提出了一种简单有效的相位展开方法。该方法在投影N步相移条纹图之后,额外投影一幅散斑图至待测物体表面。计算相位时,先用边缘检测算法确定被包裹的相位主值图中灰度跳变轮廓线,然后运用立体DIC法估算轮廓线上像素点的相位及其条纹级次。利用上述信息,可迅速地对轮廓线之间的相位主值连续分布区域进行相位展开。实验表明,该方法可以达到常规三频四步相移法的测量精度,并且对复杂的表面形貌和包含相位非连续分布的例子,表现出良好的适应性,无需人工干预,即能自动完成准确的相位展开。

基于深度学习的水下条纹投影三维测量方法

水下加工制造在航空、船舶等领域发挥着重要作用,制造过程的原位在线三维检测成为水下制造质量保障的迫切需求。条纹投影轮廓术(FPP)作为经典的光学三维测量技术之一,具备无接触、快速以及高精度等优势。然而,在浑浊水体中,由于光的吸收和散射作用,相机捕获的条纹光强衰减、对比度降低、图像细节模糊、引入大量噪声,导致条纹图质量不佳。根据低质量条纹计算出的相位具有不可忽视的相位误差,造成三维测量精度下降。为减小水下吸收与散射的影响,提出了一种基于深度学习的端到端的条纹图像增强算法,运用条纹图像增强卷积神经网络(FPENet)将低对比度高噪声条纹转换为高对比度低噪声条纹后获取更准确的相位结果。FPENet针对不同浑浊度水体皆可有效提高条纹质量,降低相位误差。尤其在高浑浊度水体中,相位误差可减小50%左右,显著提升水下FPP的测量精度,对于提高FPP在复杂场景中的适用性具有重要意义。

基于单目结构光的手型、脚型三维轮廓测量系统设计

随着人们生活水平的提高,定制化产品也逐渐实现大众化。产品的三维参数快速精确获取是定制化产品的前提。基于结构光三维测量技术,搭建了用于手型、脚型三维轮廓测量的光机结构平台,实现了视觉旋转装置与测量对象的运动轨迹分开,保证了系统可以对测量对象无接触、简便地采集图像信息。另外,结合逆相机系统标定技术、条纹编码技术、三频外差解相技术、点云配准技术等搭建软件分析平台,集合了相机投影仪控制及标定、图像采集、三维重建,点云处理等功能。通过该软件平台可以快速进行系统标定和对数据图采集和处理,获取测量对象的三维点云数据,得到手模的三维轮廓信息。最后,进行了相机和投影仪标定实验、基于手模的三维重构实验。相机和投影仪标定的重投影误差分别为0.04和0.1像素,标定结果较好。系统标定参数结合解相得到的相位可以对手模的三维重构,不同角度重构的点云进行配准融合,得到完整的手模点云,实现了手模三维参数的获取。通过系统验证了所提出方案的可行性以及有效性。本方案为手型和脚型的定制化数据获取提供有效的解决方案,有望用于相关产品的生产制造。

基于数字相关的二值条纹投影轮廓术中离焦的定量评估方法

为了消除投影仪的伽马效应,近年来二值条纹投影轮廓术得到快速发展。如何确定合适的离焦量是二值条纹离焦投影三维测量的关键问题。离焦不足时,条纹会包含高阶谐波;离焦过度的话,条纹对比度降低,相位分辨率降低,同时噪声的影响相对变大。离焦不足或离焦过度都会影响相位测量精度。为了解决这一问题,基于数字相关法提出一种最优离焦量的确定方法。该方法利用条纹与其二阶微分的相关性来确定最佳离焦量,以获得准正弦条纹。在欠离焦和过离焦情况下,相关系数均较小,只有当条纹为准正弦条纹时,相关系数取得极大值。对该方法进行了数值模拟和实验验证。实验结果表明,所提方法具有速度快、准确性高的优点,可在二值条纹投影过程中实时跟踪相关系数并确定最佳离焦量。

用于绝对相位恢复的鲁棒相位编码方法

相位编码方法已广泛用于条纹投影轮廓术(fringe projection profilometry, FPP)中的绝对相位恢复,然而FPP系统的gamma非线性严重影响了系统的鲁棒性和精度。从扭曲条纹图案中提取的包裹相位将偏离实际相位,不能直接用于恢复绝对相位。为解决这个问题,提出一种基于有效非线性校正策略的鲁棒相位编码方法。首先,通过相位直方图均衡(phase histogram equalization, PHE)方法调整失真的包裹相位,以获得校正的包裹相位。理论研究表明,非线性相位误差的频率是理想相位的3倍,因此提出使用相移直方图均衡(shifted-phase histogram equalization,SHE)方法进一步减小非线性相位误差。然后,通过Hermite插值算法拟合连续函数,减少SHE方法所引入的离散化误差。仿真和实验结果都表明,在gamma非线性情况下,所提方法比传统方法更具鲁棒性。

一种基于结构光条纹投影的微小物体测量系统

为了通过结构光投影的方法测量微小物体,构建了一套微小物体三维形貌测量系统,视场范围可达1.8 cm×1.6 cm。这套测量系统利用了Light Crafter 4500数字投影组件的高速投影、立体显微镜的低畸变缩放、远心镜头的大景深与低畸变成像的特性。先利用立体显微镜对Light Crafter 4500投影的相移条纹图进行低畸变缩小,再投影到待测物体表面,采用配有远心镜头的相机同步记录受到物体表面形貌调制而发生形变的条纹,利用三步相移法计算出条纹对应的截断相位图,再根据可靠路径跟踪相位展开算法求取连续的相位分布,重建被测物体的三维表面形貌。实验成功重建了以BGA芯片为代表的微小物体表面三维形貌。实验结果表明,系统测量精度达到11μm,系统的有效深度测量范围为700μm。

基于视差和条纹调制度分析的多物体场景分割

噪声是影响图像分割的重要因素,文中提出了一种能够在含噪声的真实场景中准确提取出多个物体区域的分割方案。利用基于正弦条纹投影的双目结构光系统,得到包含目标物体的相位图和视差图。将视差图映射到U-视差图中,利用物体和噪声区域在该视差空间的不同形态特征,采用闭合区域检测算法初步得到各个物体的分割区域,并结合条纹调制度阈值分析法进一步去除阴影区域的噪声,最终得到精确的分割结果。客观评价的数据分析表明,文中提出的分割算法,不仅对噪声的鲁棒性较好,还可以有效地将物体与水平支撑面分割开,在不同场景下具有计算复杂度低,抗干扰能力强的优势,分割准确率均在90%以上,最高可达到99.2%,平均运行时间为27 ms。

一种改进的三角波条纹投影三维测量方法

传统的结构光三维测量方法通常使用二进制条纹离焦投影,但其随着测量距离的加大会使得离焦的程度加深,限制了其在高精度三维测量中的应用。针对深度离焦和非线性gamma的问题,本文提出了三角波条纹轻度离焦结合相移的三维测量方法。该方法具有能够克服非线性gamma造成的测量误差的优点,及三角波条纹能在短距离下轻微离焦成理想的正弦条纹。因此,该方法能有效减小非线性gamma和深度离焦引起的测量误差。均方根误差(RMS)控制在0.03 mm以内。理论分析和实验均证实了该方法的优越性和可行性。

剪切波变换和条纹方向二值掩膜的相位解包裹方法

针对条纹投影轮廓术中相位解包裹问题,采用改进的加权最小二乘方法实现了带有阴影和相位不连续的条纹图相位解包裹。提出的方法是利用剪切波变换去除条纹图的背景和噪声,通过引入条纹方向二值掩膜来定义新的加权系数,该加权系数可以准确地区分包裹相位图中连续区域和不连续区域。将提出的新方法应用到模拟和实验获得的条纹投影静态和动态测量过程中,并与5种常用的相位解包裹方法进行比较。实验结果表明,本文提出的新方法能够有效地限制不连续引起的误差传递。

条纹投影轮廓术中新的相位高度映射算法

提出一种新的更具普适性的相位高度映射关系,测量中无需考虑系统双瞳连线是否与参考面平行以及成像系统光轴是否与参考面垂直。该映射关系有效地将待标定系数与标定采样点的像素坐标分离开来,系统校准时只需标定与采样点坐标位置无关的常系数,大大减少标定采样点数目,且在校准过程中只需2个标定平面。实验证实了该方法的有效性和正确性。

基于全局优化的实时高精度模型重建

三维形貌测量在先进制造、航空航天、生物医学等领域发挥着重要的应用。凭借高精度、全视场、非接触等优点,条纹投影轮廓术是目前使用最广泛的一种光学三维测量手段。为了获得物体全局三维信息,通常需要将待测物置于转台之上,通过不断地扫描和拼接来获得物体的全局信息。然而,传统的扫描和拼接是以离线的方式进行的,导致整个三维模型的重建速度缓慢。现有的实时点云配准方法虽然能够有效提高点云扫描与拼接的速度,但实时点云拼接的精度依然受待测物的运动状态影响。本文针对上述问题进行优化改进,提出一种基于全局优化的实时高精度模型重建方法。首先,介绍了一种由粗配准到精配准的快速点云配准算法并提出了基于点云法向量约束的点云初始化算法,能够提升粗配准过程中点云初始位姿计算的稳定性与精度。其次,在精配准阶段引入了图优化算法以获得全局点云位姿的最优解,进一步提升了全局点云配准的精度。实验结果表明,所提方法相比于现有实时模型重建方法,能够实现更高精度且稳定的全局点云配准。特别地,针对动态场景中由于抖动等因素引起的被测物体速度突变等情况,本方法依然能够鲁棒地完成三维模型重建,全方位模型重建的精度达84μm。

基于希尔伯特变换的三频三步相移结构光三维重建方法

在光学三维重建技术中,当投影仪以恒定的投影速率工作时,减少投影条纹图案的数量是减少投影时间的有效方法。为了提高物体形貌的三维重建的速度,我们提出了基于希尔伯特变换的三频三步相移结构光三维重建方法。我们对最高频率的条纹投影三个条纹图案,条纹之间的相移设计为3π/2,其余两个频率的条纹分别投影一个条纹图案。利用其余两个频率的投影的条纹和背景光强图像获取余弦分量,希尔伯特变换将余弦分量与冲击响应进行卷积,在频率和幅度保持不变的前提下将相位移动π/2。为了提高该方法的准确性和鲁棒性,我们采用了三频外差法来进行相位展开。实验结果表明:该方法在对高精度标准球重建时精度为0.0399 mm,重建精度较高。投影条纹图片由传统的9幅缩减到了5幅,提高了投影效率。

一种新的基于条纹投影的三维轮廓测量系统模型

提出一种新的光栅条纹投影轮廓测量术系统模型,新模型不要求测量系统满足光心连线平行于参考面、成像系统光轴垂直于参考面以及两光轴相交于参考面上等约束条件,只需投射至参考平面的正弦光栅条纹之间相互平行,简化了系统校准过程,有利于现场测量。得到的高度相位映射关系式中,待标定的系数与像点的坐标无关,不需要对每一个像点进行采样,能够减少系统标定所需的时间。实验表明:所提方法使投影装置和成像系统的位置校准过程简单,提高了系统标定的速度,且具有较高的测量精度,能够测量复杂面形的物体,增强了光栅投影三维测量系统的实用性。

用于可移动文物真实感成像的光学三维数字化仪(英文)

计算机辅助光学三维数字化技术作为一种有力的工具,可应用于文物三维原真信息的获取、存储和修复.本文提出一种获取可移动文物高准确度彩色三维数字成像法,包括基于光束平差的标定技术和相位辅助的主动三维成像技术.报道了可移动文物三维成像与建模的方法构建和实现过程,并利用该方法对典型薄壁结构的青铜器进行实验研究,验证了所提出真实感三维成像方法的有效性,建立了一种用于可移动文物三维成像的仪器原型.