从明暗恢复形状(SFS)的几类典型算法分析与评价

从明暗恢复形状 (shape from shading,简称 SFS)是计算机视觉中三维形状恢复问题的关键技术之一 ,其任务是利用单幅图象中物体表面的明暗变化来恢复其表面三维形状 .为了使人们对 SFS研究现状及求解 SFS问题的各种算法的优缺点有个概略了解 ,首先介绍了求解传统 SFS问题的 4类方法中几个典型算法的基本原理及求解方法 ,并给出了实验结果 ,然后从算法解的唯一性、对真解的逼近程度、求解效率及适用范围等方面对这 4类算法进行了比较和评价 .

从明暗恢复形状(SFS)的算法设计与精度分析

从明暗恢复形状(shape fromshading,简称SFS)是计算机视觉中三维形貌恢复问题的关键技术。设计了基于单幅图像恢复三维形貌的算法,其核心思想是根据单幅图像的灰度信息进行亮度分析和转换,利用倾角和偏角计算表面点法矢,进而得到表面点高度值。采用全面像素误差和平均误差两种评价方法对人造花瓶二维图像的恢复结果进行精度分析,得到恢复高度与真实高度平均误差的最大值和最小值分别为7.0 mm和0.1 mm,且80%的平均误差小于2 mm,实例证明文中方法处理速度快,精度高,应用前景较好。

一种从混合表面的明暗变化恢复形状的新算法

针对传统的混合表面形状恢复算法存在较大误差的问题,提出了一种基于透视投影的从混合表面的明暗变化恢复形状的新算法。首先,建立了一种改进的Ward反射模型来描述混合表面的反射特性,其次,采用更接近摄像机实际拍摄的透视投影方式,并且假定光源位于摄像机的光心处,构造了新模型下的图像辐照度方程,然后将该方程转化为包含物体表面深度信息的Hamilton-Jacobi偏微分方程,使用Fixed-point Iterative Sweeping方法和2D Central Hamiltonian函数逼近该微分方程的黏性解,进而得到物体表面的三维形状。与同类算法相比,新算法恢复的结果更加准确有效。合成花瓶图像的实验结果表明,与基于正交投影的算法相比,新算法恢复三维形状高度的平均误差和均方根误差均有较大幅度减少。

一种新的基于从明暗恢复形状的月球表面三维形状恢复算法

提出了一种新的基于从明暗恢复形状的月球表面三维形状恢复算法。首先,分析了在太阳光照条件下月球表面的成像模型,建立了基于Lunar-Lambert反射模型的图像辐照度方程。然后由图像辐照度方程建立相应的静态Hamilton-Jacobi方程,使用Lax-Friedrichs sweeping方法逼近其粘性解,得到表面三维高度。最后通过对合成图像和实际月球图像进行三维形状恢复,实验结果表明提出的新算法可以有效地应用于月球表面的三维形状恢复。

一种从明暗恢复形状的快速黏性解算法

针对传统的从明暗恢复形状(SFS)算法存在误差大、耗时长的问题,提出了一种SFS的快速黏性解算法(PSFS-FVS).首先假定物体表面反射模型为朗伯模型,建立透视投影下的图像辐照度方程,然后将该方程转化为包含物体表面深度信息的静态Hamilton-Jacobi偏微分方程,使用非线性规划原理逼近该微分方程的黏性解,进而得到物体表面的三维形状.合成花瓶图像的实验结果表明:与Prados-Faugeras算法相比,PSFS-FVS算法在相同迭代次数时,恢复三维形状高度的平均相对误差降低了8.7%;在相同的误差条件下,所需的CPU运行时间减少了23.5%.实际人脸图像的三维形状恢复结果表明,PSFS-FVS算法在恢复局部细节信息时更加准确有效.

一种适合漫反射表面从明暗恢复形状的快速算法

针对使用朗伯反射模型描述漫反射表面的形状恢复算法存在较大误差的问题,提出了一种基于Oren-Nayar反射模型的从明暗恢复形状的快速算法(FSFS-ON).首先假定摄像机采用正交投影,其方向与光源方向一致,建立适合漫反射表面的图像辐照度方程,然后将该方程转化为包含物体深度信息的Eikonal偏微分方程,使用单调迎风Godunov Hamiltonian函数和fastmarching方法逼近该微分方程的黏性解,进而得到物体表面的三维形状.合成花瓶图像的实验结果表明:与同类算法相比,FSFS-ON算法所需的CPU运行时间有较大幅度的减少;与基于朗伯反射模型的算法相比,FSFS-ON算法恢复三维形状高度的均方根误差降低了35.04%.

基于镜面高光检测的明暗恢复形状新方法

镜面高光是由明暗恢复形状算法的重大障碍,但是对于单幅灰度图像,因为只包含亮度信息,现有以色度分析和极化分析为基础的高光检测方法均不能适用.为此,提出了一种利用表面形态分布信息检测镜面高光的方法.该方法充分利用成像过程信息,通过对表面法向量的估计,采用模拟退火算法,计算各反射成分的最大后验概率,从而实现高光区域检测,最后,利用基于曲率连续性假设的约束补色方法移除镜面高光.实验结果表明提出的算法在仿真和真实图像的高光检测中均具有较好的检测效果,有效提高了含镜面高光图像的表面恢复精度.

一种基于多面体模型的从明暗恢复物体形状方法

针对目前“从明暗恢复物体形状方法”存在的问题,提出了以多面体模型为基础的快速算法,根据向量场的分布建立关于物体表面深度信息的超定线性方程组,在最小二乘意义下求得物体表面的深度值。该算法能从已知光照条件下的单幅或多幅图像中恢复物体表面的三维结构,形成以像素为精度的物体表面多面体模型。实际计算表明该算法计算速度快,能适应单一反射系数的任意物体表面的形状恢复。

RGBD融合明暗恢复形状的全视角三维重建技术研究

为了高效、高精度、低成本地实现对物体的全视角三维重建,提出一种使用深度相机融合光照约束实现全视角三维重建的方法。该重建方法中,在进行单帧重建时采用RGBD深度图像融合明暗恢复形状(Shape from shading,SFS)的重建方法,即在原有的深度数据上加上额外的光照约束来优化深度值;在相邻两帧配准时,采用快速点特征直方图(Fast point feature histograms,FPFH)特征进行匹配并通过随机采样一致性(Random sample consensus,RANSAC)滤除错误的匹配点对求解粗配准矩阵,然后通过迭代最近点(Iterative closest point,ICP)算法进行精配准得出两帧间的配准矩阵;在进行全视角的三维重建时,采用光束平差法优化相机位姿,从而消除累积误差使首尾帧完全重合,最后融合生成一个完整的模型。该方法融入了物体表面的光照信息,因此生成的三维模型更为光顺,也包含了更多物体表面的细节信息,提高了重建精度;同时该方法仅通过单张照片就能在自然光环境下完成对多反射率三维物体的重建,适用范围更广。本文方法的整个实验过程通过手持深度相机就能完成,不需要借助转台,操作更加方便。

用从明暗恢复形状方法提取焊接熔池的表面高度

介绍了Lee-Kuo提出的通用反射图方程,引入光滑性约束条件和变化光滑因子以及收敛条件对该算法进行改进并对反射图方程的求解也进行了改进,在实际成像条件下的合成图像恢复了物体的表面高度,并与Lee-Kuo方法的结果进行了对比。分析了焊接过程中的成像特点,得到了焊接熔池的反射图方程,并获取了实际焊接熔池的正面形状信息。

从明暗恢复形状问题中的一种分形约束方法探讨

本文提出一种由从明暗恢复自然景物表面三维形状的一种表面约束方法。该方法从传统约束条件的分形本质出发，克服了传统表面恢复方法造成恢复结果过分平滑而失真的缺点，并利用最大后验概率方法对物体表面高度函败进行Ｇｉｂｂｓ 随机采样，从而得到待恢复表面三维形状的一个最佳实现。

一种由明暗恢复形状的改进变分算法

针对变分算法可能丢失表面细节信息的问题,提出了一种由明暗恢复形状的改进变分算法,使用接近实际的混合反射模型描述的反射图方程和图像梯度方程构造了新的目标泛函,由于图像梯度反映了二维图像的细节信息,新目标泛函比仅使用反射图方程的目标泛函蕴涵了更加丰富的三维形状细节信息.然后,使用变分原理求解该目标泛函,得到由明暗恢复形状的改进变分算法.所提出的算法比基本变分算法三维形状恢复的精度有显著提高.合成半球图像的实验表明,新算法在相同迭代次数时恢复三维形状的平均相对误差比基本变分算法减小了13.45%.实际复杂图像的三维形状恢复结果表明,新算法在恢复表面三维细节时比基本变分算法更加准确.

明暗恢复形状技术研究进展

以最小化方法为例,从模型的建立、算法的实现和分类等方面对明暗恢复形状(SFS)技术的研究现状作了介绍与分析,指出:混合反射模型的应用、分形几何学的应用、SFS算法的鲁棒性研究等是其今后的研究方向.

基于明暗恢复形状的焊缝外形尺寸检测

通过CCD获得焊缝图像 ,再根据图像中的灰度变化来计算焊缝的外形尺寸 ,从而实现焊缝外形尺寸的自动化检测 ,大大的提高了检测效率。采用计算机视觉中明暗恢复形状 (Shapofromshading ,简称SPS)技术对焊缝图像进行处理 ,用迭代计算来实现该图像处理过程 ,并利用多分辩率等级结构来加速计算过程。试验表明 ,该方法使用设备简单、成本低、易于实现、计算精度高 ,为焊缝外形质量检测实现智能化和自动化奠定基础。

一种适于镜面反射表面的从明暗恢复形状算法

为了实现镜面反射表面快速重构的需求,提出了一种基于高阶Fast Marching方法的从明暗恢复形状算法。首先假定光源为点光源,且位于无穷远处,其次认为摄像机遵循正交投影,其方向与光源方向保持一致,接着使用Blinn-Phong模型来描述镜面反射表面的反射特性,建立基于Blinn-Phong反射模型的镜面表面图像辐照度方程,然后将该辐照度方程转化为含有高度信息的Eikonal偏微分方程,利用高阶Fast Marching方法计算上述Eikonal方程的解,从而获得镜面反射表面的三维形状。实验结果表明:提出的方法可以快速精确地实现镜面反射表面的三维重构。

一种改进的从明暗恢复形状的方法

从明暗恢复形状(SFS)是计算机视觉中三维形状恢复问题的关键技术之一,其任务是利用单幅灰度图像中明暗变化来恢复表面三维形状。快速步进法(FMM)作为求解Eikonal偏微分方程的有效手段,可以用于处理从明暗恢复形状问题。本文提出了一种基于改进的Godunov格式的多模板快速步进法(MSFMM)算法,解决了多源FMM的波动交汇问题,具备了处理多源SFS问题的能力。从实验结果可以看出,本文方法可以得到比MSFMM更高精度的结果,可以有效处理多源SFS。

基于明暗恢复形状的加工表面形貌重构与粗糙度检测

研究了采用明暗恢复形状法(SFS)对加工表面显微视觉图像的三维形貌重构,并实现了表面粗糙度检测。根据金属表面反射特性,采用简化的Oren-Nayar模型与Torrance-Sparrow模型中镜面反射分量叠加的方法,对光照模型进行了改进,并讨论了基于改进后光照模型的SFS最小化计算方法。利用该算法,实现了真实工件表面微观图像三维形貌重构,同时从重构表面轮廓中提取了表面粗糙度参数。与轮廓仪测量结果的比对表明:该方法重构精度较高,提取的粗糙度参数与接触式测量结果基本吻合,为加工表面三维形貌重构与粗糙度快速在线检测提供了新的思路和方法。

一种基于网格的从明暗恢复形状方法

针对目前"从明暗恢复形状"时存在计算复杂及收敛性差等问题,提出一种基于网格的解决方法。首先通过图像预处理及区域划分操作将原始图像分割成多个亮度离散的多边形区域,并逐步转换成平面三角形网格,然后根据Lambert定律建立关于空间网格顶点坐标的方程组,在使用最小二乘法求解后,直接将结果应用到OpenGL或DirectX等实时渲染引擎的图形管道中,实现模型的建立与显示。经仿真实验证明该方法计算方便,可逼真重建原始物体的形状。

基于表面局部最高点估计的明暗恢复形状算法

基于数据逼近强约束的针图恢复算法是近年来提出的一种较为成功的从明暗恢复形状(shape from shading)的算法,但由于该算法在非垂直光线下得到的初始化针图的误差较大,并且不能保证法向量有解或有唯一解,为了解决SFS算法存在的问题,提出了一种改进的SFS算法。该改进算法从分析非垂直光线下图像梯度图与针图之间的关系入手,首先检测图像局部最亮点位置;然后根据照度方程估计表面局部最高点的位置,同时对梯度方向进行调整,并建立方程组;最后针对方程组解的不同情况,提出了相应的处理方法。改进后的算法,对于垂直光线和非垂直光线下的情况同样有效,从而扩大了基于数据逼近强约束的SFS算法的适用范围。从合成图像和实际图像的实验结果可以看出,采用改进的算法可以得到比基于数据逼近强约束的算法更接近真实表面的初始化针图和初始化高度。

基于从明暗恢复形状的雕塑曲面三维形状重构

在从明暗恢复形状问题(由物体二维灰度图象提取其表面高度值的问题)的基本原理和数学模型的基础上,提出了一种求解该问题的算法,利用变分原理和有限差分方法得到了算法的迭代方程。这里将该算法应用于雕塑曲面的三维形状重构,通过对人工合成图象的计算及数控加工实验证明了该算法具有一定的实用价值。