基于双重判别解码器的三维点云形状补全网络

针对碗状文物模型由于碎片缺失导致的逆向几何重建保真度不高的问题,为此提出了一种基于双重判别解码器的三维点云形状补全网络。首先基于编码解码器构建基本点云生成网络,然后根据生成对抗网络框架优化解码器结构,通过将全局特征进行解码获取目标骨架点云,保证点云的全局特征,进而在对骨架点云的基础上进一步进行局部点云细化生成判别,保证目标点云的局部特征。最后面向特征缺失拼接模型搭建双分支形状补全网络。实验结果表明在公开数据集ShapeNet的点云补全实验中,本文方法的平均误差更小,相较对比网络,本文方法在碗状文物模型的三维形状补全任务更好,平均倒角距离提高了20.2%,为后续的模型逼真化提供了一个基础,具有更强的性能和良好的应用价值。

基于Dental-Net的口内3D扫描点云补全

目的:为了解决口腔内3D扫描由于受口腔内复杂环境的影响(牙釉质、口水、唾液、金属牙、牙齿填充物),导致重建的3D点云存在大量缺失孔洞的问题。方法:本文提出一种基于真实口内3D点云的特征信息,补全3D扫描过程中部分缺失点云的Dental-Net深度学习算法模型,实现了口腔牙齿3D精细化完整建模。Dental-Net整体为编解码器架构,编码器处的特征提取模块负责对不同分辨率下的牙齿点云进行特征提取,将提取到的特征输入到解码器,解码器依序输出补全的缺失点云,过程中结合使用了生成对抗网络思想。结果:使用评估指标倒角距离(Chamfer distance, CD)对最终补全结果进行评价,本文提出的方法在口内3D扫描点云数据集上CD = 0.292。结论:最终点云补全结果说明了本文模型具备精确的细节补全能力和不同缺失条件下的泛化能力。

基于自适应分层的文物点云数据压缩算法

三维激光扫描点云为文物模型重建提供了新的数据支持,但扫描所得海量点云包含大量冗余数据,给建模带来很大不便。针对扫描点云过密、冗余数据较多的问题,提出了一种基于自适应分层的文物点云数据压缩算法。算法的基本思想是:首先通过基于倒角距离变换的自适应分层方法对原始点云进行自适应分层;然后使用弦高差值作为特征点的判别依据来删除冗余数据,采用改进的弦高差法对每层点云进行压缩,保留对模型特征贡献较大的特征点。实验结果表明,通过形状误差控制分层厚度,能在平缓部位减少层数以提高效率的同时不至于使复杂部位因分层过厚而损失重要特征,改进的弦高差法在保留大曲率特征的同时不至于使平缓部位出现孔洞,从而保证了模型重建的精度。

结构光相机点云图与CT图像配准算法对比研究

目的:针对人脸结构光相机点云图与CT图像配准,寻找最优的特征面部点云提取方法、特征描述法和配准算法的组合,为颅脑穿刺活检手术中基于导航机器人实现精确快速定位提供依据。方法:基于Ubuntu 18.04系统对Inter-RealSense D415结构光相机点云图与CT图像进行三维配准。首先进行相机动态标定,其次进行特征面部点云提取,将CT图像提取到的面部皮肤数据通过C++转化成的点云作为目标点云,将结构光相机拍摄的图像作为待配准点云。然后将3种特征面部提取方法[内部形状描述子(intrinsic shape signatures,ISS)、尺度不变特征变换(scale invariant feature transform,SIFT)和Harris算法]、5种特征描述方法[点特征直方图(point feature histogram,PFH)、快速点特征直方图(fast point feature histograms,FPFH)、方位特征直方图(signature of histograms of orientation,SHOT)、自旋图像(spin images,SI)和3D形状上下文特征(3D shape context,3DSC)]和3种精配准算法[迭代最近点(iterative closest point,ICP)、广义迭代最近点(generalized iterative closest point,GICP)、正态分布变换(normal distribution transformation,NDT)]一一组合,对目标点云与待配准点云进行配准。最后,通过计算配准后的目标点云与待配准点云数据之间的倒角距离,评价各组合的配准效果。结果:45种组合中共有28种组合可实现点云图像配准,配准耗时最快仅需0.06 s,配准效果最佳的为Harris+SI和ICP的组合、Harris+3DSC和ICP的组合,倒角距离均为1.22 mm。结论:该研究中结构光相机点云图与CT图像配准误差满足临床安全要求,可为辅助颅脑病变穿刺活检提供一种快速、廉价且精准的方法。

无监督孪生函数映射网络的模型对应关系计算

针对构建非刚性形变三维模型间对应关系时特征描述符信息涵盖不全面、映射矩阵优化不理想的问题,提出了利用无监督孪生深度函数映射网络计算对应关系的新方法。首先,将源模型和目标模型输入到无监督孪生深度函数映射网络中学习原始三维几何特征,并将学习到的特征分别投影至各自拉普拉斯-贝尔特拉米特征基上获得相应的谱特征描述符;然后,将谱特征描述符输入至正则化函数映射层计算出鲁棒性更强的函数映射对应关系,进而获得最优的函数映射矩阵;再次,利用无监督学习方法计算倒角距离来构建无监督损失函数,以此度量模型间相似性,评估对应关系的计算结果;最后,基于迭代频谱上采样的ZoomOut算法将函数映射矩阵恢复成点到点对应关系。定性和定量的实验结果表明,在SURREAL数据集和TOSCA数据集上构建的模型间对应关系分布均匀一致,测地误差均有所减小。本算法不仅降低了算法的时间复杂度,而且在一定程度上提高了对应关系的计算准确率。此外,无监督孪生深度函数映射网络在不同数据集上泛化能力和可扩展性大大增强。

一种三维模型多层级视点描述符

3D形状识别是计算机视觉领域非常重要的问题之一,三维模型的描述符对不同类别模型的区分度影响着3D形状识别的精度。基于视图的描述符应用非常广泛,然而多数方法主要研究算法,以不断提升公共数据集的识别精度,却很少深入分析在细粒度分类数据上的视图选择对区分能力的影响。该文提出一种新的多层级视点描述符,该描述符以一组视点组成,为3D模型提供了一组最优的二维视图选择,并设计实验对比在细粒度分类数据上的识别精度。首先,我们建立均匀的球状观察视点模型,以具备直观语义信息的上、前、右等视点为初始视点。其次,分区域从模型投影边缘的倒角距离比较中得出最优视点,作为下一层的种子点,不断细分获取不同层级的视点组合得到多层级视点描述符,使用测地距离来衡量模型间的相似度。最后,使用视点间的测地距离来计算同类别及不同类别间的相似度,验证多层级视点描述符的区分能力,选择更加精细分类的三维模型数据以验证识别能力,在多视图卷积神经网络上进行对比。应用该文描述符提供的视图选择在训练数据无论是否进行随机水平旋转,都有非常明显的识别精度提升。