基于边缘强化神经拉动模型的三维表面重建

通过学习空间点云数据的符号距离函数(Signed Distance Functions, SDFs)进行三维表面重建是当前的研究热点。为重建出高精度的水密模型,神经拉动(Neural-pull, NP)采用点云拉动,以训练同步更新SDFs,但在实际重建过程中,重建模型会因为点云存在噪声和缺失而导致重建结果不够精细,带来错误的表面重建。针对以上问题,引入边缘提取强化输入点云的边缘信息,提出利用残差学习机制的边缘强化神经拉动模型(Neural Pull based on Edge Enhancement, NPEE)。为确保重建表面平滑的同时能够获取更多的表面细节,该方法在保留原本神经网络用于学习SDFs的基础上引入一个新的网络,利用残差学习机制学习点云的边缘SDFs。同时在原始点云的基础上,引入边缘因子σ,结合学习的边缘SDFs,通过点云边缘的鲁棒提取强化输入点云。为验证算法模型的优化效果,采用目前广泛使用的ABC数据集、斯坦福扫描模型和模拟扫描数据集设计对比实验,实验结果以及评估指标(CD)表明,NPEE可以有效改善神经拉动算法在边缘表面重建的缺陷,同时和其他重建方法相比,NPEE在面对稀疏点云和含噪点云时仍能保证重建的精确性和完整性。

基于结构光相机与隐式表面重建的室内建模

深度相机在室内建模领域中以其快速、精准、鲁棒的特性而备受青睐。然而,在实际应用中,深度相机在获取精准深度信息时面临诸多挑战,如环境光干扰、点云噪声众多以及深度缺值。针对上述问题,提出了一种新型的结构光神经隐式表面(SL-NeuS)重建方法。通过结合广泛的三维重建技术,包括多目立体视觉(MVS)、神经网络、神经辐射场和神经隐式表面(NeuS),克服了现有技术在室内建模中的局限性。特别地,利用基于可微分循环优化启发设计的同步定位和建图(DROID-SLAM)算法精确获取相机外参,并结合单目深度估计和单目法向估计先验信息,有效地实现了精确的室内三维建模。实验结果显示,SL-NeuS重建方法在不同深度相机的性能分析中表现优越,成功降低了环境光影响和光学失真对建模精度的干扰。应用该方法对各种室内场景进行建模,误差可控制在极小范围内,实现了高精度的室内三维重建。本方法不仅提高了室内建模的准确性,还大幅减少了训练时间,为数字建筑和数字导航等领域提供了重要的技术支持。

基于PRPNet的三维表面重建方法

隐式神经网络用于三维表面重建时,存在重建物体的结构不准确、表面缺乏局部细节等问题,针对此问题,文章提出了一种基于PRPNet(点云残差编码网络)的三维表面重建方法。首先采用更深的网络结构且加入残差模块挖掘点云潜在的结构信息,加入PointMateBase模块,以增强局部细节表示能力;其次使用特征权重网络获取查询点的占用概率;最后通过区域增长的Marching Cubes算法提取三维表面。实验结果表明,PRPNet模型在ShapetNet和Synthetic Rooms数据集上的精度较DpConvONet模型相应数据集上的精度分别提升了2.5百分点和2.6百分点,能够有效提升三维表面重建性能。

针对高亮物体的高效神经隐式表面重建

神经隐式表面(Neural Implicit Surface)一直是近年来计算机视觉的热门研究方向。许多工作通过扩展神经辐射场的体渲染管线实现了从二维图像和相机位姿作为输入,在无需三维监督信息下重建高质量三维物体形状。但是,由于利用二维图像进行训练监督,这些方法难以对高亮物体的形状进行合理的推理,其原因是因为物体材质和环境光照所产生的模糊性。本文提出一种针对高亮物体的高效表面重建方法,通过权重插值辐射场(Radiance Field)与反射场(Reflection Field)的方式使得可以更好地表达高亮物体的外观。同时,本文引入了一种渲染损失的方法来缓解高光反射带来的多视角不一致问题,并且引入了两种针对物体法向量的正则化来缓解混合神经场梯度噪声的问题。本工作通过渐进式的训练范式分别对三种数据集进行了实验,实验表明,本方法在多视角合成和高亮物体表面重建任务上都超越了基准模型,并且在训练速度上比基准模型快一个量级。

基于图神经网络与优化采样策略的隐式表面重建方法

针对体渲染技术在神经隐式表面重建中常见的细节模糊与局部信息缺失等问题,提出了一种改进的隐式表面重建方法。首先,采用图神经网络(GNN)对不同目标视图进行特征提取,并将这些特征图作为监督信息,引导重建过程。其次,引入一种基于场景几何和光照特征的优化蒙特卡洛路径追踪技术,通过自适应重要性采样策略,优先采样贡献最大的光线路径。最后,利用Omnidata预训练模型提取深度信息和法线信息,对重建过程进行额外的约束。结果表明,与现有技术相比,所提方法在提高表面重建的准确度和视图渲染效果方面表现优异。

表面修饰人工韧带以促进前交叉韧带重建后腱骨愈合的研究进展

前交叉韧带(anterior cruciate ligament, ACL)损伤在膝关节韧带损伤中最常见,通常为强大暴力所致,其损伤破坏膝关节稳定性,可引起关节软骨的退变及半月板损伤,严重者将发展为骨性关节病。现阶段在关节镜下行前交叉韧带重建(anterior cruciate ligament reconstruction, ACLR)是治疗前交叉韧带(ACL)损伤的金标准,临床上多采用以聚对苯二甲酸乙二醇酯(pET)为材料的LARS(ligament advanced reinforcement system)人工韧带对损伤的前交叉韧带进行手术重建,随访中短期效果较好,但移植物与宿主骨隧道生物愈合较差,难以达到术后移植物真正“韧带化”要求。对人工韧带进行涂层修饰改性可改善其亲水性和生物相容性进而可促进移植物与骨隧道的愈合。本文就对人工韧带行表面修饰以促进ACLR后腱骨愈合的研究进展作一综述。

基于双目视觉的三维场景图像表面重建算法

在三维场景图像中,像素色度不均匀会影响图像的视觉表现效果,维持像素色度的均匀分布是提升图像视觉表现效果的有效方法。为满足实际应用需求,大幅提升三维场景图像的视觉表现效果,提出一种基于双目视觉的三维场景图像表面重建算法。首先,确定视觉相机的内参、外参标记结果,通过极线校正双目图像的处理方式,完成基于双目视觉的三维场景图像标定;然后,求解像素代价聚合条件,根据像素节点的三维视差推导图像表面的重建表达式,完成基于双目视觉的三维场景图像表面重建算法的设计。实验结果表明,双目视觉技术作用下,三维场景图像的像素色度呈现出较为均匀的分布状态,符合提升图像视觉表现效果的实际应用需求。

基于三向量网格的多视图表面重建研究

利用符号距离场(SDF)进行表面重建是3D重建的一种常见策略。针对当前基于显示网格的表面重建存在的分辨率难以提高、重建表面精确度受到限制的问题,提出三向量网格和多层感知机(MLP)共同重建符号距离场(SDF)的方法。三向量网格的分辨率与内存增长呈线性关系,分辨率容易提高到更高水平,相比纯粹使用MLP具有更好的拟合能力。该方法使用自注意力卷积生成不同频带上的特征,以减少网格离散性并增加非线性表示能力。对三向量特征嵌入位置编码,通过引入归纳偏差,对抗表面重建过程中的噪声。针对复杂曲面难以拟合的问题,提出一种数据采样的优化方法,在复杂曲面附近提高采样频率。实验结果表明,该方法在DTU数据集上的表面重建精度优于最先进的方法4%。

虚拟现实在数字展馆表面重建中的实践应用

数字展馆场景虚拟构建过程中经常出现渲染不畅、场景模型失真等问题,对此将虚拟现实技术应用于场景表面重建实践。基于Delaunay算法构建场景表面格网,结合边折叠方法精简三角形格网的数量;改进传统递归遍历四叉树算法的渲染策略,使用循环结构的四叉树算法由上至下按顺序地生成全部四叉树节点,高质量实现LOD技术,完成数字展馆场景表面模型渲染。测试结果显示,该方法重建的数字展馆场景表面三角格网较为均匀、占用内存量小,表面渲染流畅度高,呈现高质量的数字展馆场景建模效果。

高效采样的神经隐式表面重建研究

近几年,神经隐式表面在三维表达上展现出了巨大的潜力。许多先前工作扩展神经辐射场(Neural Radiance Field, NeRF)的训练管线,通过在光线上采样点,然后建模出一种概率分布与隐式曲面建立联系,从而可以使得隐式曲面拟合。然而,这些工作要么需要过长的训练时间,要么需要在特定的加速结构下处理较多的采样点。本文工作,提出联合占据栅格(Occupancy Grid)和一种非线性函数来指导采样的策略,使得可以实现在合理的时间内,处理较少的采样点并达到较好的物体表面重建效果。同时,这里引入了渐进式训练方式使得模型拟合更加鲁棒。通过在真实数据集和合成数据集的实验表明,我们的方法在物体表面恢复任务上能取得较好的效果,并且在新视角合成任务上也能取得出色的表现。

基于细分的树干三维表面重建算法

为提高树干三维表面模型重建精度,使其能更有效反映树干表面特征,提出基于细分的树干三维表面重建算法。根据给定分段高度,对树干点云垂直分段;在计算每个分段质心的基础上,根据给定角度参数将每个垂直分段划分为若干角度分区,并得到角度分区中心点点集;以该点集为输入,使用基于切平面投影的树干三维表面重建算法,得到粗粒度树干表面模型;分别在改进Loop细分算法和Sqrt3细分算法的基础上,对粗粒度表面模型细分得到细粒度表面模型。实验结果表明,改进Loop细分算法和改进Sqrt3细分算法重建的树干表面模型,更能有效反映树干表面的凹凸不平特征;改进Loop细分算法比改进Sqrt3细分算法重建的树干表面模型具有更小的Hausdorff距离。改进算法构建的树干表面模型能有效反映树干表面不规则的几何特征,构建模型更精确;实际应用中应优先使用改进Loop细分方法重建树干表面模型。

核心稳定性训练干预前交叉韧带重建术后动态平衡及表面肌电的效果

目的观察核心稳定性训练对前交叉韧带重建术后动态平衡和表面肌电的效果,分析动态平衡指标与表面肌电的相关性。方法2022年3月至12月,滨州医学院烟台附属医院前交叉韧带重建术患者32例随机分为对照组(n=16)和试验组(n=16)。对照组给予常规康复训练,试验组在此基础上增加核心稳定性训练,共6周。于治疗前后分别进行美国特种外科医院膝关节评分(HSS)和国际膝关节评分委员会膝关节主观评价表(IKDC)、动态平衡功能和表面肌电评定,并对表面肌电均方根值(RMS)与动态平衡指标进行相关性分析。结果干预后,两组HSS和IKDC评分均显著增加(|Z|>3.526,|t|>63.544,P<0.001),试验组优于对照组(Z=-2.392,t=2.650,P<0.05);两组步态线长度、单支撑线长度均增加,内外侧位移减小(|t|>2.368,Z=-3.516,P<0.05),试验组优于对照组(|t|>2.497,Z=-3.091,P<0.05);试验组臀大肌和臀中肌RMS明显增加(t=-5.900,Z=-2.741,P<0.01),试验组明显优于对照组(t=3.930,Z=-3.260,P<0.01)。干预后所有患者臀大肌、臀中肌RMS与步态线长度、单支撑线长度呈正相关,与内外侧位移呈负相关(|r|>0.502,P<0.01)。结论核心稳定性训练可显著改善膝关节功能和动态平衡,增强臀大肌和臀中肌的激活程度,且动态平衡与表面肌电具有高度相关性。

基于遮挡图像多尺度重建的表面缺陷检测

遮挡图像重建是无监督异常检测的主要方法之一,通过生成式模型对遮挡后的图像重建,根据重建差异来估计图像区域的异常分数,高异常分数区域即为缺陷区域。然而,现有方法仅采用若干个尺度相互独立的遮挡策略,使得模型缺乏对非规则遮挡图像的重建能力;在重建过程中图像缺失部分与完整部分的全局依赖性未被充分考虑。针对上述问题,提出多尺度网格的遮挡策略,并采用自注意力机制增强自编码器重建过程中对全局依赖性的刻画。实验结果验证了所提方法的有效性,与其他方法相比获得了更优的表面缺陷检测性能。

基于TE-NeuS的人体头部三维重建

针对研究神经辐射场重建三维网格,从多视图照片中提取出高质量的网格模型,文章提出了一种基于NeuS的新型网络模型结构Texture Enhancement NeuS(TE-NeuS),该模型结构具备纹理增强特性,通过分解采样光线,运用多层感知机将一条模糊光线建模成5条清晰光线的加权,能够从轻微晃动的人体照片中提取出高质量的人体头部三维网格模型。用5组人头照片进行测试,实验结果表明,相较于NeRF和NeuS,TE-NeuS在倒角距离指标上分别提升了21.89%与13.36%,并且成功地提取出高质量的人体头部三维模型。

基于快速聚合和预配准的三维人脸重建

为提高三维人脸重建的时间效率,提出一种基于快速聚合和预配准的三维重建方法。首先,使用两个普通摄像头构建双目立体视觉系统,通过标定双目摄像头获取相机参数和人脸图像对,并进行图像对校正、人脸特征点检测和前景提取。其次,根据人脸特征点计算合适的视差搜索范围,从而避免手动设置;在不影响精度的前提下,使用快速代价聚合方法提升聚合的时间效率;采用多角度孔洞填充方法对孔洞进行填充,从而得到较平滑的视差图。接着,利用基于人脸特征的点云配准从恢复的三维点云中提取标记的人脸特征点并进行配准,从而提高配准的精度和效率。最后,使用Possion重建方法进行人脸表面恢复。实验结果表明,改进后方法的平均时间效率提高了26.45%,时间效率高并且重建出的三维人脸轮廓真实、结构清晰。

基于邻域表面特征的隐式神经表示方法

隐式神经表示能够实现任意分辨率下的表面重建。现有方法仅使用了坐标信息,未考虑到其邻域表面上的特征对局部形状的贡献,因此难以精确恢复表面上复杂的纹理和拓扑。为此,提出一种采用编码-解码策略的改进模型,提高表面重建的精度。编码器获取坐标在邻域表面上的特征编码和其在高维空间下的映射编码。在解码器中应用损失自适应加权策略,提高编码信息的利用率。实验结果表明,较现有方法显著提高了重建结果的精度,其重叠度和F-score分别提高了1.458%和1.46%,平均倒角距离降低了0.08。

虚拟现实技术在三维图像表面重建中的应用

传统的三维图像表面重建技术主要通过3D扫描方法进行立体重建,当面对复杂场景时无法获取帧点坐标,导致重建图像的分辨率较低。基于此,提出融合虚拟现实技术的三维图像表面重建方法。首先,结合群体优化策略和信息素矩阵临界值,获取三维图像边缘信息;其次,运用虚拟现实技术,完成最小识别距离计算、重建点坐标计算和重建深度距离计算,确定复杂场景内每个帧点的重建坐标信息;最后,进行背景图像与前景图像的匹配分析,得到三维图像表面重建结果。实验结果表明,对于原始分辨率为1120 PPI×800 PPI的三维图像,应用该方法进行重建,所得图像的分辨率稳定保持在1280 PPI×1024 PPI,能够满足图像重建要求。

螺旋CT多平面重建、三维表面遮盖法重建及容积重建技术在骨盆骨折中的临床应用

目的 探讨螺旋CT多平面重建 (MPR)、三维表面遮盖法重建 (SSD)及容积重建技术 (VRT)在骨盆骨折诊断中的价值。材料与方法 使用SiemensPlus 4螺旋CT机对 2 3例骨盆损伤患者进行扫描 ,在Siemens工作站进行MPR、SSD及VRT重建观察损伤细节 ,并与二维CT(2DCT)比较。结果 MPR、SSD及VRT重建图像清晰地显示了术前骨盆骨折的细节。VRT重建可立体直观显示术后固定针的位置及复位效果。结论 螺旋CTMPR、SSD及VRT是诊断骨盆骨折的有效手段 ,对诊断复杂性骨盆骨折应作为首选。VRT对术后固定针的位置及复位效果的判断有较高的价值。

表面遮盖法重建、容积重建及曲面重建在肋骨骨折诊断中的应用

目的探讨CT不同重建图像对肋骨骨折的诊断价值。方法54例外伤患者行DR及多排CT薄层扫描,对CT图像进行肋骨表面遮盖法重建(SSD)、容积重建(VRT)及曲面重建(CPR)。结果利用曲面重建最后诊断肋骨骨折231处,DR、SSD、VRT的确诊率为87.0%、93.5%、94.3%。结论CPR技术是诊断肋骨骨折的最为准确的方法,SSD,VRT对肋骨骨折的诊断也优于DR,后处理中需要掌握一定的技巧。

基于分割的三维医学图像表面重建算法

提出了一种基于分割的三维医学图像表面重建算法,它将图像分割与MC(marching cubes)算法有机地结合,这样可以根据不同医学图像的特点,采用适合的分割方法,实现对不同组织的准确分割,并利用分割结果精确地提取等值面,避免了MC只适合于阈值分割的局限性.同时采用一种基于区域增长的立方体检测方法,提高了表面跟踪的效率.实验证明,运用本算法,重建速度和显示效果均有提高.