动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。

改进的3D-BoNet算法应用于点云实例分割与三维重建

为了更好地利用点云数据重建室内三维模型,本文提出了一种基于3D-BoNet-IAM算法的室内场景三维重建方法。该方法通过改进3D-BoNet算法提高点云数据的实例分割精度。针对点云数据缺失问题,提出了基于平面基元合并优化的拟合平面方法,利用拟合得到的新平面重建建筑表面模型。在S3DIS和ScanNet V2数据集上验证3D-BoNet算法的改进效果。试验结果表明,本文提出的3D-BoNet-IAM算法比原始算法分割精度提高了3.3%;对比本文建模效果与其他建模效果发现,本文方法的建模效果更准确。本文方法能够提高室内点云数据的实例分割精度,同时得到高质量的室内三维模型。

3D Slicer三维影像重建技术在显微血管减压术治疗原发性三叉神经痛中的应用

目的探讨3D Slicer三维影像重建技术在显微血管减压术(MVD)治疗原发性三叉神经痛(PTN)中的应用价值。方法回顾性分析2020年1月至2022年12月MVD治疗的56例PTN的临床资料。术前行3D-TOF-MRA、3D-FIESTA扫描,并应用3D Slicer软件进行三维影像重建,了解血管与神经的关系、责任血管走行并模拟手术;术中显微镜下不能充分暴露或操作困难时,应用神经内镜进行观察及操作。结果55例术中确认存在责任血管,其中12例在神经内镜下确认;1例术中未发现责任血管。53例术前三维重建影像发现的责任血管与术中发现一致;3例术前三维重建影像为阴性,包括术中证实为静脉压迫2例、未发现责任血管1例。42例术后疼痛即刻消失,明显减轻13例,无变化1例。术后出现面部麻木4例、口周疱疹1例,对症治疗后缓解。术后随访15~47个月,BNI疼痛分级Ⅰ~Ⅱ级53例,Ⅲ级2例,Ⅳ级1例;有效率为94.6%。结论应用MVD治疗PTN时,3D Slicer三维影像重建技术有助于术前明确责任血管及其走行,可模拟手术以优化手术规划,减少术中不必要的探查与牵拉。神经内镜可弥补显微镜视野盲区,有助于暴露责任血管,减少责任血管遗漏,并可辅助确认及调整棉片的位置,提高手术效果。

机械臂环境三维重建与避障算法研究

为了解决机器人在未知环境中的避障规划难题,提出了一种基于视觉的三维重建与避障规划方法。通过深度相机(RealSense D435i)与机械臂组成手眼系统,首先,根据目标物体与ArUco码的相对关系,通过相机获取的ArUco标记上的特征点坐标,求解出目标物姿态;然后,改进三维重建方法,通过融合机械臂工具末端位姿和多帧点云数据,对环境进行较高精度的三维重建,作为后续规划的障碍空间;最后,应用了快速扩展随机树(RRT)的改进算法进行机械臂的避障运动规划。研究搭建了仿真及控制平台,来进行验证。实验表明:环境三维建模的精度维持在8mm以内,避障成功率为96.5%,平均规划时间为1.2s,验证了方法的可行性。

融合尺度与信心指数的三维表面重建算法

针对包含细小结构场景的三维表面重建精度和完整度难以提高的问题,提出一种融合三维点云尺度与信心指数的三维表面重建算法。构建了一个表面隐函数,采用高斯函数为其基函数,三阶贝塞尔函数为其权重函数,并根据点云尺度与信心指数大小自适应调整基函数覆盖范围与权重函数取值。采用八叉树存储与处理数据,根据点云尺度大小自适应划分八叉树结构,从而自适应调整表面隐函数三维采样密度。通过无约束等值面提取方法,提取隐函数等值面,从而得到三维表面。与几种典型表面重建算法对比实验,结果表明所提算法重建三维表面细节清晰,整体重建精度与完整度均有提高。

经头颈部CTA联合三维重建技术用于脑血管疾病动脉狭窄的诊断价值

目的分析经头颈部CT血管造影(CTA)联合三维重建技术对脑血管疾病的特点及对脑血管疾病动脉狭窄的诊断作用。方法选择我院在2021年8月至2022年8月期间收治的脑血管疾病动脉狭窄患者118例进行观察,所有患者均进行经头颈部CTA检查,将获取的图像,完成最大密度投影和血管三维重建,将数字减影血管造影(DSA)检查结果作为“金标准”,分析经头颈部CTA联合三维重建的诊断特点,对脑血管疾病动脉狭窄患者的诊断价值。结果以DSA检查结果作为“金标准”,经头颈部CTA联合三维重建技术对脑血管动脉狭窄患者的灵敏度、特异度、准确率、阳性及阴性预测值更高,118例脑血管动脉狭窄患者显示982条血管,经头颈部CTA联合三维重建技术与DSA检查的符合率为86.97%(854/982),118例脑血管动脉狭窄患者显示颅内侧支动脉1422条,经头颈部CTA联合三维重建技术与DSA检查的符合率为97.54%(1387/1422)。结论针对脑血管疾病动脉狭窄患者,以经头颈部CTA联合三维重建技术进行检查,对患者血管病变的分布情况、动脉狭窄程度的检查效果较好,能够有效分辨患者侧支循环等级,为后续的治疗提供参考依据。

基于细化等值面拓扑的病灶切片三维重建方法

脑组织病灶切片的三维重构对于了解神经胶质神经瘤状态具有重要意义,可用于鉴别诊断、手术模拟等。移动立方体(MC)算法是经典的多边形曲面重建算法,具有简单易实现的优点,但其存在低效且梯级现象明显的情况。针对该问题,本研究提出一种细化等值面拓扑的病灶切片空间堆叠重建方法(SSR-RI),旨在实现拓扑构形与运行效率的优化。SSR-RI通过构建空间坐标系对磁共振图像(MRI)切片邻近图进行处理,为了改善双线性插值法中图像分量易受损的问题,提出一种自适应空间插值法,根据灰度值变化自适应选择插值点,对周围进行扩充。在结合等法线顶点的基础上,设计了一种细化等值面提取方式的堆叠重建方法,以提高堆叠速度,并减少梯级问题。为了进一步优化SSR-RI的三维重建效果,提出一种改进的局部反射光照法(PR)以绘制三维病变,利用镜面颜色反射(SCR)与镜面指数(SE)对重建体进行渲染优化。使用公开脑肿瘤分割数据集BraTS的618例病例开展三维重建实验,以验证所提出方法性能。实验结果显示,所提算法的重建时间只需2.124 s,F-score值达到0.845,SSIM值达到0.81,相较于MC算法减少了38%的重建时间,F-score值和SSIM值分别提高了30.89%和38.4%。重构体序列间结构紧密,视觉效果更富立体感和纹理感,有效地提高了三维重建的绘制效率。

三维重建及3D打印技术在精准胸腔镜肺段切除术中的应用

目的:探讨三维重建及3D打印技术在精准胸腔镜肺段切除术中的应用。方法:选取2020年1月至2022年12月在我院行精准胸腔镜肺段切除术患者105例,用随机数表法分为2组,对照组(53例)和研究组(52例),对照组给予三维重建制定术前计划,研究组给予三维重建及3D打印技术制定术前计划。比较两组围术期相关指标,术前、术后3 d、术后3个月的肺功能指标,临床治疗疗效以及并发症发生情况。结果:研究组术中出血量、住院费用与对照组比较,差异均无统计学意义(P>0.05),研究组手术时间、拔管时间、住院时间明显短于对照组(P<0.05),研究组淋巴结清扫个数明显高于对照组(P<0.05),研究组术后总引流量明显低于对照组(P<0.05)。术后3 d研究组用力肺活量(FVC)、第1秒用力呼气容积(FEV1)、呼气流量峰值(PEF)、每分钟最大通气量(MVV)、肺一氧化碳弥散量(DLCO)较术前均降低(P<0.05),术后3 d、术后3个月对照组FVC、FEV1、PEF、MVV、DLCO较术前均降低(P<0.05),术后3 d对照组FEV1/FVC较术前升高(P<0.05),术后3个月对照组FEV1/FVC较术前降低(P<0.05),且术后3 d、术后3个月研究组FVC、FEV1、PEF、MVV、DLCO明显高于对照组(P<0.05),术后3个月研究组FEV1/FVC明显高于对照组(P<0.05)。研究组临床治疗疗效优于对照组,且研究组的临床治疗总有效率为94.23%,明显高于对照组(67.92%)(P<0.05)。研究组的并发症发生率为19.23%,与对照组(24.53%)比较,差异无统计学意义(P>0.05)。结论:三维重建及3D打印技术应用在精准胸腔镜肺段切除术中,可有效缩短手术时间,促进患者康复,改善肺功能,提高临床治疗疗效,且安全性较好。

多源视频数据驱动的舰面保障作业三维重建

针对现有公开的航母舰面保障作业视频数据碎片化、相机角度多变、像素质量低下等问题,提出一种多源视频数据驱动的舰面保障作业三维重建方法.该方法首先对视频中对象轨迹方向进行预测,并采用联合外观和方向相似度的跟踪方法实现视频数据的多目标轨迹跟踪;然后基于跟踪结果,依次采用相似度关联、特征轨迹分割、轨迹聚类提取多源数据中的保障作业对象并进行关联与融合;最后对融合得到的轨迹进行逼真三维重建.在MOT20数据集和舰面保障作业公开视频数据上,实验和用户调研数据的t检验结果表明,采用所提方法有99.5%的把握得到可信的舰面保障作业三维重建效果.

基于MRI的三维重建技术在保留盆腔自主神经的腹腔镜直肠癌D3根治术中的应用价值

目的 评估利用MRI图像三维重建直肠癌患者盆腔自主神经以及周围器官在腹腔镜直肠癌D3根治术中的应用价值。方法 将56例直肠癌患者随机分为重建组和对照组,重建组术前依照MRI三维重建结果制定手术方案,对照组按常规方式制定手术方案,比较2组术中及术后功能恢复相关指标。结果 重建的三维模型能个体化呈现患者盆腔自主神经以及周围器官分布关系。与对照组相比,重建组的手术时间缩短[(143.7±13.3)min vs.(151.5±12.1)min,P=0.040)],失血量减少[(31.3±12.1)mLvs.(39.4±11.6) mL,P=0.024)],国际前列腺症状评分(IPSS)更优[(6.0±1.3)分vs.(7.9±2.6)分,P=0.003)]。此外,重建组的术后拔除尿管时间较对照组短[2.0(2.0,2.0)d vs.3.5(3.0,4.0)d,P <0.001]。结论 基于MRI的盆腔自主神经三维重建能准确呈现盆腔自主神经及器官的解剖关系,提高了D3根治术的效率和安全性,可为术者制定精细化、个性化的手术方案提供重要参考。

基于计算机视觉的舰船模型三维重建方法

为保证舰船模型三维重建的完整性以及细节程度,提出基于计算机视觉的舰船模型三维重建方法。基于双目立体视觉计算全局舰船目标点云坐标,生成舰船全局的三维点云数据;多视角点云配准方法对该数据进行配准后,输入多尺度特征递归卷积的稠密点云重建网络模型中,通过该模型生成舰船模型三维深度图,在此基础上,利用运动结构法完成舰船深度图中的三维曲线重建,对舰船模型进行颜色渲染,输出舰船模型三维重建结果。测试结果显示,该方法能够完成不同图像之间对应点的可靠匹配,确定各点的坐标位置;三维重建后模型的空间偏差均在0.015以下;能够较好地完成舰船结构的重建,重建后舰船模型的完整性较好,清晰呈现舰船的结构细节。

CT三维重建联合胸腔镜精准肺段切除术对早期肺腺癌近期结果的影响分析

目的 探讨CT三维重建联合胸腔镜精准肺段切除术对早期肺腺癌近期结果的影响。方法 回顾性分析2020年1—12月间在惠州市中心人民医院接受肺段切除术治疗的早期肺腺癌病人100例的临床资料,根据手术方式的不同分为接受CT三维重建联合胸腔镜精准肺段切除术治疗的精准治疗组(n=41)、接受传统胸腔镜肺段切除手术治疗的传统治疗组(n=59),对比其手术情况相关指标、肺功能参数值、术后并发症发生情况、术后1年复发情况的差异。结果 精准治疗组病人的手术时间(102.31±19.38)min短于传统治疗组(118.64±21.23)min,术中出血量(62.45±8.34)mL少于传统治疗组(77.23±10.21)mL,差异有统计学意义(P<0.05)。精准治疗组、传统治疗组病人的淋巴结清扫个数差异无统计学意义(P>0.05)。术后1个月,精准治疗组病人的用力肺活量(FVC)(3.40±0.56)L、第1秒用力呼气容积(FEV1)(2.31±0.40)L、肺一氧化碳弥散量(DLCO)(17.95±2.68)mL·mmHg-1·min-1水平分别高于传统治疗组的(2.86±0.41)L、(2.08±0.36)L、(14.53±2.10)mL·mmHg-1·min-1,差异有统计学意义(P<0.05)。术后3个月,精准治疗组、传统治疗组病人的FVC、FEV1、DLCO水平差异无统计学意义(P>0.05)。精准治疗组、传统治疗组病人的术后并发症发生率差异无统计学意义(P>0.05)。术后随访1年内,两组病人均未发现复发病例。结论 CT三维重建联合胸腔镜精准肺段切除术可优化手术过程、改善早期肺腺癌病人术后早期的肺功能,可能是一种更为精准可靠的手术模式。

双目视觉三维重建下的植保机作业优化研究

以喷雾植保机自动化作业路径规划为研究对象,利用双目视觉摄像机对作业环境区域内的障碍物进行检测,并基于三维重建技术构建障碍物空间位置坐标,根据检测到的障碍物位置信息对喷雾植保机的避障路径进行规划,以保证喷雾植保机作业过程可实时避障。试验结果表明:喷雾植保机能够按照预先设定的作业路径行进,遇到障碍物时能够及时进行障碍检测,并根据规划路径进行避障,保证了喷雾作业的有效实施。

螺旋CT三维扫描重建联合3D打印用于髋臼骨折手术的价值研究

目的:探讨螺旋CT三维扫描重建联合3D打印技术在髋臼骨折外科手术中的应用价值。方法:选取2018年1月至2020年12月新疆维吾尔自治区人民医院收治的71例髋臼骨折并接受手术治疗的患者,依据治疗方式的不同将其分为观察组(38例)和对照组(33例),观察组采用螺旋CT三维重建,并以3D打印辅助内固定治疗,对照组采用常规手术治疗。比较两组患者手术效果及恢复情况。结果:观察组骨折复位质量评分及分项百分制髋功能评分高于对照组,术中出血量、术中透视次数、手术用时及住院时间均明显低于对照组,差异均有统计学意义(t=23.426、4.216、3.425、17.783,P<0.05);观察组和对照组骨折复位优良率分别为94.74%和78.79%,差异有统计学意义(x^(2)=4.059,P<0.05);观察组患者髋关节功能评分中疼痛、功能及关节活动均高于对照组,差异有统计学意义(t=-4.873、-5.776、-6.247,P<0.05);观察组并发症发生率明显低于对照组,差异有统计学意义(x^(2)=4.059,P<0.05)。结论:在髋臼骨折围术期应用螺旋CT三维重建结合3D打印可进一步保证手术的安全性和可行性,提高手术质量和效率,促进术后恢复。

运用CT三维重建技术测量骨质疏松性椎体压缩骨折与中青年创伤性胸腰椎骨折患者椎弓根宽度的临床价值

目的探讨运用CT三维重建技术测量骨质疏松性椎体压缩骨折(OVCF)与中青年创伤性胸腰椎(T_(11)-L_(5))骨折患者椎弓根宽度(PW)的临床价值。方法收集2020年10月—2022年10月我院收治的117例脊柱胸腰段骨折患者资料进行回顾性分析,将65例OVCF患者纳入A组,将52例中青年创伤性胸腰椎(T_(11)-L_(5))骨折患者纳入B组,均采用CT三维重建技术测量T_(11)-L_(5)各对应脊椎PW,比较两组各对应弓根两侧PW及不同性别间的差异,并计算PW<5 mm及<7 mm的百分比。结果A组对应脊椎左右侧PW比较差异无统计学意义(P>0.05)。A组T_(11)-L_(5)各对应脊椎的PW值小于B组(P<0.05)。两组T_(11)-L_(5)各对应脊椎的PW值男性大于女性(P<0.05),A组T_(11)-L_(3)各对应脊椎的男性和女性PW值小于B组(P<0.05),两组的L_(4)、L_(5)脊椎PW值比较差异无统计学意义(P>0.05)。A组共测量655个椎弓根,PW<5 mm者占椎弓根总数的7.48%,主要分布于T_(11)-L_(3)脊椎,<7 mm占比37.25%,T_(11)-L_(4)均有分布;B组共测量359个椎弓根,PW<5 mm者占椎弓根总数的1.67%,T_(12)-L_(2)分别均有分布,<7 mm患者占比13.09%,分布于T_(11)-L_(3)。A组PW<5 mm占比和7 mm占比高于B组(均P<0.05)。结论老年OVCF患者T_(11)-L_(3) PW小于中青年创伤性胸腰椎骨折患者,且女性小于男性,故临床应对胸腰椎骨折患者术前行CT三维重建检查,测量PW,以评估手术治疗的可行性,并降低并发症发生。

透明物体非侵入式三维重建方法综述(特邀)

玻璃、透镜以及显示屏等透明物体在各个领域有着大量需求和应用,需要快速、精确和完整地对它们进行三维重建,从而客观描述物体形态、检测表面质量和保障元器件功能。但由于透明物体表面的镜面反射和折射特性,传统的三维重建方法并不适合直接应用于其三维形貌测量。为此,概述了透明物体的非侵入式三维重建方法,从基于反射光重建和基于透射光重建两个方面展开,回顾了近年来的主要研究工作。然后,详细比较了各种技术的优缺点及其适用情况,使用者们可以根据不同应用需求和测量条件选择合适的透明物体重建方案。最后,展望了该领域未来的研究方向,希望能为研究人员在完善现有方法或探索新方法时提供参考和思路。

Mimics软件三维重建技术行钛网形态优化设计在颅骨成形术中的应用

目的探讨应用Mimics软件三维重建技术进行钛网形态优化设计在颅骨成形术中的应用效果。方法2017年5月至2022年5月前瞻性进行颅骨成形术60例,其中30例应用Mimics软件三维重建技术进行钛网形态优化设计(优化组),30例应用常规设计的钛网(对照组)。结果与对照组比较,优化组手术切口供血良好率明显增高(80.0%vs.53.3%;P=0.028),术后切口甲级愈合率明显增高(70.0%vs.40.0%;P=0.020),术后拆线时间明显缩短[(7.07±0.95)d vs.(7.83±1.12)d;P=0.006],术后大量硬膜外积液发生率明显降低(10.0%vs.36.7%;P=0.015)。优化组术后无颅内出血、钛网外露情况。结论应用Mimics软件三维重建技术对钛网形态进行优化设计,可有效降低颅骨成形术中切口缝合的张力,术后切口供血和愈合更佳,缩短术后拆线时间,降低大量硬膜外积液的发生率,有效减少颅内出血和钛网外露。

三维重建技术中的高效光条提取方法(特邀)

近年来,三维重建技术在工业检测、医疗成像等领域得到了广泛应用。然而,由于被测物体形状的复杂性以及环境噪声等因素的影响,现有的光条提取算法面临着提取速度慢和重建精度差的挑战。为了解决这些问题,对现有技术进行了深入分析,明确了其在处理复杂形状和噪声干扰时的局限性,提出了一种基于三维重建的高效光条提取(ELE-3D)算法。在ELE-3D算法中,通过Sobel算子精确提取图像边缘,进行二值化处理简化图像复杂性,并利用连通域分析区分噪声与条纹。通过设置面积和长宽比阈值,保留关键特征,来确定感兴趣区域(ROI),精确地识别并提取图像中的特定几何特征区域,同时有效抑制背景噪声,不仅提高了图像的质量,还确保了能够专注于分析图像中最关键的部分。实验结果表明,ELE-3D算法有效地提高了光条提取速度,并有效地抑制了噪声的干扰。在保证重建精度的前提下,测量同一物体相比较于传统的算法Steger和灰度重心法,速度分别提高了89.0%和85.3%。

基于锥形追踪和网络分解的NeRF三维重建方法

在计算机视觉领域,神经辐射场(NeRF)是以空间坐标或者时间、相机位姿等其他维度作为输入,通过多层感知机(MLP)网络模拟目标函数,生成颜色、深度等目标标量的过程。NeRF的应用包括对三维场景进行高质量的重建,而其在处理不同分辨率的场景时会产生过度模糊或者伪影的渲染效果,且存在训练耗时较长的问题。为了解决上述问题,提出基于锥形追踪和网络分解的NeRF三维重建方法。使用锥形追踪的方法,为每个像素投射一个圆锥体,并将投射的圆锥体切割成一系列的圆锥台,沿着该圆锥体进行特征化,通过高效渲染抗锯齿的圆锥台来降低模糊或者伪影效果。为了缩短训练时间,使用网络分解的方法,将原始NeRF接收5维数据的神经网络分解为两个网络,有效地缩短训练时间。实验结果表明,在NeRF_Synthetic、LLFF和Multiresolution数据集中,相比于NeRF、F 2-NeRF等方法,所提方法的峰值信噪比(PSNR)提升了14.4%~24.6%,能够重建出更丰富的细节特征,视觉效果更好,且训练时间大幅降低。

基于AI三维重建技术的全髋关节置换术在成人髋关节发育不良中的疗效观察

目的:探究基于人工智能(AI)三维重建技术的全髋关节置换术(THA)治疗成人髋关节发育不良(DDH)患者的效果。方法:选取2021年4月至2023年2月我院成人DDH患者112例进行回顾性分析,根据手术方案不同进行分组,对照组的55例采取基于二维X线技术THA,观察组的57例采取基于AI三维重建技术THA。比较两组手术相关指标、术中假体与术前规划匹配情况、影像学测量参数、术前、术后1d、术后3d炎症-氧化应激指标[白介素-8(IL-8)、肿瘤坏死因子-α(TNF-α)、超氧化物歧化酶(SOD)、丙二醛(MDA)]、髋关节功能优良率及并发症发生情况。结果:观察组手术时间、术后下床活动时间、住院时间短于对照组,术中出血量少于对照组(P<0.05);观察组术中髋臼杯、股骨柄型号与术前规划匹配符合率与术后髋关节功能优良率高于对照组(P<0.05);术后1d、3d观察组血清IL-8、TNF-α、MDA水平低于对照组,SOD水平高于对照组(P<0.05);观察组双下肢长度差低于对照组(P<0.05);两组并发症总发生率比较,差异无统计学意义(P>0.05)。结论:AI三维重建技术辅助THA治疗成人DDH患者,可优化手术流程,减轻创伤应激,促进术后早期病情恢复,同时提高假体精度,减小双下肢长度差,改善髋关节功能,且有较好安全性。