动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。

机械臂环境三维重建与避障算法研究

为了解决机器人在未知环境中的避障规划难题,提出了一种基于视觉的三维重建与避障规划方法。通过深度相机(RealSense D435i)与机械臂组成手眼系统,首先,根据目标物体与ArUco码的相对关系,通过相机获取的ArUco标记上的特征点坐标,求解出目标物姿态;然后,改进三维重建方法,通过融合机械臂工具末端位姿和多帧点云数据,对环境进行较高精度的三维重建,作为后续规划的障碍空间;最后,应用了快速扩展随机树(RRT)的改进算法进行机械臂的避障运动规划。研究搭建了仿真及控制平台,来进行验证。实验表明:环境三维建模的精度维持在8mm以内,避障成功率为96.5%,平均规划时间为1.2s,验证了方法的可行性。

3D Slicer三维影像重建技术在显微血管减压术治疗原发性三叉神经痛中的应用

目的探讨3D Slicer三维影像重建技术在显微血管减压术(MVD)治疗原发性三叉神经痛(PTN)中的应用价值。方法回顾性分析2020年1月至2022年12月MVD治疗的56例PTN的临床资料。术前行3D-TOF-MRA、3D-FIESTA扫描,并应用3D Slicer软件进行三维影像重建,了解血管与神经的关系、责任血管走行并模拟手术;术中显微镜下不能充分暴露或操作困难时,应用神经内镜进行观察及操作。结果55例术中确认存在责任血管,其中12例在神经内镜下确认;1例术中未发现责任血管。53例术前三维重建影像发现的责任血管与术中发现一致;3例术前三维重建影像为阴性,包括术中证实为静脉压迫2例、未发现责任血管1例。42例术后疼痛即刻消失,明显减轻13例,无变化1例。术后出现面部麻木4例、口周疱疹1例,对症治疗后缓解。术后随访15~47个月,BNI疼痛分级Ⅰ~Ⅱ级53例,Ⅲ级2例,Ⅳ级1例;有效率为94.6%。结论应用MVD治疗PTN时,3D Slicer三维影像重建技术有助于术前明确责任血管及其走行,可模拟手术以优化手术规划,减少术中不必要的探查与牵拉。神经内镜可弥补显微镜视野盲区,有助于暴露责任血管,减少责任血管遗漏,并可辅助确认及调整棉片的位置,提高手术效果。

经头颈部CTA联合三维重建技术用于脑血管疾病动脉狭窄的诊断价值

目的分析经头颈部CT血管造影(CTA)联合三维重建技术对脑血管疾病的特点及对脑血管疾病动脉狭窄的诊断作用。方法选择我院在2021年8月至2022年8月期间收治的脑血管疾病动脉狭窄患者118例进行观察,所有患者均进行经头颈部CTA检查,将获取的图像,完成最大密度投影和血管三维重建,将数字减影血管造影(DSA)检查结果作为“金标准”,分析经头颈部CTA联合三维重建的诊断特点,对脑血管疾病动脉狭窄患者的诊断价值。结果以DSA检查结果作为“金标准”,经头颈部CTA联合三维重建技术对脑血管动脉狭窄患者的灵敏度、特异度、准确率、阳性及阴性预测值更高,118例脑血管动脉狭窄患者显示982条血管,经头颈部CTA联合三维重建技术与DSA检查的符合率为86.97%(854/982),118例脑血管动脉狭窄患者显示颅内侧支动脉1422条,经头颈部CTA联合三维重建技术与DSA检查的符合率为97.54%(1387/1422)。结论针对脑血管疾病动脉狭窄患者,以经头颈部CTA联合三维重建技术进行检查,对患者血管病变的分布情况、动脉狭窄程度的检查效果较好,能够有效分辨患者侧支循环等级,为后续的治疗提供参考依据。

融合尺度与信心指数的三维表面重建算法

针对包含细小结构场景的三维表面重建精度和完整度难以提高的问题,提出一种融合三维点云尺度与信心指数的三维表面重建算法。构建了一个表面隐函数,采用高斯函数为其基函数,三阶贝塞尔函数为其权重函数,并根据点云尺度与信心指数大小自适应调整基函数覆盖范围与权重函数取值。采用八叉树存储与处理数据,根据点云尺度大小自适应划分八叉树结构,从而自适应调整表面隐函数三维采样密度。通过无约束等值面提取方法,提取隐函数等值面,从而得到三维表面。与几种典型表面重建算法对比实验,结果表明所提算法重建三维表面细节清晰,整体重建精度与完整度均有提高。

改进的3D-BoNet算法应用于点云实例分割与三维重建

为了更好地利用点云数据重建室内三维模型,本文提出了一种基于3D-BoNet-IAM算法的室内场景三维重建方法。该方法通过改进3D-BoNet算法提高点云数据的实例分割精度。针对点云数据缺失问题,提出了基于平面基元合并优化的拟合平面方法,利用拟合得到的新平面重建建筑表面模型。在S3DIS和ScanNet V2数据集上验证3D-BoNet算法的改进效果。试验结果表明,本文提出的3D-BoNet-IAM算法比原始算法分割精度提高了3.3%;对比本文建模效果与其他建模效果发现,本文方法的建模效果更准确。本文方法能够提高室内点云数据的实例分割精度,同时得到高质量的室内三维模型。

透明物体非侵入式三维重建方法综述(特邀)

玻璃、透镜以及显示屏等透明物体在各个领域有着大量需求和应用,需要快速、精确和完整地对它们进行三维重建,从而客观描述物体形态、检测表面质量和保障元器件功能。但由于透明物体表面的镜面反射和折射特性,传统的三维重建方法并不适合直接应用于其三维形貌测量。为此,概述了透明物体的非侵入式三维重建方法,从基于反射光重建和基于透射光重建两个方面展开,回顾了近年来的主要研究工作。然后,详细比较了各种技术的优缺点及其适用情况,使用者们可以根据不同应用需求和测量条件选择合适的透明物体重建方案。最后,展望了该领域未来的研究方向,希望能为研究人员在完善现有方法或探索新方法时提供参考和思路。

线卷积网络在二维线检测和三维线框重建中的应用

本文提出了一个线卷积网络,可以从图像中检测线段.通过预测每条线段的中心位置、长度和角度,该网络能够以端到端的方式检测线段.此外,根据线中心检测的特点,本文设计了一维旋转卷积模块,并通过分析,证明其满足等变性质.在实现上,本文采用改进的数据增强和非极大值抑制方法,有效的提高了线检测的性能.通过大量消融实验以及对比实验,本文提出的线卷积网络相比于当前最优算法HAWP,在精度上高出3个百分点,达到了当前最优.最后,将该方法应用于单张图三维线框重建任务,从可视化结果上看,明显优于之前的方法.

基于计算机视觉的舰船模型三维重建方法

为保证舰船模型三维重建的完整性以及细节程度,提出基于计算机视觉的舰船模型三维重建方法。基于双目立体视觉计算全局舰船目标点云坐标,生成舰船全局的三维点云数据;多视角点云配准方法对该数据进行配准后,输入多尺度特征递归卷积的稠密点云重建网络模型中,通过该模型生成舰船模型三维深度图,在此基础上,利用运动结构法完成舰船深度图中的三维曲线重建,对舰船模型进行颜色渲染,输出舰船模型三维重建结果。测试结果显示,该方法能够完成不同图像之间对应点的可靠匹配,确定各点的坐标位置;三维重建后模型的空间偏差均在0.015以下;能够较好地完成舰船结构的重建,重建后舰船模型的完整性较好,清晰呈现舰船的结构细节。

螺旋CT三维扫描重建联合3D打印用于髋臼骨折手术的价值研究

目的:探讨螺旋CT三维扫描重建联合3D打印技术在髋臼骨折外科手术中的应用价值。方法:选取2018年1月至2020年12月新疆维吾尔自治区人民医院收治的71例髋臼骨折并接受手术治疗的患者,依据治疗方式的不同将其分为观察组(38例)和对照组(33例),观察组采用螺旋CT三维重建,并以3D打印辅助内固定治疗,对照组采用常规手术治疗。比较两组患者手术效果及恢复情况。结果:观察组骨折复位质量评分及分项百分制髋功能评分高于对照组,术中出血量、术中透视次数、手术用时及住院时间均明显低于对照组,差异均有统计学意义(t=23.426、4.216、3.425、17.783,P<0.05);观察组和对照组骨折复位优良率分别为94.74%和78.79%,差异有统计学意义(x^(2)=4.059,P<0.05);观察组患者髋关节功能评分中疼痛、功能及关节活动均高于对照组,差异有统计学意义(t=-4.873、-5.776、-6.247,P<0.05);观察组并发症发生率明显低于对照组,差异有统计学意义(x^(2)=4.059,P<0.05)。结论:在髋臼骨折围术期应用螺旋CT三维重建结合3D打印可进一步保证手术的安全性和可行性,提高手术质量和效率,促进术后恢复。

双目视觉三维重建下的植保机作业优化研究

以喷雾植保机自动化作业路径规划为研究对象,利用双目视觉摄像机对作业环境区域内的障碍物进行检测,并基于三维重建技术构建障碍物空间位置坐标,根据检测到的障碍物位置信息对喷雾植保机的避障路径进行规划,以保证喷雾植保机作业过程可实时避障。试验结果表明:喷雾植保机能够按照预先设定的作业路径行进,遇到障碍物时能够及时进行障碍检测,并根据规划路径进行避障,保证了喷雾作业的有效实施。

多源视频数据驱动的舰面保障作业三维重建

针对现有公开的航母舰面保障作业视频数据碎片化、相机角度多变、像素质量低下等问题,提出一种多源视频数据驱动的舰面保障作业三维重建方法.该方法首先对视频中对象轨迹方向进行预测,并采用联合外观和方向相似度的跟踪方法实现视频数据的多目标轨迹跟踪;然后基于跟踪结果,依次采用相似度关联、特征轨迹分割、轨迹聚类提取多源数据中的保障作业对象并进行关联与融合;最后对融合得到的轨迹进行逼真三维重建.在MOT20数据集和舰面保障作业公开视频数据上,实验和用户调研数据的t检验结果表明,采用所提方法有99.5%的把握得到可信的舰面保障作业三维重建效果.

基于锥形追踪和网络分解的NeRF三维重建方法

在计算机视觉领域,神经辐射场(NeRF)是以空间坐标或者时间、相机位姿等其他维度作为输入,通过多层感知机(MLP)网络模拟目标函数,生成颜色、深度等目标标量的过程。NeRF的应用包括对三维场景进行高质量的重建,而其在处理不同分辨率的场景时会产生过度模糊或者伪影的渲染效果,且存在训练耗时较长的问题。为了解决上述问题,提出基于锥形追踪和网络分解的NeRF三维重建方法。使用锥形追踪的方法,为每个像素投射一个圆锥体,并将投射的圆锥体切割成一系列的圆锥台,沿着该圆锥体进行特征化,通过高效渲染抗锯齿的圆锥台来降低模糊或者伪影效果。为了缩短训练时间,使用网络分解的方法,将原始NeRF接收5维数据的神经网络分解为两个网络,有效地缩短训练时间。实验结果表明,在NeRF_Synthetic、LLFF和Multiresolution数据集中,相比于NeRF、F 2-NeRF等方法,所提方法的峰值信噪比(PSNR)提升了14.4%~24.6%,能够重建出更丰富的细节特征,视觉效果更好,且训练时间大幅降低。

肺内血管三维重建技术在肺段切除术治疗早期肺癌中的临床应用

目的探讨肺内支气管血管三维重建技术在肺段切除术治疗早期肺癌中的临床应用效果。方法现针对2021年3月-2023年3月期间在我院行肺段切除术的早期肺癌患者治疗情况进行回顾性分析,共计纳入64例。其中采取常规胸腔镜解剖性肺段切除术的患者有32例,将其设定为对照组,采肺内支气管血管三维重建下的胸腔镜解剖性肺段切除术的患者有32例,将其设定为观察组,对其治疗情况进行对比和分析。结果(1)在手术时间上,以观察组时间更短,在术中出血量上,以观察组更少,和对照组相比有明显差异(P<0.05);(2)两组患者淋巴结清扫个数和优势肺段切除例数水平相当(P>0.05);(3)在术后胸液引流量上,以观察组更少(P<0.05),在胸管留置时间和术后住院时间上,以观察组时间更短(P<0.05),在并发生发生率上,以观察组更低(P<0.05)。结论肺内血管三维重建技术在治疗早期肺癌中获得了较好的干预效果,其可有效缩短手术时间,减少术中出血量,降低术后并发症,临床应用效果较好。

三维重建技术中的高效光条提取方法(特邀)

近年来,三维重建技术在工业检测、医疗成像等领域得到了广泛应用。然而,由于被测物体形状的复杂性以及环境噪声等因素的影响,现有的光条提取算法面临着提取速度慢和重建精度差的挑战。为了解决这些问题,对现有技术进行了深入分析,明确了其在处理复杂形状和噪声干扰时的局限性,提出了一种基于三维重建的高效光条提取(ELE-3D)算法。在ELE-3D算法中,通过Sobel算子精确提取图像边缘,进行二值化处理简化图像复杂性,并利用连通域分析区分噪声与条纹。通过设置面积和长宽比阈值,保留关键特征,来确定感兴趣区域(ROI),精确地识别并提取图像中的特定几何特征区域,同时有效抑制背景噪声,不仅提高了图像的质量,还确保了能够专注于分析图像中最关键的部分。实验结果表明,ELE-3D算法有效地提高了光条提取速度,并有效地抑制了噪声的干扰。在保证重建精度的前提下,测量同一物体相比较于传统的算法Steger和灰度重心法,速度分别提高了89.0%和85.3%。

基于MRI的三维重建技术在保留盆腔自主神经的腹腔镜直肠癌D3根治术中的应用价值

目的 评估利用MRI图像三维重建直肠癌患者盆腔自主神经以及周围器官在腹腔镜直肠癌D3根治术中的应用价值。方法 将56例直肠癌患者随机分为重建组和对照组,重建组术前依照MRI三维重建结果制定手术方案,对照组按常规方式制定手术方案,比较2组术中及术后功能恢复相关指标。结果 重建的三维模型能个体化呈现患者盆腔自主神经以及周围器官分布关系。与对照组相比,重建组的手术时间缩短[(143.7±13.3)min vs.(151.5±12.1)min,P=0.040)],失血量减少[(31.3±12.1)mLvs.(39.4±11.6) mL,P=0.024)],国际前列腺症状评分(IPSS)更优[(6.0±1.3)分vs.(7.9±2.6)分,P=0.003)]。此外,重建组的术后拔除尿管时间较对照组短[2.0(2.0,2.0)d vs.3.5(3.0,4.0)d,P <0.001]。结论 基于MRI的盆腔自主神经三维重建能准确呈现盆腔自主神经及器官的解剖关系,提高了D3根治术的效率和安全性,可为术者制定精细化、个性化的手术方案提供重要参考。

三维重建及3D打印技术在精准胸腔镜肺段切除术中的应用

目的:探讨三维重建及3D打印技术在精准胸腔镜肺段切除术中的应用。方法:选取2020年1月至2022年12月在我院行精准胸腔镜肺段切除术患者105例,用随机数表法分为2组,对照组(53例)和研究组(52例),对照组给予三维重建制定术前计划,研究组给予三维重建及3D打印技术制定术前计划。比较两组围术期相关指标,术前、术后3 d、术后3个月的肺功能指标,临床治疗疗效以及并发症发生情况。结果:研究组术中出血量、住院费用与对照组比较,差异均无统计学意义(P>0.05),研究组手术时间、拔管时间、住院时间明显短于对照组(P<0.05),研究组淋巴结清扫个数明显高于对照组(P<0.05),研究组术后总引流量明显低于对照组(P<0.05)。术后3 d研究组用力肺活量(FVC)、第1秒用力呼气容积(FEV1)、呼气流量峰值(PEF)、每分钟最大通气量(MVV)、肺一氧化碳弥散量(DLCO)较术前均降低(P<0.05),术后3 d、术后3个月对照组FVC、FEV1、PEF、MVV、DLCO较术前均降低(P<0.05),术后3 d对照组FEV1/FVC较术前升高(P<0.05),术后3个月对照组FEV1/FVC较术前降低(P<0.05),且术后3 d、术后3个月研究组FVC、FEV1、PEF、MVV、DLCO明显高于对照组(P<0.05),术后3个月研究组FEV1/FVC明显高于对照组(P<0.05)。研究组临床治疗疗效优于对照组,且研究组的临床治疗总有效率为94.23%,明显高于对照组(67.92%)(P<0.05)。研究组的并发症发生率为19.23%,与对照组(24.53%)比较,差异无统计学意义(P>0.05)。结论:三维重建及3D打印技术应用在精准胸腔镜肺段切除术中,可有效缩短手术时间,促进患者康复,改善肺功能,提高临床治疗疗效,且安全性较好。

注意力机制与神经渲染的多视图三维重建算法

针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。

运用CT三维重建技术测量骨质疏松性椎体压缩骨折与中青年创伤性胸腰椎骨折患者椎弓根宽度的临床价值

目的探讨运用CT三维重建技术测量骨质疏松性椎体压缩骨折(OVCF)与中青年创伤性胸腰椎(T_(11)-L_(5))骨折患者椎弓根宽度(PW)的临床价值。方法收集2020年10月—2022年10月我院收治的117例脊柱胸腰段骨折患者资料进行回顾性分析,将65例OVCF患者纳入A组,将52例中青年创伤性胸腰椎(T_(11)-L_(5))骨折患者纳入B组,均采用CT三维重建技术测量T_(11)-L_(5)各对应脊椎PW,比较两组各对应弓根两侧PW及不同性别间的差异,并计算PW<5 mm及<7 mm的百分比。结果A组对应脊椎左右侧PW比较差异无统计学意义(P>0.05)。A组T_(11)-L_(5)各对应脊椎的PW值小于B组(P<0.05)。两组T_(11)-L_(5)各对应脊椎的PW值男性大于女性(P<0.05),A组T_(11)-L_(3)各对应脊椎的男性和女性PW值小于B组(P<0.05),两组的L_(4)、L_(5)脊椎PW值比较差异无统计学意义(P>0.05)。A组共测量655个椎弓根,PW<5 mm者占椎弓根总数的7.48%,主要分布于T_(11)-L_(3)脊椎,<7 mm占比37.25%,T_(11)-L_(4)均有分布;B组共测量359个椎弓根,PW<5 mm者占椎弓根总数的1.67%,T_(12)-L_(2)分别均有分布,<7 mm患者占比13.09%,分布于T_(11)-L_(3)。A组PW<5 mm占比和7 mm占比高于B组(均P<0.05)。结论老年OVCF患者T_(11)-L_(3) PW小于中青年创伤性胸腰椎骨折患者,且女性小于男性,故临床应对胸腰椎骨折患者术前行CT三维重建检查,测量PW,以评估手术治疗的可行性,并降低并发症发生。

基于细化等值面拓扑的病灶切片三维重建方法

脑组织病灶切片的三维重构对于了解神经胶质神经瘤状态具有重要意义,可用于鉴别诊断、手术模拟等。移动立方体(MC)算法是经典的多边形曲面重建算法,具有简单易实现的优点,但其存在低效且梯级现象明显的情况。针对该问题,本研究提出一种细化等值面拓扑的病灶切片空间堆叠重建方法(SSR-RI),旨在实现拓扑构形与运行效率的优化。SSR-RI通过构建空间坐标系对磁共振图像(MRI)切片邻近图进行处理,为了改善双线性插值法中图像分量易受损的问题,提出一种自适应空间插值法,根据灰度值变化自适应选择插值点,对周围进行扩充。在结合等法线顶点的基础上,设计了一种细化等值面提取方式的堆叠重建方法,以提高堆叠速度,并减少梯级问题。为了进一步优化SSR-RI的三维重建效果,提出一种改进的局部反射光照法(PR)以绘制三维病变,利用镜面颜色反射(SCR)与镜面指数(SE)对重建体进行渲染优化。使用公开脑肿瘤分割数据集BraTS的618例病例开展三维重建实验,以验证所提出方法性能。实验结果显示,所提算法的重建时间只需2.124 s,F-score值达到0.845,SSIM值达到0.81,相较于MC算法减少了38%的重建时间,F-score值和SSIM值分别提高了30.89%和38.4%。重构体序列间结构紧密,视觉效果更富立体感和纹理感,有效地提高了三维重建的绘制效率。