动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。

机械臂环境三维重建与避障算法研究

为了解决机器人在未知环境中的避障规划难题,提出了一种基于视觉的三维重建与避障规划方法。通过深度相机(RealSense D435i)与机械臂组成手眼系统,首先,根据目标物体与ArUco码的相对关系,通过相机获取的ArUco标记上的特征点坐标,求解出目标物姿态;然后,改进三维重建方法,通过融合机械臂工具末端位姿和多帧点云数据,对环境进行较高精度的三维重建,作为后续规划的障碍空间;最后,应用了快速扩展随机树(RRT)的改进算法进行机械臂的避障运动规划。研究搭建了仿真及控制平台,来进行验证。实验表明:环境三维建模的精度维持在8mm以内,避障成功率为96.5%,平均规划时间为1.2s,验证了方法的可行性。

经头颈部CTA联合三维重建技术用于脑血管疾病动脉狭窄的诊断价值

目的分析经头颈部CT血管造影(CTA)联合三维重建技术对脑血管疾病的特点及对脑血管疾病动脉狭窄的诊断作用。方法选择我院在2021年8月至2022年8月期间收治的脑血管疾病动脉狭窄患者118例进行观察,所有患者均进行经头颈部CTA检查,将获取的图像,完成最大密度投影和血管三维重建,将数字减影血管造影(DSA)检查结果作为“金标准”,分析经头颈部CTA联合三维重建的诊断特点,对脑血管疾病动脉狭窄患者的诊断价值。结果以DSA检查结果作为“金标准”,经头颈部CTA联合三维重建技术对脑血管动脉狭窄患者的灵敏度、特异度、准确率、阳性及阴性预测值更高,118例脑血管动脉狭窄患者显示982条血管,经头颈部CTA联合三维重建技术与DSA检查的符合率为86.97%(854/982),118例脑血管动脉狭窄患者显示颅内侧支动脉1422条,经头颈部CTA联合三维重建技术与DSA检查的符合率为97.54%(1387/1422)。结论针对脑血管疾病动脉狭窄患者,以经头颈部CTA联合三维重建技术进行检查,对患者血管病变的分布情况、动脉狭窄程度的检查效果较好,能够有效分辨患者侧支循环等级,为后续的治疗提供参考依据。

考虑图像采集的退役零件SfM三维重建精度研究

运动恢复结构(SfM)是一种单目多视图三维重建技术。针对SfM多视图三维重建的速度及质量问题,提出了一种考虑图像采集的退役零件SfM三维重建精度优化方法。首先,构建了图像采集试验平台,以导靴和凸轮轴瓦盖为试验对象,选取图像质量、图像数量、拍摄距离及视角数量4个对重建质量有影响的参数为影响因素,每种因素取3个水平,设计了正交试验;然后,根据试验设计方案,对两个试验对象分别进行了9组图像采集,并用Reality Capture软件对其进行了三维建模;最后,根据重建点云和模型的准确性、重建的完整性与重建效率3个指标,对重建结果进行了评价,并进行了正交试验,通过极差分析获得了最优参数组合。研究结果表明:图像数量与视角数量对三维重建质量影响显著,拍摄距离与图像质量对三维重建质量影响不显著。该研究结果可为提高图像三维重建速度及质量提供参考。

改进的3D-BoNet算法应用于点云实例分割与三维重建

为了更好地利用点云数据重建室内三维模型,本文提出了一种基于3D-BoNet-IAM算法的室内场景三维重建方法。该方法通过改进3D-BoNet算法提高点云数据的实例分割精度。针对点云数据缺失问题,提出了基于平面基元合并优化的拟合平面方法,利用拟合得到的新平面重建建筑表面模型。在S3DIS和ScanNet V2数据集上验证3D-BoNet算法的改进效果。试验结果表明,本文提出的3D-BoNet-IAM算法比原始算法分割精度提高了3.3%;对比本文建模效果与其他建模效果发现,本文方法的建模效果更准确。本文方法能够提高室内点云数据的实例分割精度,同时得到高质量的室内三维模型。

三维重建及3D打印技术在精准胸腔镜肺段切除术中的应用

目的:探讨三维重建及3D打印技术在精准胸腔镜肺段切除术中的应用。方法:选取2020年1月至2022年12月在我院行精准胸腔镜肺段切除术患者105例,用随机数表法分为2组,对照组(53例)和研究组(52例),对照组给予三维重建制定术前计划,研究组给予三维重建及3D打印技术制定术前计划。比较两组围术期相关指标,术前、术后3 d、术后3个月的肺功能指标,临床治疗疗效以及并发症发生情况。结果:研究组术中出血量、住院费用与对照组比较,差异均无统计学意义(P>0.05),研究组手术时间、拔管时间、住院时间明显短于对照组(P<0.05),研究组淋巴结清扫个数明显高于对照组(P<0.05),研究组术后总引流量明显低于对照组(P<0.05)。术后3 d研究组用力肺活量(FVC)、第1秒用力呼气容积(FEV1)、呼气流量峰值(PEF)、每分钟最大通气量(MVV)、肺一氧化碳弥散量(DLCO)较术前均降低(P<0.05),术后3 d、术后3个月对照组FVC、FEV1、PEF、MVV、DLCO较术前均降低(P<0.05),术后3 d对照组FEV1/FVC较术前升高(P<0.05),术后3个月对照组FEV1/FVC较术前降低(P<0.05),且术后3 d、术后3个月研究组FVC、FEV1、PEF、MVV、DLCO明显高于对照组(P<0.05),术后3个月研究组FEV1/FVC明显高于对照组(P<0.05)。研究组临床治疗疗效优于对照组,且研究组的临床治疗总有效率为94.23%,明显高于对照组(67.92%)(P<0.05)。研究组的并发症发生率为19.23%,与对照组(24.53%)比较,差异无统计学意义(P>0.05)。结论:三维重建及3D打印技术应用在精准胸腔镜肺段切除术中,可有效缩短手术时间,促进患者康复,改善肺功能,提高临床治疗疗效,且安全性较好。

多源视频数据驱动的舰面保障作业三维重建

针对现有公开的航母舰面保障作业视频数据碎片化、相机角度多变、像素质量低下等问题,提出一种多源视频数据驱动的舰面保障作业三维重建方法.该方法首先对视频中对象轨迹方向进行预测,并采用联合外观和方向相似度的跟踪方法实现视频数据的多目标轨迹跟踪;然后基于跟踪结果,依次采用相似度关联、特征轨迹分割、轨迹聚类提取多源数据中的保障作业对象并进行关联与融合;最后对融合得到的轨迹进行逼真三维重建.在MOT20数据集和舰面保障作业公开视频数据上,实验和用户调研数据的t检验结果表明,采用所提方法有99.5%的把握得到可信的舰面保障作业三维重建效果.

基于MRI的三维重建技术在保留盆腔自主神经的腹腔镜直肠癌D3根治术中的应用价值

目的 评估利用MRI图像三维重建直肠癌患者盆腔自主神经以及周围器官在腹腔镜直肠癌D3根治术中的应用价值。方法 将56例直肠癌患者随机分为重建组和对照组,重建组术前依照MRI三维重建结果制定手术方案,对照组按常规方式制定手术方案,比较2组术中及术后功能恢复相关指标。结果 重建的三维模型能个体化呈现患者盆腔自主神经以及周围器官分布关系。与对照组相比,重建组的手术时间缩短[(143.7±13.3)min vs.(151.5±12.1)min,P=0.040)],失血量减少[(31.3±12.1)mLvs.(39.4±11.6) mL,P=0.024)],国际前列腺症状评分(IPSS)更优[(6.0±1.3)分vs.(7.9±2.6)分,P=0.003)]。此外,重建组的术后拔除尿管时间较对照组短[2.0(2.0,2.0)d vs.3.5(3.0,4.0)d,P <0.001]。结论 基于MRI的盆腔自主神经三维重建能准确呈现盆腔自主神经及器官的解剖关系,提高了D3根治术的效率和安全性,可为术者制定精细化、个性化的手术方案提供重要参考。

CT三维重建联合胸腔镜精准肺段切除术对早期肺腺癌近期结果的影响分析

目的 探讨CT三维重建联合胸腔镜精准肺段切除术对早期肺腺癌近期结果的影响。方法 回顾性分析2020年1—12月间在惠州市中心人民医院接受肺段切除术治疗的早期肺腺癌病人100例的临床资料,根据手术方式的不同分为接受CT三维重建联合胸腔镜精准肺段切除术治疗的精准治疗组(n=41)、接受传统胸腔镜肺段切除手术治疗的传统治疗组(n=59),对比其手术情况相关指标、肺功能参数值、术后并发症发生情况、术后1年复发情况的差异。结果 精准治疗组病人的手术时间(102.31±19.38)min短于传统治疗组(118.64±21.23)min,术中出血量(62.45±8.34)mL少于传统治疗组(77.23±10.21)mL,差异有统计学意义(P<0.05)。精准治疗组、传统治疗组病人的淋巴结清扫个数差异无统计学意义(P>0.05)。术后1个月,精准治疗组病人的用力肺活量(FVC)(3.40±0.56)L、第1秒用力呼气容积(FEV1)(2.31±0.40)L、肺一氧化碳弥散量(DLCO)(17.95±2.68)mL·mmHg-1·min-1水平分别高于传统治疗组的(2.86±0.41)L、(2.08±0.36)L、(14.53±2.10)mL·mmHg-1·min-1,差异有统计学意义(P<0.05)。术后3个月,精准治疗组、传统治疗组病人的FVC、FEV1、DLCO水平差异无统计学意义(P>0.05)。精准治疗组、传统治疗组病人的术后并发症发生率差异无统计学意义(P>0.05)。术后随访1年内,两组病人均未发现复发病例。结论 CT三维重建联合胸腔镜精准肺段切除术可优化手术过程、改善早期肺腺癌病人术后早期的肺功能,可能是一种更为精准可靠的手术模式。

双目视觉三维重建下的植保机作业优化研究

以喷雾植保机自动化作业路径规划为研究对象,利用双目视觉摄像机对作业环境区域内的障碍物进行检测,并基于三维重建技术构建障碍物空间位置坐标,根据检测到的障碍物位置信息对喷雾植保机的避障路径进行规划,以保证喷雾植保机作业过程可实时避障。试验结果表明:喷雾植保机能够按照预先设定的作业路径行进,遇到障碍物时能够及时进行障碍检测,并根据规划路径进行避障,保证了喷雾作业的有效实施。

运用CT三维重建技术测量骨质疏松性椎体压缩骨折与中青年创伤性胸腰椎骨折患者椎弓根宽度的临床价值

目的探讨运用CT三维重建技术测量骨质疏松性椎体压缩骨折(OVCF)与中青年创伤性胸腰椎(T_(11)-L_(5))骨折患者椎弓根宽度(PW)的临床价值。方法收集2020年10月—2022年10月我院收治的117例脊柱胸腰段骨折患者资料进行回顾性分析,将65例OVCF患者纳入A组,将52例中青年创伤性胸腰椎(T_(11)-L_(5))骨折患者纳入B组,均采用CT三维重建技术测量T_(11)-L_(5)各对应脊椎PW,比较两组各对应弓根两侧PW及不同性别间的差异,并计算PW<5 mm及<7 mm的百分比。结果A组对应脊椎左右侧PW比较差异无统计学意义(P>0.05)。A组T_(11)-L_(5)各对应脊椎的PW值小于B组(P<0.05)。两组T_(11)-L_(5)各对应脊椎的PW值男性大于女性(P<0.05),A组T_(11)-L_(3)各对应脊椎的男性和女性PW值小于B组(P<0.05),两组的L_(4)、L_(5)脊椎PW值比较差异无统计学意义(P>0.05)。A组共测量655个椎弓根,PW<5 mm者占椎弓根总数的7.48%,主要分布于T_(11)-L_(3)脊椎,<7 mm占比37.25%,T_(11)-L_(4)均有分布;B组共测量359个椎弓根,PW<5 mm者占椎弓根总数的1.67%,T_(12)-L_(2)分别均有分布,<7 mm患者占比13.09%,分布于T_(11)-L_(3)。A组PW<5 mm占比和7 mm占比高于B组(均P<0.05)。结论老年OVCF患者T_(11)-L_(3) PW小于中青年创伤性胸腰椎骨折患者,且女性小于男性,故临床应对胸腰椎骨折患者术前行CT三维重建检查,测量PW,以评估手术治疗的可行性,并降低并发症发生。

透明物体非侵入式三维重建方法综述(特邀)

玻璃、透镜以及显示屏等透明物体在各个领域有着大量需求和应用,需要快速、精确和完整地对它们进行三维重建,从而客观描述物体形态、检测表面质量和保障元器件功能。但由于透明物体表面的镜面反射和折射特性,传统的三维重建方法并不适合直接应用于其三维形貌测量。为此,概述了透明物体的非侵入式三维重建方法,从基于反射光重建和基于透射光重建两个方面展开,回顾了近年来的主要研究工作。然后,详细比较了各种技术的优缺点及其适用情况,使用者们可以根据不同应用需求和测量条件选择合适的透明物体重建方案。最后,展望了该领域未来的研究方向,希望能为研究人员在完善现有方法或探索新方法时提供参考和思路。

三维重建技术中的高效光条提取方法(特邀)

近年来,三维重建技术在工业检测、医疗成像等领域得到了广泛应用。然而,由于被测物体形状的复杂性以及环境噪声等因素的影响,现有的光条提取算法面临着提取速度慢和重建精度差的挑战。为了解决这些问题,对现有技术进行了深入分析,明确了其在处理复杂形状和噪声干扰时的局限性,提出了一种基于三维重建的高效光条提取(ELE-3D)算法。在ELE-3D算法中,通过Sobel算子精确提取图像边缘,进行二值化处理简化图像复杂性,并利用连通域分析区分噪声与条纹。通过设置面积和长宽比阈值,保留关键特征,来确定感兴趣区域(ROI),精确地识别并提取图像中的特定几何特征区域,同时有效抑制背景噪声,不仅提高了图像的质量,还确保了能够专注于分析图像中最关键的部分。实验结果表明,ELE-3D算法有效地提高了光条提取速度,并有效地抑制了噪声的干扰。在保证重建精度的前提下,测量同一物体相比较于传统的算法Steger和灰度重心法,速度分别提高了89.0%和85.3%。

基于锥形追踪和网络分解的NeRF三维重建方法

在计算机视觉领域,神经辐射场(NeRF)是以空间坐标或者时间、相机位姿等其他维度作为输入,通过多层感知机(MLP)网络模拟目标函数,生成颜色、深度等目标标量的过程。NeRF的应用包括对三维场景进行高质量的重建,而其在处理不同分辨率的场景时会产生过度模糊或者伪影的渲染效果,且存在训练耗时较长的问题。为了解决上述问题,提出基于锥形追踪和网络分解的NeRF三维重建方法。使用锥形追踪的方法,为每个像素投射一个圆锥体,并将投射的圆锥体切割成一系列的圆锥台,沿着该圆锥体进行特征化,通过高效渲染抗锯齿的圆锥台来降低模糊或者伪影效果。为了缩短训练时间,使用网络分解的方法,将原始NeRF接收5维数据的神经网络分解为两个网络,有效地缩短训练时间。实验结果表明,在NeRF_Synthetic、LLFF和Multiresolution数据集中,相比于NeRF、F 2-NeRF等方法,所提方法的峰值信噪比(PSNR)提升了14.4%~24.6%,能够重建出更丰富的细节特征,视觉效果更好,且训练时间大幅降低。

基于细化等值面拓扑的病灶切片三维重建方法

脑组织病灶切片的三维重构对于了解神经胶质神经瘤状态具有重要意义,可用于鉴别诊断、手术模拟等。移动立方体(MC)算法是经典的多边形曲面重建算法,具有简单易实现的优点,但其存在低效且梯级现象明显的情况。针对该问题,本研究提出一种细化等值面拓扑的病灶切片空间堆叠重建方法(SSR-RI),旨在实现拓扑构形与运行效率的优化。SSR-RI通过构建空间坐标系对磁共振图像(MRI)切片邻近图进行处理,为了改善双线性插值法中图像分量易受损的问题,提出一种自适应空间插值法,根据灰度值变化自适应选择插值点,对周围进行扩充。在结合等法线顶点的基础上,设计了一种细化等值面提取方式的堆叠重建方法,以提高堆叠速度,并减少梯级问题。为了进一步优化SSR-RI的三维重建效果,提出一种改进的局部反射光照法(PR)以绘制三维病变,利用镜面颜色反射(SCR)与镜面指数(SE)对重建体进行渲染优化。使用公开脑肿瘤分割数据集BraTS的618例病例开展三维重建实验,以验证所提出方法性能。实验结果显示,所提算法的重建时间只需2.124 s,F-score值达到0.845,SSIM值达到0.81,相较于MC算法减少了38%的重建时间,F-score值和SSIM值分别提高了30.89%和38.4%。重构体序列间结构紧密,视觉效果更富立体感和纹理感,有效地提高了三维重建的绘制效率。

基于变分立体匹配算法的GMAW熔池形貌三维重建

为实现完整熔池表面形貌三维传感,构建了双棱镜单摄像机立体视觉传感系统.针对熔池图像纹理缺乏造成的立体匹配困难的问题,引入了全局优化的变分立体匹配算法,通过建立包含灰度差异数据项和空间连续性约束项的能量函数的可行性泛函,经过迭代求解获得具有丰富细节的熔池表面稠密视差图.对自制非标准凹面形状进行立体匹配和三维重建,结果表明,宽度误差小于3.16%,深度误差小于4.82%.基于该算法实现了熔化极气体保护焊(gas metal arc welding,GMAW)的堆焊及V形坡口对焊条件下,不同熔透状态熔池稠密视差图计算和表面形貌的三维重建.

基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

肺内血管三维重建技术在肺段切除术治疗早期肺癌中的临床应用

目的探讨肺内支气管血管三维重建技术在肺段切除术治疗早期肺癌中的临床应用效果。方法现针对2021年3月-2023年3月期间在我院行肺段切除术的早期肺癌患者治疗情况进行回顾性分析,共计纳入64例。其中采取常规胸腔镜解剖性肺段切除术的患者有32例,将其设定为对照组,采肺内支气管血管三维重建下的胸腔镜解剖性肺段切除术的患者有32例,将其设定为观察组,对其治疗情况进行对比和分析。结果(1)在手术时间上,以观察组时间更短,在术中出血量上,以观察组更少,和对照组相比有明显差异(P<0.05);(2)两组患者淋巴结清扫个数和优势肺段切除例数水平相当(P>0.05);(3)在术后胸液引流量上,以观察组更少(P<0.05),在胸管留置时间和术后住院时间上,以观察组时间更短(P<0.05),在并发生发生率上,以观察组更低(P<0.05)。结论肺内血管三维重建技术在治疗早期肺癌中获得了较好的干预效果,其可有效缩短手术时间,减少术中出血量,降低术后并发症,临床应用效果较好。

基于计算机视觉的舰船模型三维重建方法

为保证舰船模型三维重建的完整性以及细节程度,提出基于计算机视觉的舰船模型三维重建方法。基于双目立体视觉计算全局舰船目标点云坐标,生成舰船全局的三维点云数据;多视角点云配准方法对该数据进行配准后,输入多尺度特征递归卷积的稠密点云重建网络模型中,通过该模型生成舰船模型三维深度图,在此基础上,利用运动结构法完成舰船深度图中的三维曲线重建,对舰船模型进行颜色渲染,输出舰船模型三维重建结果。测试结果显示,该方法能够完成不同图像之间对应点的可靠匹配,确定各点的坐标位置;三维重建后模型的空间偏差均在0.015以下;能够较好地完成舰船结构的重建,重建后舰船模型的完整性较好,清晰呈现舰船的结构细节。

注意力机制与神经渲染的多视图三维重建算法

针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。