2D/3D多模态医学图像配准算法研究

2D/3D多模态配准在医学影像导航手术中起着重要作用,主要用于提供术前三维图像和术中二维图像的实时信息,帮助医生精准定位病灶,规划手术路径,从而提高手术的安全性和效率。提出了一种2D/3D多模态医学图像配准算法,首先利用Swin Transformer优秀的特征提取能力,构建了初始姿态估计模型,实现姿态参数的快速预测;接着,为了提升整个配准方法的鲁棒性,引入基于Grangeat关系的粗配准方法;最后设计了基于梯度下降的精配准模块,以提升整个配准过程的精确性,且在该模块将Sobel微分算子与归一化互相关结合,提升了参数优化过程中的灵敏度。实验结果表明,所提配准方法在正位和侧位配准中的误差满足配准要求,配准成功率有显著提升。

基于2D/3D成像技术的1JC厚板表面质量在线检测系统研发

针对1JC厚板表面质量在线检测,提出了一种2D/3D复合成像的表面检测系统。应用2D和3D成像系统分别实现厚板上下表面无深度变化及有深度变化缺陷的检测和识别,系统均采用深度学习算法进行分类模型的训练和应用。该技术已在宝钢厚板1JC精整线得到成功验证,现场一年多的应用表明,该技术可以有效实现精整线厚板表面缺陷的在线检测和识别。

基于反射偏振膜的增强现实2D/3D兼容显示

为了将2D/3D兼容显示技术应用于增强现实设备中,本文提出了一种基于透镜阵列全息光学元件和反射偏振膜的增强现实2D/3D兼容显示系统。该系统利用反射偏振膜将投影光源进行反射或透射。反射光束载有2D显示片源,以此实现2D显示;透射光束载有3D显示片源,经透镜阵列全息光学元件调制后实现3D显示。反射偏振膜和透镜阵列全息光学元件对环境光均有较好的透过率,从而保证系统具有增强现实的光学透过性能。实验结果表明,所提增强现实2D/3D兼容显示系统能够在2D显示模式和3D显示模式之间进行自由切换,并且其环境光对比度高于显示标准要求的标准值3∶1。

基于改进平衡优化器的医学2D/3D图像快速配准算法

医学三维图像(如CT、MRI等)和二维图像(如X光)的配准技术已经被广泛应用于临床诊断和手术规划中.医学图像配准的实质为使用优化算法寻找某种空间变换,使两张图像在空间以及结构上对齐.配准过程中往往由于优化算法寻优精度不高、易陷入局部极值的问题导致配准质量低.针对此问题,提出一种改进的平衡优化器算法(improved equilibrium optimizer based on Logistic-Tent chaos map and Levy flight,LTEO),首先针对种群初始化容易分布不均匀,且随机性太高的问题,引入Logistic-Tent混沌映射对种群进行初始化,提高种群多样性,使它们尽可能地分布于搜索空间内;对迭代函数进行更新,使得优化算法更注重全局范围的搜索,提高算法收敛速度并利于找到全局最优解;引入Levy飞行策略对停滞粒子进行扰动,防止算法陷入局部极值.最后将改进的平衡优化器算法用于2D/3D医学图像配准任务,并对配准过程中数据的频繁传输进行优化,降低配准耗时.通过基准函数测试和临床配准实验对算法进行验证,改进后的平衡优化器可有效提高寻优精度和稳定性,并提高医学图像配准的质量.

基于姿态编码器的2D/3D脊椎医学图像实时配准方法

2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术,然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算,无法满足医生在手术过程中对于实时配准的要求。针对该问题,提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息,从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态,并经过重新投影生成最终的配准图像。通过引入新的损失函数,以“粗细”结合配准的方式对模型进行约束,保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证,实验结果表明:所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差(MAE)为0.04,平均目标配准误差(mTRE)为1.16 mm,单帧耗时1.7 s。与基于传统优化的方法相比,该模型配准时间大幅缩短。相较于基于学习的方法,该模型在快速配准的同时,保证了较高的配准精度。可见,所提模型可以满足术中实时高精配准的要求。

融合2D/3D摄像机的方法与获取高精度三维视觉信息的装置

三维飞行时间摄像机可实时同步获取场景三维信息和灰度图像信息.虽然它存在图像分辨率和质量较差等问题,但它可作为二维摄像机的互补.本文借鉴立体视觉技术,提出了一种2D/3D摄像机融合的三维视觉信息获取方案.论文首先基于固定空间关系和相近视野原则,设计2D/3D立体摄像机系统对空间场景同步成像.结合三维TOF摄像机成像特性,论文借鉴立体视觉技术完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联.因此,本方法可实现场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速稠密三维信息获取的优势.2D/3D摄像机图像融合匹配算法复杂度低,匹配精度和准确度取决于二维摄像机和三维摄像机自身性能、摄像机标定参数精度和深度图像插补算法,不会引入新的运算误差.试验结果验证了本文算法的有效性和精确度.

基于灰度距离融合的2D/3D刚性配准

针对影像导航手术提出了一种基于灰度距离融合的2D/3D刚性图像配准方法。该方法使用一种新的灰度距离信息对最常使用的传统相似性测度(互信息,互相关及模式强度)进行约束,构建一类新的相似性测度(距离互信息,距离互相关和距离模式强度),并用维也纳医科大学公开发表的2D/3D刚性配准金标准数据来评估新测度的配准性能。与基于灰度的传统相似性测度相比,文中方法构造的新相似性测度在平均目标配准误差(mTRE)的均值和标准差上均有显著降低,其中均值至少降低了28.15%,标准差最少降低了61.17%。以mTRE小于2mm为配准成功的依据时,新测度的配准成功率比传统测度至少提高了25.56%。此外,新测度在配准优化过程中的迭代次数比传统测度平均降低了35.59%。结果显示:基于灰度距离融合的2D/3D刚性配准方法比基于单一灰度的配准方法具有更好的图像配准性能。

脊柱手术导航中分步式2D/3D图像配准方法

为实现微创脊柱手术导航,提出一种将脊柱术前CT与其术中X射线图像配准的方法.首先基于一种最近点迭代法进行快速粗配准;然后提取图像的梯度特征,根据投影变换原理,采用寻找具有CT最大梯度投影位置的方法进行精配准.在模拟数据及临床标本上进行实验的配准率分别为92%和78%.实验结果表明:该方法鲁棒性强、人工干预少、适合于临床应用.

基于深度学习的2D/3D医学图像配准研究

2D/3D配准在临床诊断和手术导航规划中有着广泛的应用,可解决医学图像领域中不同维度图像存在信息缺失的问题,能辅助医生在术中精准定位患者的病灶。常规的2D/3D配准方法主要依赖于图像的灰度进行配准,但非常耗时,不利于临床实时性的需求,并且配准过程中容易陷入局部最优值。提出用深度学习的方法来解决2D/3D医学图像配准问题。采用一个基于深度学习的卷积神经网络,通过网络对数字影像重建技术(DRR)进行训练并自动学习图像特征,预测X光图像所对应的参数,从而实现配准。以人体骨盆的模型骨为实验对象,根据骨盆的CT数据生成36000张DRR图像作为训练集,同时通过C臂采集模型骨的50张X光图像作为验证。结果显示,深度学习算法在相关系数、归一化互信息、欧式距离3个精度评价指标上的测试值分别为0.82±0.07、0.32±0.03、61.56±10.91,而常规2D/3D算法对应的测试值分别为0.79±0.07、0.29±0.03、37.92±7.24,说明深度学习算法的配准精度优于常规2D/3D算法的配准精度,且不存在陷入局部最优值的问题。同时,深度学习的配准时间约为0.03 s,远低于常规2D/3D配准的时间,可满足临床对于实时配准的需求,未来将进一步开展临床数据的2D/3D配准研究。

基于2D/3D配准技术的正常膝关节运动还原在体稳定性参数研究

目的应用2D/3D图像配准技术进行运动还原以获得正常膝关节韧带的在体稳定性参数。方法在生理负重下利用两台C型臂X线机采集8名志愿者健、膝关节屈曲0°、15°、30°、60°和90°时的两幅相互垂直的X线影像(2D),与由CT重建的三维图像在虚拟X线投射系统进行2D/3D图像配准,还原膝关节不同角度时的股骨和胫骨相对3D位置关系,并通过韧带止点还原的方法对ACL、PCL、MCL、LCL进行韧带长度分析。结果随屈曲角度的增大,ACL长度逐渐缩短,从0(°27.73±1.34)mm至90(°23.34±1.48)mm;PCL长度逐渐增加,从0(°26.5±1.65)mm至90(°33.80±1.97)mm;MCL长度逐渐减小,从0°(38.17±1.40)mm至90°时(35.98±1.50)mm。LCL长度同样逐渐减小,从0°(52.56±1.64)mm至90°(50.22±1.41)mm。差异均有统计学意义(P<0.05)。结论基于2D/3D图像配准技术可获得正常膝关节生理屈曲过程中韧带长度的变化规律。

基于2D/3D配准技术测量颈椎间孔形态学的精度研究

目的探讨基于2D/3D配准技术测量离体颈椎标本椎间孔形态学的精度。方法获取16具颈椎离体标本的螺旋CT影像,通过三维重建获得相应标本的三维模型。然后改变标本的体位,再次行CT扫描并分别拍摄各具离体标本正侧位X线平片,采用2D/3D图像配准技术还原拍摄平片时颈椎的三维位置。利用Rapidform XOR3软件测量配准前与配准后C_(2/3)至C_(6/7)双侧的椎间孔面积、前后径和上下径。结果共测得椎间孔的面积、前后径和上下径各158个,经配对样本t检验,配准后椎间孔的面积、前后径、上下径与配准前相比较,结果无显著性差异(P>0.05);椎间孔面积的准确度为96.77%、精确度为(1.27±1.16)mm^2,前后径的准确度为94.35%、精确度为(0.30±0.27)mm,上下径的准确度为96.14%、精确度为(0.32±0.28)mm。结论应用2D/3D配准技术测量颈椎间孔的形态学参数具有较高的准确度和精确度。

利用2D/3D配准技术开展直立位颈椎椎间孔形态学测量的可行性研究

目的探讨利用2D/3D配准技术开展直立位颈椎椎间孔形态学测量的可行性研究。方法采集7位健康成年志愿者颈椎的CT影像,对其进行三维重建获得颈椎三维模型,并采集同一志愿者保持同一姿势时的颈椎直立正侧位X线平片,在图像处理软件Mimics中建立虚拟X线场景,采用2D/3D图像配准还原摄平片时颈椎的位置,并利用Rapidform XOR3软件测量两种位置的椎间孔面积。结果利用2D/3D图像配准方法,可获得颈椎直立位的三维位置数据,共测得56个椎间孔卧位及直立位两位置椎间孔面积,卧位椎间孔面积为(50.9±14.2)mm2,直立位椎间孔面积为(83.6±23.5)mm2,差异具有统计学意义(t=-8.107,P<0.05)。结论利用2D/3D配准技术可获得颈椎直立位椎间孔的形态学参数,直立位与卧位椎间孔有显著差异,但其准确性需要进一步的研究验证。

2D/3D软件在制图课程教学中的应用

针对制图课程在教学中面临的"教师难教、学生难学"现状,分析了2D/3D软件的应用优势,可将空间思维模式视觉化,激发学生学习兴趣,动态演示作图求解的细节,提升课堂教学效果.同时提出了2D/3D软件在制图教学中的应用技巧,即借助3D软件强化空间思维,利用2D软件模拟黑板教学,并注重将2D/3D软件和其他教学辅助工具嵌套使用和优势互补.

基于外标记点的2D/3D图像配准方法

提出了一种基于外标记点的无框架配准方法.该方法首先建立参考坐标系,接着根据外标记点在两幅2D图像中的对应坐标,求出2D图像像素坐标到参考坐标系的转换关系,然后根据外标记点在3D图像坐标系中的坐标,求解3D图像坐标系和参考坐标系的转换矩阵,通过一组矩阵运算,从而实现2D/3D图像的配准.临床图像的实验结果表明,该方法的配准精度为(0.026 7±0.044 7)mm.

基于QFORM2D/3D的杯形件冷挤压工艺研究

通过对零件形状及材料性能的分析,运用滑移线场法进行了挤压力计算,制定反挤压和复合挤压2种工艺方案,采用QFORM2D/3D锻造分析软件对2种成形方案进行数值模拟分析,对比这2种成形方案的模拟结果,设计出合理的实验工艺方案,对杯类零件的实际生产具有重要的指导意义。

2D/3D刚性图像配准在肿瘤放疗计划中的应用

目的:在肿瘤放疗中,2D/3D刚性图像配准技术是精确定位病人重要保证。方法:数字重建放射影像技术是2D/3D配准中最为关键的部分,一定程度上影响着配准效率。在对数字重建放射影像进行重点研究的基础上,实现了一种基于Bresenham方法的快速数字影像重建算法,并利用腹部CT体数据进行了2D/3D配准实验。实验以互信息、模式强度和梯度差分为相似性测度并采用了Powell-Brent优化算法。结果:在数字重建放射图像算法实验中,Bresemham方法相比于另外两种光线跟踪算法,时间仅需0.467 s。在2D/3D配准实验中,对三种相似性测度的实验结果进行了比较,互信息和梯度差分有较好的配准结果,模式强度仍存在不少问题。结论:实验结果表明,利用Bresenham方法产生的数字重建影像能使得配准具有较高精度,但配准时间仍然较长。

Minilap在经脐入路2D/3D腹腔镜胆囊切除术中的应用

目的探讨Minilap在经脐入路2D/3D腹腔镜胆囊切除术应用中的可行性。方法回顾分析32例（胆囊结石21例,胆囊息肉11例）经脐入路2D/3D腹腔镜胆囊切除术中右肋下辅以Minilap患者的临床资料。结果手术时间12-42min,平均32min。术中出血2-8mL,平均4mL。术后1d后肛门排气,3-4d痊愈出院。未放引流,无胆漏、出血、感染等并发症。术后随访3个月,患者无腹痛、发热、黄疸等发生,脐部疤痕隐藏,右肋下未见疤痕。结论 Minilap辅助下经脐入路2D/3D腹腔镜胆囊切除安全可行,降低了完全经脐入路腹腔镜胆囊切除术的操作难度,美容效果佳,值得临床推广使用。

2D/3D级联卷积在分割CT肺动脉上的应用研究

医学影像分割是计算机辅助诊断的重要组成部分。针对CT影像的三维特性,提出了一种基于2D/3D级联卷积的Unet网络结构用来分割肺动脉。该结构相比基于传统2D卷积的方法,关联了第三维度信息,提高了分割准确度和泛化能力,相比基于传统3D卷积的方法提高了准确度和执行效率。实验对多套肺动脉增强CT数据集做了验证,分割准确率达到85.7%,高于传统2D和3DUnet网络,同时执行效率较3DUnet提高近30%,在CT影像分割上做到了效率和准确度的兼顾。

基于深度学习的2D/3D图像配准方法在脊柱微创导航手术中的应用

目的:探讨基于深度学习的2D/3D图像配准方法在脊柱微创手术导航中的应用效果。方法:对LIDC⁃IDRI数据集中20例病人的术前3D脊柱CT影像和术中2D的X⁃ray影像实施分步配准。首先,将三维CT影像进行空间变化,投影到二维平面。通过卷积神经网络(CNN)对生成的二维图像进行训练并学习相关特征,将待配准图像输入学习网络,得到相关参数,完成粗配准。其次,对术前脊柱CT影像进行分割,计算浮动图像与参考图像间的相似度,通过参数优化算法对椎骨进行精确配准。采用Elastix作为对照组。结果:与对照组相比,本研究提出的方法在归一化互相关指标上提高了0.1856,在归一化互信息指标上提高了0.4456,在平均绝对误差指标上降低了0.0978。结论:该算法配准精度高,提示将深度学习方法应用于脊柱CT图像配准是一项具有前景的研究。

基于Qform2D/3D的阀螺钉冷挤压工艺设计

对阀螺钉结构进行分析,结合所选用材料,提出阀螺钉冷挤压成形方案,并对其进行工艺参数的计算。运用Qform2D/3D软件对工艺方案进行数值模拟,分析阀螺钉在挤压成形中应力、应变的分布,最终确定合理的成形工艺方案。通过工艺实践验证,结果表明设计合理,可为实际生产提供指导。