多模态图像融合及三维重建技术在后颅窝肿瘤手术中的应用

目的旨在探讨多模态图像融合及三维重建技术在后颅窝肿瘤手术治疗中的应用效果。方法回顾性分析2022年1月至2023年9月在江苏大学附属人民医院神经外科接受手术治疗的19例后颅窝肿瘤患者的临床资料。所有患者在术前均接受头部CT和MRI检查,并将影像数据输入影像融合工作站进行图像融合和三维重建。医生利用这些融合后的影像进行肿瘤空间评估和模拟手术入路。术后统计肿瘤全切除率和术后并发症,并对其应用价值进行评估。结果多模态图像融合及三维重建技术能清晰显示后颅窝肿瘤与周围结构的解剖关系,19例患者中肿瘤全切除15例(78.9%),次全切除4例,无围手术期死亡患者。术后并发症包括脑水肿2例,颅内感染1例,面瘫2例,吞咽困难1例。根据医生的反馈,多模态图像融合及三维重建技术在手术中表现出显著价值的案例有16例,辅助价值的案例有3例。结论多模态图像融合及三维重建技术可精准、清晰地显示后颅窝肿瘤与周围重要组织的空间关系,有助于医生设计更精准的手术切口和选择更合理的手术入路,对手术顺利完成有较高的辅助价值。

基于混合网络模型的多模态图像分类研究

针对现有图像分类方法存在多模态特征向量提取完整度较低、图像分类正确率较差等问题,提出了一种基于混合网络模型的多模态图像分类方法。采用正则化操作、对数变换算法、顶帽运算算法和伽马变换算法预处理多模态图像,获取了高质量、高对比度、高清晰度的多模态图像,构建了混合网络模型(复杂网络模型与卷积神经网络模型),利用复杂网络模型提取多模态图像特征向量,通过卷积神经网络模型的多层次结构(卷积层、池化层与全连接层)执行多模态图像分类任务,从而实现了多模态图像分类目标。实验结果表明,在不同实验工况下,提出方法应用后多模态图像特征向量提取完整度最大值为99.03%,多模态图像分类正确率最大值为100%。

多模态图像引导下尾状叶肝细胞癌合并左肝管癌栓的诊治1例报告

肝细胞癌作为全球第六大常见肿瘤,对人类的生命与健康构成了严重威胁[1]。临床实践中血管癌栓形成是肝细胞癌最为常见的并发症之一。相比之下,侵犯胆管并形成胆管癌栓的发生率较低,仅为0.5% ~2.5%[2]。肝癌合并胆管癌栓病情进展迅速,预后较差,目前国际上对其研究较少且尚未达成共识[3]。

一种神经母细胞瘤的PET/CT多模态图像分割方法

目前关于PET/CT图像分割的方法缺少对图像全局上下文信息提取的考虑并且对提取到的特征信息进行融合的方式有待优化.针对上述问题,本文提出了并行提取和特征综合网络(Parallel Extraction and Feature Synthesis Network,PFNet).该网络首先利用卷积神经网络(convolutional neural network,CNN)和Transformer分别设计了两个支路分别从PET/CT图像中提取局部特征和全局上下文信息.其次,为了融合不同的特征信息,本文设计了一个特征综合模块,将两个分支提取的不同信息送入特征综合模块进行融合.在该模块中,设计了多策略融合单元,与此同时该模块利用通道注意力单元和依赖关系学习单元进一步学习通道特征信息和特征图自身依赖关系,以便进一步进行特征融合.此外本文引入了LogCoshDiceLoss作为损失函数,其利用函数Log-Cosh的平滑性可以提高分割性能.最后,在神经母细胞瘤数据集和HECKTOR 2021数据集上的实验结果表明本文提出的网络相比其它方法具有更好的分割性能,获得了较好的分割效果.

多模态图像局部极值点特征生成方法仿真

针对因多模态图像特征种类较多、存在噪声干扰导致的特征生成难度较大的问题,提出一种基于改进CNN的图像局部特征生成方法。引入注意力机制,计算像素分布序列中上一时刻与下一时刻之间的信息模态关联,针对图像中的不同区域均给出同等权重,获取区域信息。建立灰度共生矩阵,矩阵中每一层都有与自身相对应的像素值,提取待生成图像的全局灰度均值,在矩阵中查找局部极值点的对应层次,提取该层次中梯度量级和偏导系数,通过偏导系数与全局特征调试对比,实现多模态图像局部特征生成。实验结果表明,所提方法针对样本图像的特征生成效果较好,基本不受图像噪点和局部遮挡的影响。

基于经验模式分解和互信息的多模态图像配准

基于互信息的配准方法是目前多模态图像配准研究中的热点。提出了一种基于经验模式分解后剩余图像和互信息的多模态图像配准方法。首先通过理论分析得出通过求解剩余图像之间的变换参数即可获得原始图像之间的变换参数,从而论证了二维经验模式分解(BEMD)应用于多模态图像配准的可行性,然后给出了图像配准方法的实现步骤。典型多模态图像配准实验结果表明此方法与传统互信息法和基于小波分解结合互信息的方法相比,旋转角度估计误差可以降低1个数量级,缩放参数的估计误差也有很大降低。表明该方法获得了更高的配准精度。

多模态图像配准的配准测度和性能分析

该文考察了多模态图像配准中几个典型的配准测度,揭示了它们之间的关系,通过实验对它们进行了全面的分析比较,实验中考察的测度主要包括:基于熵的测度、PIU测度以及PIU测度的改进形式等,实验结果显示了这几个典型配准测度在有效性和适应性方面的差异,为实际应用中合理选择这些测度提供可靠的参考。

基于最大化对齐度的多模态图像自动配准

该文讨论图像配准的广义定义并提出一种新的图像配准准则—对齐度。对齐度能够正确地反映两幅不同灰度属性的图像是否配准,并且将图像配准归结为对齐度的最大化。新准则可以用来配准多模态图像包括灰度属性差异很大的图像。该文应用多分辨率方法和Powell方向族搜索法来最大化对齐度。因此,用该方法可以自动地处理图像配准问题,不需要定义地标点或特征点。多模态医学图像和遥感图像的自动配准的例子说明了该文方法的有效性。

一种快速多模态图像匹配导航方案

为了能在飞行器自主导航系统中快速,精确地完成不同模态图像间的匹配,该文提出了一种基于多分辨率分析的图像匹配导航方案。这种方案采用金字塔结构,由粗到细进行匹配。在最小尺度上,采用了逐步剔除的策略,提出了边缘膨胀模板(EDT),并推导了快速算法;在中间级别上,用Hausdorff distance作为相似准则;在最后一级别上,采用交互方差进行匹配。在匹配过程中,除最小尺度上采用快速算法外,在其他匹配阶段也推导和采用了一些加速算法来减少运算量。实验结果显示该文的方法可以快速,精确地完成多模态图像匹配。另外,该文方法易于硬件实现,有助于图像匹配导航系统的工程实现。

结合张量与互信息的混合模型多模态图像配准方法

多模态图像之间存在显著的非线性强度差异,并且图像会因为噪声而退化,因此,多模态图像自动配准是一项具有挑战性的任务。为了解决这两个问题,本文提出一种多模态图像自动配准方法,该方法分为预配准和精配准两个阶段。在预配准阶段,通过改进SIFT算法来大致对齐多模态图像。在精配准阶段,首先,利用块Harris检测器在预配准后的参考图上提取均匀分布的特征点。然后,通过各向异性结构张量捕捉多模态图像中的结构信息来构建特征描述符,该特征描述符对噪声具有稳健性。更进一步,本文结合张量方向平行度和梯度互信息提出了一种相似度准则(tensor orientation and mutual information,TOMI)。最后,本文用多种模态图像(包括Optical,LiDAR,SAR和Map)来评估提出的方法。试验结果表明,本文提出的方法对非线性强度变化和噪声具有较好的稳健性,并且匹配效果优越。

基于自适应联合字典学习的脑部多模态图像融合方法

针对目前全局训练字典对于脑部医学图像的自适应性不强,以及使用稀疏表示系数的L1范数取极大的融合方式易造成图像的灰度不连续效应进而导致图像融合效果欠佳的问题,提出一种基于自适应联合字典学习的脑部多模态图像融合方法。该方法首先使用改进的K奇异值分解(K-SVD)算法自适应地从已配准的源图像中学习得到子字典并组合成自适应联合字典,在自适应联合字典的作用下由系数重用正交匹配追踪(CoefROMP)算法计算得到稀疏表示系数;然后将稀疏表示系数的"多范数"作为源图像块的活跃度测量,并提出"自适应加权平均"与"选择最大"相结合的无偏规则,根据稀疏表示系数的"多范数"的相似度选择融合规则,当"多范数"的相似度大于阈值时,使用"自适应加权平均"的规则,反之则使用"选择最大"的规则融合稀疏表示系数;最后根据融合系数与自适应联合字典重构融合图像。实验结果表明,与其他三种基于多尺度变换的方法和五种基于稀疏表示的方法相比,所提方法的融合图像能够保留更多的图像细节信息,对比度和清晰度较好,病灶边缘清晰,客观参数标准差、空间频率、互信息、基于梯度指标、基于通用图像质量指标和平均结构相似指标在三组实验条件下的均值分别为:71.078 3、21.970 8、3.679 0、0.660 3、0.735 2和0.733 9。该方法可以应用于临床诊断和辅助治疗。

多模态图像配准技术在HIFU手术中的应用

在交互式的图像导航热疗手术中 ,需要对病灶目标进行非常精确的实时成像和定位。而现有的超声成像技术很难单独完成这个任务。本研究提出了一种用手术前MRI图像重建的三维图像与手术中的超声图像进行配准的方法 ,对肝部肿瘤热疗手术中的目标进行定位。其配准方法采用的是基于肝部血管和表皮等特征的遗传配准算法。

最大对齐度算法在多模态图像配准中正负像无关性分析

基于对齐度的配准是一种重要的多模态图像配准方法,其中的图像预处理是关键。在对红外热像仪图像和可见光图像进行配准的过程中,首先进行图像预处理,其中一个环节是将红外热像仪图像取负像,这样可使之与相应的可见光灰度图像比较相近。实验结果表明,对齐度配准算法与正负像无关,即可见光图像与相应的红外热像仪图像正像和负像的对齐度配准结果相同,理论证明也表明该结论的正确性。这一规律对于提高最大对齐度配准算法的计算效率具有重要意义,同时也具有一定的理论意义。

基于Minkowski距离最小化的多模态图像配准

本文基于R.Gan等人提出的图像配准方法,利用变量间的Minkowski不等式关系理论,引入全新的联合灰度分布间Minkowski距离(Minkowski Distance,MD),以此距离作为相似度进行多模态图像配准。经分析,因Minkowski距离的引入,使得本文的优化目标函数可保持良好的全局凸性和光滑性,优化求解可以有效地克服局部极值问题,配准成功率较R.Gan等人的配准方法有显著提高。大量实验表明,本文方法的配准精度可以与经典的基于互信息量的配准方法一比高低。

“虚拟中国人男性一号”多模态图像配准

目的:解决"虚拟中国人男性一号"CT图像、MRI图像与断层切削图像之间的多模态图像配准问题。材料和方法:根据这三种图像的特点,选择CT图像为基准图像,在对MRI图像进行配准时,通过求解两幅图像梯度特征的最大互信息,搜索出最佳配准参数;在对断层切削图像进行配准时,采用基于解剖结构特征提取的配准方法获取最佳配准参数;最后,根据所得配准参数对待配图进行变换,从而达到配准目的。结果:对头部三种模态图像数据集进行了配准,与高精度手工分割图像数据集进行对比,配准正确率达到95.8%。结论:配准结果准确,解决了"虚拟中国人男性一号"多模态图像配准问题,为数字化虚拟人多模态图像配准提供了参考。

基于算术-几何均值距离的多模态图像配准

根据图像灰度联合概率分布函数与图像相似程度之间的关系,提出了一种基于算术 几何均值距离的多模态图像配准新测度。与基于信息论的测度不同,新测度不再要求概率分布必须满足连续性的要求。实验结果表明,所提出的新测度比基于信息论的测度具有更强的噪声鲁棒性和计算量更小。

多模态图像配准在HIFU定位系统中的应用

在交互式图像导航HIFU (高强度聚焦超声 )治疗系统中 ,需要对病灶目标进行非常精确的实时成像和定位。而现有的超声成像技术很难单独完成这个任务。本文提出了一种用手术前MRI三维图像与手术中的超声图像进行配准的方法 ,对手术前MR图像和手术中超声图像两种模态下都可见的血管进行配准。配准算法采用遗传算法和共轭梯度法结合的优化策略来最小化目标函数 ,并设计了两个实验对配准方法进行评价 ,从实验结果看这种方法从配准精度和收敛速度上都要优于另外的两种经典算法。

Minkowski广义距离与多模态图像配准

根据图像灰度的联合概率分布函数与图像相似程度之间的变化规律,分析了Shannon互信息与K u llback-L e ib ler距离之间的关系,利用变量间的不等式关系理论,提出基于M inkow sk i不等式的广义距离度量,并构造了基于这一距离的多模态图像配准新测度.新的配准测度不再要求概率分布必须满足连续性的要求,实验中使用M R和PET医学图像进行了实验分析.结果显示,基于M inkow sk i距离的新配准测度比传统的信息论测度具有更强的噪声鲁棒性,用乘方运算代替了对数运算,数学表达式更简单,并省去了除法运算,在算法上也更容易实现.

多模态图像匹配的FFT梯度相关算法

多模态图像匹配是各领域图像匹配研究中的一个热点和难点问题,特征的可重现探测和非线性优化搜索,分别是基于特征和基于区域的多模态图像匹配的瓶颈问题.将灰度图像转换为复数域的梯度图像,提出以复数平方图像实现的2倍梯度差角余弦作为相似性测度,提出FFT梯度相关算法,实现了多模态图像局部匹域的快速匹配,通过红外与可见光图像的匹配实验,验证了算法的有效性.

基于CUDA的混合模型多模态图像配准方法

目前方法图像配准时间较长,影响配准效果。为此,设计基于CUDA的混合模型多模态图像配准方法。首先,提取出多模态图像特征,分析图像配准坐标空间;其次,利用CUDA平台建立出图像配准空间变换矩阵,加强图像空间特征配准效果;最后,优化混合模型多模态图像配准的相似性测度函数,缩短图像配准时间,进而实现多模态图像的高精度配准。对比实验结果表明:设计的配准方法配准效果更佳,具有较高的推广价值。