基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。

基于高低频特征分解的深度多模态医学图像融合网络

多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性,以增强医学图像在临床应用中的可读性和适用性。然而,现有手工设计的模型无法有效地提取关键目标特征,从而导致融合图像模糊、纹理细节丢失等问题。为此,提出了一种新的基于高低频特征分解的深度多模态医学图像融合网络,将通道注意力和空间注意力机制引入融合过程,在保持全局结构的基础上保留了局部纹理细节信息,实现了更加细致的融合。首先,通过预训练模型VGG-19提取两种模态图像的高频特征,并通过下采样提取其低频特征,形成高低频中间特征图。其次,在特征融合模块嵌入残差注意力网络,依次从通道和空间维度推断注意力图,并将其用来指导输入特征图的自适应特征优化过程。最后,重构模块形成高质量特征表示并输出融合图像。实验结果表明,该算法在Harvard公开数据集和自建腹部数据集峰值信噪比提升8.29%,结构相似性提升85.07%,相关系数提升65.67%,特征互信息提升46.76%,视觉保真度提升80.89%。

结构相似度优化的混合多尺度医学图像融合

现有的多模态医学图像融合方法存在结构信息以及相位特征保存不完整的问题,为此,提出一种基于混合多尺度分解和结构相似度优化的医学图像融合方法。首先,针对单一滤波器在保留图像结构和细节方面的局限性,提出一种多尺度分解潜在低秩表示(MDLat LRR)和非下采样轮廓波变换(NSCT)相结合的混合多尺度分解方法,利用MDLat LRR分解源图像获取低秩层和显著层,使用NSCT对低秩层做进一步分解;其次,在基础层上使用基于局部拉普拉斯能量和的融合规则,使融合图像具有更好的视觉效果,对于细节层,通过脉冲耦合神经网络(PCNN)计算全局耦合以获得融合权重,从而融合细节层;最后,考虑到空间一致性,由初始融合图像获取线性调整图像,利用加权局部结构相似度进行测量从而得到修正系数,并对初始融合图像进行修正,提高融合图像中信息的准确性。实验结果表明,相比于MSMG、EMFusion、CFL等9种方法,该方法在归一化互信息、空间频率误差比等10个客观评价指标上评估性能更高,特别在相位一致性、余弦特征互信息以及差异相关和指标上,分别比次优方法平均提升了13.89%、19.62%和35.8%,所提方法的融合图像具有更丰富、更准确的细节信息和良好的视觉效果。

结合局部熵与梯度能量的双通道医学图像融合

多模态医学图像融合已成为有效结合正常组织结构和异常改变信息、提高医学诊断效率的强有力辅助技术.针对空域融合技术在处理图像细节丢失、光谱退化等方面的缺陷,提出一种在联合双边滤波器(JBF)域内实现图像结构与细节信息增强的双通道频域多模态医学图像融合方法.该方法将源图像分解为结构和能量2个通道,分别处理图像纹理细节信息和边缘强度信息.在结构通道中,通过改进梯度能量得到局部梯度能量算子,进一步提升融合图像对小尺度细节信息的表达能力和对噪声的鲁棒性;在能量通道中,利用非下采样轮廓波变换提高模型的多方向多尺度特性,并提出一种局部熵细节增强算子和脉冲耦合神经网络结合的高频子带处理框架,达到增强能量通道中结构信息和细节信息的效果.在Atlas公开数据集上,与基于MST、稀疏表示、PCNN以及JBF的6种具有代表性的频域融合方法进行对比及消融实验的结果表明,所提方法的融合图像与源图像相似度提升35.0%,空间频率提升16.2%,边缘保持度提升12.5%,对比度提升11.2%;并在视觉方面有较好的效果,明显优于对比方法.

基于改进U⁃Net和跨模态自蒸馏的医学图像融合

针对医学图像融合方法中存在融合图像信息完整性丢失和跨模态特征提取不足的问题,提出了一种基于改进U-Net和跨模态自蒸馏的医学图像融合方法。该方法改进了U-Net的编码部分,设计了一个双分支编码器,它结合了CNN和Transformer的优势,能够更有效地捕捉和保留医学图像的局部特征和全局特征,解决了信息完整性丢失的问题。采用跨模态自蒸馏技术,在两幅医学图像的CNN分支之间、Trans⁃former分支之间进行信息传递,加强不同模态特征之间的交互,最大程度地获取跨模态特征。在解码阶段,提出注意力门机制代替U-Net中的跳跃连接,保证网络能够有效关注关键特征,进一步增强了融合图像的信息完整性。实验结果表明,相较于其他方法,该方法得到的融合图像不仅保留了更完整的纹理细节和边缘信息,而且有效地解决了跨模态特征提取不足的问题。

结合扩张金字塔的脑部医学图像融合

针对现有脑部医学图像融合算法存在的融合图像细节模糊和边缘性差等问题,设计一种扩张金字塔特征提取算法,由特征提取器、特征融合器和特征重构器3部分组成。特征提取器由扩张金字塔特征模块提取浅层和深层图像特征的结合,防止图像细节信息的丢失;特征融合器采用改进的功能能量比(Functional Energy Ratio,FER)特征融合策略增强融合图像边缘信息;特征重构器由4层卷积构成归一化图像。实验结果表明,相较于当前通用的脑部融合算法,所提出的算法具有较好的视觉效果和细节信息,客观评价指标有更好的表现。

SML与侧窗滤波的Framelet域医学图像融合方法

针对医学融合图像中病灶信息不清晰的问题,提出了一种框架变换(framelet transform,FT)域的医学图像融合方法。针对待融合医学源图像进行FT变换,分别获得一幅低频子带图像和一系列高频子带图像;构建改进型拉普拉斯能量和模型,实现低频子带图像中主体信息的融合,并得到对应的低频子带融合图像;构建改进型侧窗滤波模型,实现高频子带图像中的细节和纹理信息的有效融合,并获得高频子带融合图像;针对低频子带融合图像和高频子带融合图像进行FT逆变换,从而获得最终融合结果图像。仿真实验结果表明,与近年的代表性方法相比,基于该方法生成的融合图像无论在主观视觉效果还是客观评价指标方面均具有显著的优势。

基于NSCT域滚动引导滤波与自适应PCNN的医学图像融合

针对传统CT和MRI医学图像融合后存在边缘轮廓模糊、纹理细节丢失等问题,提出基于NSCT域结合相位一致性滚动引导滤波与改进参数自适应双通道PCNN的图像融合方法。首先,采用相位一致性滚动引导滤波对CT源图像进行增强,提高骨骼轮廓结构清晰度。然后,通过NSCT变换分解增强后的CT和MRI源图像得到低频子带和高频子带。低频子带系数采用改进参数自适应双通道脉冲耦合神经网络融合策略,明显改善了软组织的纹理细节模糊效果;高频子带系数采用加权求和修正拉普拉算法融合,提升了融合后图像的细节、纹理等信息。最后,通过逆NSCT变换重构出融合图像。通过五组对比实验表明,所提方法的AG、CC、SF、MSE以及CEN客观评价指标分别平均提高了13.30%、6.71%、4.40%、40.23%、19.16%,说明该融合方法在处理纹理细节、边缘轮廓、结构相似性以及图像像素方面性能更好。

局部全局特征耦合与交叉尺度注意的医学图像融合

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。

基于3层分解和卷积神经网络的多模态医学图像融合

针对多尺度分解(multi-scale decomposition,MSD)方法会导致图像细微组织结构丢失和产生噪声的问题,结合结构纹理分解模型、改进的卷积神经网络和相位一致性方法,提出1种新的多模态医学图像融合方法。首先,针对MSD容易产生噪声的问题,引入低通滤波器优化函数和结构纹理分解模型,有效解决了分解技术的难题;其次,对结构纹理部分设计1种基于卷积神经网络结合高斯平滑的融合方法,加强了对图像细节部分的提取,消除了噪声,并对高频部分引入基于相位一致性的改进方法进行融合;然后通过分解过程的逆变换得到最终的融合图像。定性、定量分析表明,所提出的算法在视觉效果、互信息(mutual information,MI)、特征互信息(feature mutual information,FMI)、结构相似性(structure similarity index measure,SSIM)、信息熵(entropy of information,EN)、峰值信噪比(peak signal to noise ration,PSNR)方面都达到了较高水平,融合后的图像更有利于专家和医生的诊断。

基于LL-GG-LG Net的CT和PET医学图像融合

多模态医学图像融合在医学临床应用中起着至关重要的作用,为了解决现有方法大多数侧重于局部特征的提取,对全局依赖关系的探索不足,忽略了全局和局部信息交互,导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先,提出了局部-局部融合模块(Local-Local Fusion Module,LL Module),该模块采用双层注意力机制更好地关注局部细节信息特征;其次,设计了全局-全局融合模块(Global-Global Fusion Module,GG Module),该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中,提高了Transformer对局部信息的关注程度;然后,提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块(Local-Global Fusion Module,LG Module),充分捕获全局关系并保留局部线索,有效解决背景和病灶区域相似度高问题;使用临床多模态肺部医学图像数据集验证模型的有效性,实验结果表明,该文方法在平均梯度,边缘强度,QAB/F,空间频率,标准差,信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比,分别平均提高了21.5%,11%,4%,13%,9%,3%。模型能够突出病变区域信息,融合图像结构清晰且纹理细节丰富。

基于Res2Net-IDCN-SCF算法的多模态医学图像融合

利用多尺度特征策略进行特征提取的有效性不足是多模态医学图像融合领域存在的问题。为了增加融合结果的多尺结构信息,提出了一种基于残差多尺度网络(residual multi-scale network,Res2Net)、交错稠密网络和空间通道融合算法的多模态医学图像融合算法。Res2Net的编码器在提取多尺度特征时能保留更多语义信息;交错稠密网络减少了解码器和编码器之间的语义差异,丰富了融合图像的结构和细节信息;掩码鉴别器约束了脑瘤病灶区域,进一步提高了融合图像的质量;特征图通过空间通道融合算法融合减少了多模态图像之间的信息冗余。该算法在信息熵(entropy of information,EN)、互信息(mutual information,MI)、结构相似性(structure similarity index measure,SSIM)、多尺度结构相似性(multi scale structural similarity index measure,MI_SSIM)指标上拥有较高水平的性能表现,EN提高了6%,MI提高了3%。结果显示,所提出的算法在视觉感知和指标评估上达到了较高的融合质量。

基于非下采样Shearlet变换耦合能量关联度的医学图像融合算法

为了克服当前较多医学图像融合方法在采用图像的能量信息融合图像时,忽略了不同图像能量的关联度,使得融合结果存在细节丢失现象和模糊现象等问题,提出了一种非下采样Shearlet变换(NSST,non-subsampled shearlet transform)耦合能量关联度的医学图像融合算法;借助NSST变换,在多尺度下对输入医学图像进行解析,获取其低频及高频子带系数;以图像的能量信息为依据,构造能量关联度函数,测量不同图像的关联程度;根据不同图像的关联度,设计不同的低频子带融合规则,获取信息含量丰富且连贯性较好的融合低频子带;在空间频率函数的基础上,注入图像的对角信息,使之成为多元空间频率函数,以计算图像的清晰度;引入标准差函数,计算图像的对比度;联合图像的清晰度和对比度信息,获取纹理及对比度等特征都较优良的融合高频子带;基于逆NSST变换,重构融合结果;主观和客观实验结果表明,较当前较为流行的医学图像融合技术而言,所提方法具备更高的融合质量,呈现出更多的纹理细节和更高的清晰度。

智慧医疗——医学图像融合领域技术综述

医学图像对图像特征的全面性和精确性有较高要求,单一图像特征通常不能满足医学图像的需求,而不同类型的医学成像之间通常存在一定的互补性,因此,采用多特征融合的方法确定医学图像有效特征已经成为医学领域中的必要手段。最初,军事安全是图像融合技术的主要应用领域,侧重于提高目标识别度。由于其有诸多优势,人们逐渐将图像融合技术应用于医学成像,为现代临床疾病诊断和治疗提供了强有力的技术支撑。文章依据国家知识产权局专利检索与服务系统中公开的医学图像融合相关的专利数据,从医学图像融合专利的申请分布时间、主要申请国家分布、主要申请人分布几个方面进行了分析,并梳理了医学图像融合领域的技术演进过程。

医学图像融合技术在肿瘤放射治疗中的应用

探讨CT-MRI医学图像融合技术在肿瘤放射治疗中的应用价值。方法 选取某医院近两年收治的100例肿瘤放疗患者,分别行CT扫描和CT- mri融合扫描,比较其放射剂量。结果 对比分析两组患者分别采用不同的的医学图像技术后的肿瘤靶区体积,实验数据表明,观察组患者肿瘤靶区体积明显低于对照组患者,两组患者之间数据对比存在显著差距,表示有统计学意义(P<0.05),对比分析两组患者分别采用不同的的医学图像技术后的照射剂量,实验数据表明,观察组患者最小照射剂量以及最大照射剂量明显低于对照组患者,两组患者之间数据对比存在显著差距,表示有统计学意义(P<0.05)。结论 在放疗过程中,采用CT-MRI图像融合技术可以更准确地划定肿瘤放射靶点,有效降低放疗剂量。

基于提升小波变换与自适应PCNN的医学图像融合方法

为了更好地满足临床辅助诊断和治疗的需要,提出一种基于提升小波变换的CT与MRI图像的融合方法.该方法在低频子带采用基于区域能量的融合规则;高频子带采用自适应脉冲耦合神经网络(PCNN)的融合规则,通过应用PCNN简化模型把图像逐像素的梯度能量作为PCNN的链接强度,使得PCNN能根据像素梯度能量的变化来自适应地调整链接强度的大小,并根据点火次数确定高频子带融合系数.实验结果表明,文中方法与传统融合方法相比性能优越,丰富了融合图像的边缘及细节信息,可取得更好的融合效果.

医学图像融合的并行实现

基于小波变换的并行医学图像融合方法有良好的效果且能进行快速实时融合。在介绍双正交小波变换图像融合方法的基础上分析了该方法的时间复杂度,提出了基于小波变换的多模图像融合的并行算法,并在配置了并行机群环境下实现了单幅和序列医学图像的并行融合,针对不同大小结果图像和不同机群规模进行测试,对并行效率的分析证实了该并行融合方法具有较好的并行性能和可扩展性。

基于提升小波变换的医学图像融合方法

多模医学图像融合在医学图像分析和诊断上具有重要的应用价值。在对CT与MRI图像进行提升小波变换的基础上,结合低频子带系数存在区域相关性及高频子带系数的特点,提出了对于低频子带系数采用基于区域方差的融合规则,对于高频子带系数采用基于区域空间频率的融合规则,最后进行提升小波逆变换得到融合图像。实验结果表明,与传统方法相比,该方法可以有效提高医学图像融合的信息量,较好地保留了源图像的边缘及细节信息,具有良好的融合效果及量化指标。

小波域CT/MRI医学图像融合新方法

针对传统小波变换融合算法对细节信息的丢失问题,提出了一种新的小波域CT/MRI医学图像融合算法,利用平均梯度和方差两个指标来指导低频分量的融合;对高频分量采用基于梯度能量比加权的融合规则。实验结果表明,与传统的小波变换方法相比,此方法能够充分地将两种不同模式的信息融合在一起,很好地保留原始图像的重要特征,融合图像包含更丰富、更全面的细节信息,有效提高了医学图像融合的信息量。

基于差分进化算法的多模态医学图像融合

针对现有多模态医学图像融合方法间的优点不易综合的问题,提出一种基于差分进化算法的多模态医学图像融合。分别利用ISH和小波变换方法产生初始图像,利用差分进化算法来优化由图像定量评价指标构成的目标函数,从而获取视觉效果较好,清晰度较好和信息量丰富的融合图像。实验结果和评价参数表明,提算法在平均梯度、熵等表示细节信息和融合质量的等定量指标上比基于小波变换和ISH变换图像融合算法提高了30%和2.5%以上,有效地结合基于小波变换和ISH变换两种不同融合方法的优点。