图像增强下基于生成对抗网络和卷积神经网络的CT与MRI融合方法

针对多模态医学图像融合中的重要特征丢失、细节表现不突出和纹理不清晰等问题,提出一种图像增强下使用生成对抗网络(GAN)和卷积神经网络(CNN)进行电子计算机断层扫描(CT)图像与磁共振成像(MRI)图像融合的方法。生成器针对高频特征图像,双鉴别器针对逆变换后的融合图像;高频特征图像通过GAN模型进行特征融合,低频特征图像通过基于迁移学习的CNN预训练模型进行特征融合。实验结果表明,与当前先进融合算法相比,所提方法在主观表现上纹理细节特征更加丰富,轮廓边缘信息更加清晰突出;在客观指标评估中,融合质量评价指标(Q^(AB/F))、信息熵(IE)、空间频率(SF)、结构相似性(SSIM)、互信息(MI)和融合视觉信息保真度(VIFF)等关键指标比其他最佳测试结果分别提高了2.0%、6.3%、7.0%、5.5%、9.0%和3.3%。融合后图像可以有效地应用于医学诊断,进一步提高诊断效率。

深度学习与影像自动化评估的肾肿瘤剜除术难度预分析

目的早期肾癌可以通过肾肿瘤剜除术进行有效治疗,为了降低手术难度和减少手术并发症,需要对手术的难度进行合理有效的评估。本文将深度学习、医学影像组学和图像分析技术进行结合,提出一种基于CT(computed tomography)影像的肾肿瘤剜除术难度自动评估方法。方法首先建立一个级联的端到端分割模型对肾脏、肾肿瘤和腹壁同时进行分割,同时融入子像素卷积与注意力机制,保证了小体积肿瘤分割的精确性;然后使用影像组学特征对误判的肾肿瘤进行去除;最后依据分割结果,采用国际标准的梅奥肾周粘连概率(Mayo adhesive probability,MAP)评分和R.E.N.A.L评分对肾脏和肾肿瘤进行自动化的评估计算,并根据计算结果得出肾肿瘤剜除术难度。结果将实验的自动化评估结果与三甲医院泌尿科的3位医疗专家的结果进行对比,从预测的平均结果来看,超过两个专家,与最好的专家相差仅0.1%。平均预测时间,单个肿瘤约为244 ms,标准差只有8 ms,专家评估时间约为26 s,标准差在3 s左右,自动评估速度是人工的108倍左右。结论自动化评估结果整体上与专家评估水平基本一致,同时评估速度更加快速稳定,可以有效替代专家进行自动化评估,为术前准确诊断、手术方案个体化规划和手术入路选择提供准确可靠的决策支持,给手术难度诊断评估提供智能化的医疗解决方案。