基于DCIF-GAN的肺部肿瘤PET/CT跨模态医学图像融合

基于生成对抗网络(Generative Adversarial Network,GAN)的医学图像融合是计算机辅助诊断领域的研究热点之一,但是现有基于GAN的融合方法存在训练不稳定,提取图像的局部和全局上下文语义信息能力不足,交互融合程度不够等问题。针对上述问题,本文提出了双耦合交互式融合GAN(Dual-Coupled Interactive Fusion GAN,DCIFGAN)。首先,设计了双生成器双鉴别器GAN,通过权值共享机制实现生成器之间和鉴别器之间的耦合,通过全局自注意力机制实现交互式融合;第二,设计耦合CNN-Transformer的特征提取模块(Coupled CNN-Transformer Feature Extraction Module,CC-TFEM)和特征重构模块(CNN-Transformer Feature Reconstruction Module,C-TFRM),提升了对同一模态图像内部的局部和全局特征信息提取能力;第三,设计跨模态交互式融合模块(Cross Model Intermodal Fusion Module,CMIFM),通过跨模态自注意力机制,进一步整合不同模态间的全局交互信息。为了验证本文模型的有效性,在肺部肿瘤PET/CT医学图像数据集上进行实验,该文方法在平均梯度,空间频率,结构相似度,标准差,峰值信噪比,信息熵等上与其他四种方法中最优方法相比,分别提高了1.38%,0.39%,29.05%,30.23%,0.18%,4.63%。模型能够突出病变区域信息,融合图像结构清晰且纹理细节丰富。