PET-MRI医学图像融合与混合神经胶质瘤分类模型

针对PET与MRI医学图像融合后部分区域灰度低,容易产生伪影,且特征提取不充分存在细节缺失等问题,首先设计基于NSST多尺度变换的图像融合方法,对于高频子带设计残差网络对PET与MRI图像像素点进行权重分配后再融合,对于低频子带按照稀疏表示的融合规则进行融合,通过逆变换得到融合后的结果;之后设计一个密集卷积网络框架,引入自注意机制对图像的不同区域特征进行权重分配,在密集块之间引入尺度变化层得到不同尺度的特征图,并跨层融合不同尺度的特征图以恢复因多层卷积丢失的信息;为恢复因池化丢失的特征细节,设计后处理模块postProcessor对多尺度层提取到的特征图进行处理;最后模型通过具有2个神经元的全连接层与softmax分类器得到分类标签。模型在哈佛大学全脑图谱数据集与TCIA上进行实验,结果表明,融合后的脑部水平切面PET-MRI图像能更好地反映中央沟征以及边缘支括弧征,分类准确率达到97.6%和98.2%。