M^(3)Res-Transformer:新冠肺炎胸部X-ray图像识别模型

新冠肺炎(COVID-19)自爆发以来严重影响人类生命健康,近年来残差神经网络广泛应用于COVID-19识别任务中,辅助医生快速地诊断COVID-19患者,但是COVID-19图像病变区域形状复杂、大小不一,与周围组织的边界模糊,导致网络难以提取有效特征.本文针对上述问题,提出一种M^(3)Res-Transformer的新冠肺炎胸部X-ray图像识别模型,采用Res-Transformer作为模型的主干网络,结合ResNet和ViT,有效地整合局部病变特征和全局特征;设计混合残差注意力模块(mixed residual attention Module,mraM),同时考虑通道和空间位置的相互依赖性,增强网络的特征表达能力;为了增大感受野,提取多尺度特征,通过叠加具有不同扩张率的扩张卷积构造多尺度扩张残差模块(multiscale dilated residual Module,mdrM),根据不同层次特征尺度的差异,使用3个逐渐收缩尺度的mdrM进行多尺度特征提取;提出上下文交叉感知模块(contextual cross-awareness Module,ccaM),使用深层特征中的语义信息来引导浅层特征,然后将浅层特征中的空间信息嵌入深层特征中,采用交叉加权注意力机制高效聚合深层和浅层特征,获得更丰富的上下文信息.为了验证本文所提模型的有效性,在新冠肺炎胸部X-ray图像数据集上进行实验,与先进的CNN分类模型、融合不同注意力机制的ResNet50模型、基于Transformer的分类模型对比以及消融实验.结果表明,本文所提模型的Acc、Pre、Rec、F1-Score与Spe指标分别为96.33%、96.36%、96.33%、96.35%与96.26%,在COVID-19胸部X-ray图像识别任务中有效提升了识别精度,并通过可视化方法对其进行进一步验证,为COVID-19的辅助诊断提供重要的参考价值.

REC-ResNet:面向COVID-19辅助诊断的特征增强模型

基于残差神经网络的新冠肺炎(Corona Virus Disease 2019,COVID-19)辅助诊断是最近的研究热点,但是COVID-19胸部X-Ray图像病变区域多样化,其大小、形状、位置因患者而异,且与周围组织的边界模糊,对比度较低,导致难以充分提取病变区域的有效特征。本文针对上述问题,提出一种COVID-19辅助诊断模型REC-ResNet,该模型以ResNet50为主干网络,引入三种特征增强策略,用来提高模型的特征提取能力。首先,采用残差自适应特征融合模块以自适应加权的方式有效地融合模型每个Stage中来自不同残差块的分层特征,该模块不仅建模不同通道之间的相关性,还学习自适应地估计不同层次信息的相对重要性;然后,在模型主干中引入高效特征增强Transformer模块,采用特征增强多头自注意力提取胸部X-Ray图像中的全局信息以增强模型的表达能力,有效地弥补了CNN捕获全局特征表示能力较弱的不足;其次,为了获得更丰富的上下文信息,提出跨层注意力增强模块,分别采用通道注意力和空间注意力对深层和浅层特征进行增强,并在充分考虑长距离特征依赖的情况下有效地融合高级语义信息和低级空间细节实现跨层注意力特征增强,使模型提取更多有效特征以进一步提高模型分类准确率。最终,在COVID-19胸部X-Ray图像数据集上的实验结果表明:本文模型与其他先进的CNN分类模型相比能够实现优异的分类性能,Acc,Pre,Rec,F1 Score和Spe指标分别为97.58%,97.60%,97.58%,97.59%和97.46%,进一步通过Grad-CAM可视化技术对模型进行解释,以增强特征的直观性。本文方法有助于临床医生做出正确的医学判断和更好的患者预后,为COVID-19的辅助诊断提供有效的帮助。