基于CNN与Swin Transformer的新疆荒漠植物识别研究

新疆荒漠地区受气候和环境的双重影响易出现干旱灾害和影响农牧业生产,不利于新疆经济的可持续,新疆荒漠植物的识别是各植物研究人员了解植物生长状况的基础,也是生态保护研究和实施治理措施的前提.同时,新疆荒漠植物图像存在类间相似、图像背景复杂和数据样本不平衡等特点,导致该研究具有一定的难度.为提高识别准确率、准确定位局部重要特征与综合考虑复杂全局信息,本文提出了一种融合卷积神经网络(CNN)和Swin Transformer网络的植物图像识别方法.该方法结合了CNN网络擅长提取局部特征和Swin Transformer擅长捕获全局表示的优点,同时在CNN分支中嵌入改进的Convolutional Block Attention Module(CBAM)注意力模块以便充分提取到具有区分度的局部关键特征,并使用Focal Loss损失函数解决数据样本不平衡问题.通过实验结果表明,提出的融合方法在新疆荒漠植物数据集上相较于单分支网络更能充分提取图像的特征,其识别准确率可达97.99%,且精准率、召回率和F1分数都优于现有的方法.最后通过可视化分析和混淆矩阵进一步佐证了该方法的有效性.

像素分割联合深度双分支模型辅助诊断新冠CT图像

基于医学肺部影像开发智能诊断新冠肺炎的深度学习方法能够减轻大量医护人员的工作,且能够提供可靠的准确性,然而深度学习方法的高准确性通常依赖于数据样本的质量.在自然界存在的医学图像数据的来源和处理过程并不单一,数据样本差异性较大和质量不佳会增大深度学习模型提取关键特征的难度,有效的数据预处理和合适的模型设计十分关键.基于肺部CT图像,本论文提出一种像素分割联合双分支模型ReSWNet辅助诊断新冠肺炎感染.该方法首先训练像素分割模型进行分割预处理,实现肺部CT图像无关背景的剔除,然后通过结合了卷积神经网络和自注意力模型优缺点的双分支模型进行肺炎诊断.通过在COVID-CT数据集上对该方法进行验证表明,在诊断准确率、召回率和F1分数等性能指标方面,该方法较基线模型分别提高了8.6%、16.05以及7.71%,最后采用可视化结果热力图为诊断提供了可解释性.