基于ConvNeXt的北京地区红外相机野生动物图像识别改进模型构建

【目的】针对红外相机拍摄的野生动物图像数据量大、无效图像占比多、图像背景复杂等问题,提出一种可对图像进行自动、高准确率识别的模型,为生物多样性研究和野生动物保护工作提供更高效的支持。【方法】收集整理近4年来北京园林绿化生态系统监测网络各站点红外相机拍摄的约5 TB图像数据,对其手工标注并进行数据增强后自建10类共4234张图像数据集。基于ConvNeXt卷积神经网络,结合北京地区野生动物图像数据集特点,设计BSGG-ConvNeXt模型,使用BlurPool、SENet、全局响应归一化层(GRN)、GCNet提升模型识别能力,并在自建数据集上探究训练策略对ConvNeXt网络识别准确率的影响,通过与其他经典模型比较,明确BSGG-ConvNeXt模型的优势。利用公开的红外野生动物Snapshot Serengeti(SS)数据集和Caltech Camera Traps(CCT)数据集,验证模型的泛化能力。【结果】以ConvNeXt的ConvNeXt-T网络尺寸模型为例,其在自建数据集中的准确率为74.13%,乘加累积操作数(MACs)为4.47×10^(9)。应用不同改进方案发现,使用BlurPool后准确率提升2.2%,MACs降至1.07×10^(9);使用SENet后准确率提升3.2%;使用GRN并删掉缩放层后准确率升至87.18%,参数数量增至27.88×10^(6);使用GCNet后在不增大计算量的情况下准确率升至75.44%,但参数数量增至28.25×10^(6)。将上述改进方案结合得到的BSGGConvNeXt应用于ConvNeXt-T模型获得BSGG-ConvNeXt-T模型,参数数量虽有少量增多,但MACs降为1.07×10^(9),模型准确率升至83.63%,高于原模型。使用预训练权重后的BSGG-ConvNeXt-T模型准确率可达94.07%,高于ResNet-50(76.39%)、ResNeXt-50(87.60%)、MobileViT(90.00%)、DenseNet(87.66%)、RegNet(69.90%)、ConvNeXtv2(91.93%)、SwinTransformer的(86.23%)和MobileOne(71.53%),将BSGG-ConvNeXt模型应用于4种不同网络尺寸的ConvNeXt模型后,在自建数据集中的表现均优于未改进模型。BSGG-ConvNeXt模型在SS数据集中的识别准确率达50.28%,在CCT数据集中的识别准确率达56.15%,均高于原模型的准确率。【结论】BSGG-ConvNeXt模型识别红外相机拍摄的野生动物图像准确率更高,在自建、公开的野生动物红外图像数据集上均有较好表现,且具有一定泛化能力。

基于多流ConvNeXt网络和马氏距离度量的未知信号增量识别

为解决现阶段基于深度学习网络的信号识别技术无法实现未知信号增量识别的问题,提出了基于多流ConvNeXt网络和马氏距离度量(MDM)相结合的未知信号增量识别方法.首先,利用改进的多流ConvNeXt网络提取信号的属性特征;其次,使用马氏距离度量判决方法进行未知信号检测进而实现已知信号和未知信号的二分类;最后,该方法根据不断增加的未知信号对模型的参数进行自动更新,使模型具备了自我进化的能力,进而可以识别出不断增加的新的未知信号类别,实现对未知信号的增量识别.仿真实验结果表明,该方法对未知信号的平均识别率达到97%以上.

ConvNeXt网络及Stacked BiLSTM-Self-Attention在轴承剩余寿命预测中的应用

在滚动轴承剩余使用寿命预测方面,采用传统方法时存在鲁棒性差、精度低等各种问题。近些年来深度学习的发展为解决这些问题提供了新的思路。为了进一步提高对轴承寿命的预测精度,提出了一种基于ConvNeXt网络、堆叠双向长短时记忆网络(SBiLSTM)和自注意力机制(Self-Attention)的滚动轴承寿命预测方法。首先,采用连续小波变换(CWT)构造了振动信号的时频图,以更好地捕捉信号的时域和频域特征;然后,将得到的时频图输入到构建的ConvNeXt网络中,通过卷积、池化和层归一化等操作,对时频图的关键特征进行了提取;最后,将提取后的特征输入到SBiLSTM-Self-Attention模块中,进一步提取了时序信息和特征权重分配数据,利用PHM2012挑战数据集进行了验证,通过实验分析了该方法的均方根误差(RMSE)和平均绝对误差(MAE)。研究结果表明:相较于现有技术方法,该方法的平均RMSE为0.031;与其他三种方法,即卷积神经网络(CNN)、深度残差双向门控循环单元(DRN-BiGRU)和深度卷积自注意力双向门控循环单元(DCNN-Self-Attention-BiGRU)相比,其平均RMSE值分别下降了79%、74%和55%,MAE值分别下降了78%、73%和53%,说明该方法在滚动轴承剩余寿命预测中有较好的性能。

基于ConvNeXt模型的胸部X线图像的疾病分类与可视化

目的 胸部X线是临床实践中常见的胸部疾病筛查和诊断方式。由于放射科医生长时间阅片容易视觉疲劳以及医疗资源分配不均衡的问题,导致误诊和漏诊的情况时有发生。针对这一问题,本研究运用深度学习技术,提出了一个基于ConvNeXt模型的胸部X线图像的疾病检测方法,旨在提高胸部疾病诊断准确度、减轻误诊风险并提高医生工作效率。方法 利用大规模公开胸部X线图像数据集ChestX-ray14训练ConvNeXt模型,该模型在ResNet模型的基础上,融合了视觉Transformer结构的优势,可以有效提高模型的特征提取和识别能力,同时以AUC(ROC曲线下方的面积)作为模型性能的评价指标,与已有的分类模型CheXNet、ResNet及Swin Transformer进行了对比。此外,通过引入Grad-CAM可视化方法,利用卷积神经网络特征图的梯度信息生成胸部X线图像的类激活热力图,实现对病灶区域的定位,从而提高医生的诊断效率。结果 基于ConvNeXt模型的诊断方法在识别14种胸部疾病时平均AUC值可达0.842,特别在识别积液(AUC值为0.883)、水肿(AUC值为0.902)和疝气(AUC值为0.942)等疾病时表现较为令人满意。结论 本文提出的方法在胸部X线图像的疾病检测中具有较好的性能,是一种对胸部X线图像进行胸部疾病诊断进而协助医生提高工作效率的有益尝试。

面向图像数据的ConvNeXt特征提取研究

卷积神经网络在计算机视觉任务中已取得诸多成果,无论是目标检测还是分割,都依赖于提取到的特征信息,一些模糊性的数据和物体形状各异等问题为特征提取带来了极大的挑战。传统的卷积结构只能学习到特征图相邻空间位置的上下文信息,无法对全局信息进行提取,而自注意力机制等模型虽具有更大的感受野和建立全局的依赖关系,但存在计算复杂度过高和需要大量数据等不足。为此,提出了一种CNN与LSTM结合的模型,该模型在增强局部感受野的前提下,可以更好地结合图像数据的全局信息。研究以主干网络ConvNeXt-T为基础模型,通过拼接不同大小卷积核以融合多尺度特征来解决物体形状各异的问题,并从水平和垂直两个方向聚合双向长短期记忆网络关注全局与局部信息的交互性。实验对公开访问的CIFAR-10,CIFAR-100,Tiny ImageNet数据集进行图像分类任务,所提出的网络在3个数据集实验中相较于基础模型ConvNeXt-T在准确率上分别提高了3.18%,2.91%,1.03%。实验证明改进后的ConvNeXt-T网络相较于基础模型在参数量和准确性方面都有了大幅度提升,可提取到更加有效的特征信息。

融合注意力的ConvNeXt视网膜病变自动分级

由于视网膜病变的类间图像特征差别小及分类临界值相对模糊,自动分级算法存在识别与分级准确率低的问题,提出了融合高效通道注意力(Efficient Channel Attention,ECA)特征的ConvNeXt视网膜病变自动分级模型。针对数据集中数据不足的问题,采用水平翻转左右变换的方法扩充数据,并引入相关数据集来均衡数据的分布。针对眼底图像中出现的图像模糊、光照不均等问题,采用Graham方法对图像进行预处理突出病变特征。提出了融合注意力的ConvNeXt网络来辅助医生诊断视网膜病变,引入ECA机制,并设计了E-Block模块,该模块具有高性能、低参数的特性,能够在训练过程中有效捕捉跨通道交互的信息,同时避免降维。采用迁移学习方法训练网络的所有层参数,加入dropout方法避免ConvNeXt网络的学习能力过强导致的过拟合问题。实验结果表明,所提出的模型敏感性为95.20%,特异度为98.80%,准确率为95.21%。与常用的网络相比,本文方法针对视网膜病变自动分级各项性能指标均有提高。

基于改进ConvNeXt的皮肤镜图像分类方法

皮肤癌是最致命的癌症之一,对皮肤镜图像进行精确分类尤为关键,然而现有的皮肤镜图像存在形态复杂、样本数量较少的问题,导致现有的自动分类方法难以提取图像特征信息,误判率较高。提出一种改进ConvNeXt的方法,并构建SE-SimAM-ConvNeXt模型。以ConvNeXt为基础网络,加入SimAM无参注意力模块,提升网络的特征提取能力,并在基础网络中引入通道注意力机制,增强ConvNeXt对潜在关键特征的挖掘能力。在训练初始时加入预热机制Cosine Warmup,在该过程中使用余弦函数值进行学习率的衰减,进一步加速ConvNeXt的收敛,提高ConvNeXt模型的分类能力。在HAM10000皮肤数据集上的实验结果表明,该模型的分类准确率、精确度、召回率、特异性分别为92.9%、85.3%、78.0%、97.5%,具有较好的皮肤镜图像分类能力,对皮肤癌病变的辅助诊断有一定程度的应用价值,可帮助皮肤科医生对皮肤癌做进一步的诊断。

基于双流特征融合的肺结节图像分割网络

为了提高对肺结节的准确分割,文中提出一种CSF-UNet的双骨干网络特征提取方法。使用两种不同侧重的骨干网络并行提取图像特征,通过利用ConvNeXt网络提取局部特征,并结合Swin Transformer网络提取全局特征来提升模型的特征提取能力。提出了一种自适应大核融合模块,有效地融合两种不同规格的特征,通过串联两个大核卷积获得更大的感受野和动态选择机制来突出重要的空间区域。在SPPF中融合了ECA通道注意力和密集链接,提出了ESPP模块以进一步挖掘双骨干网络提取的高级语义信息,使网络更加关注重要的特征通道。在LIDC数据集上的实验结果表明,提出的模型在3个指标上优于基本UNet模型以及最近几年其他研究团队提出的针对该数据集的分割网络。最终,CSF-UNet模型实现了78.1%的IoU、87.71%的DSC、87.19%的敏感度和88.23%的精确度。这些结果表明,该模型在肺结节分割方面表现出良好的性能,对医生进行早期肺结节诊断具有重要的临床意义和应用价值。

基于ConvNeXt网络的交通标志识别算法

交通标志的识别对于自动驾驶与智能导航具有重要意义,针对已有深度学习网络识别率不高的问题,提出一种基于ConvNeXt网络模型的交通标志智能识别算法。该网络以纯粹的CNN模型为特点,具有更优的图像分类及检测分割任务的性能。文中使用GTSRB数据集进行实验,与MobileNet、ResNet等网络进行对比测试,测试结果表明,ConvNeXt网络收敛速度最快并且稳定,最终交通标志的识别准确率达99%以上。实验结果表明,该算法准确率高,具有一定的工程应用意义。

基于ConvNeXt-Tiny的牡丹花卉分类识别研究

构建了牡丹花卉图像分类识别数据集,应用ConvNeXt-Tiny模型算法实现了牡丹花卉品种的分类与识别。基于PyQt5设计了显示界面,实现用户交互功能。与其他分类模型相比,基于ConvNeXt-Tiny的牡丹花卉分类识别模型在牡丹花卉图像分类识别数据集上的表现非常好,取得的识别准确率高达98.3%,这证明了基于ConvNeXt-Tiny的牡丹花卉分类识别模型的有效性。

结合改进ConvNeXt网络与知识蒸馏的天气识别

为提升复杂交通场景下天气识别准确率的同时实现网络轻量化,提出了一种结合改进ConvNeXt网络与知识蒸馏的天气识别方法。首先,在ConvNeXt网络的每组Block特征提取块后加入SimAm注意力机制,构建ConvNeXt_F网络,利用SimAm注意力机制对Block块提取的深层特征进行鉴权并校正权重,有效强化对天气判别性特征的捕获能力;其次,在网络训练过程中将Equalized Focal Loss(EFL)与Mutual-Channel Loss(MCL)采用平均占比的方式进行累加作为总损失函数,一方面利用EFL消除数据不均衡造成的影响,另一方面利用MCL减小同类天气下局部细节特征差异;最后,采用知识蒸馏技术将天气分类知识从ConvNeXt_F网络迁移到轻量级MobileNetV3网络,虽然精度略微损失但网络参数量大幅减少。实验结果表明,与其他算法相比,所提方法在本文构建的宁夏高速公路场景下的天气数据集weath⁃er-traffic和公开的自然天气数据集RSCM2017上准确率分别达到96.22%,84.8%,FPS分别达到157.6 Hz,137.6 Hz,FLOPs和Params仅为0.06 G和2.54 M,识别精度、速度和网络的轻量化较原网络均有提高,能够更好地应用于储存和计算能力受限的实际场景中。

基于改进YOLOv5s的滚动轴承表面缺陷识别算法

为了解决机械设备轴承表面缺陷检测中多目标情形下的小目标漏检率高、检测速度慢、模型精度和特征提取泛化能力不足的问题,提出一种滚动轴承表面缺陷识别网络模型YOLOv5s-CDOD。在卷积操作前,使用B-ConvNeXt网络平衡模型的精度和复杂度,保留轴承表面小目标缺陷的特征,同时提升模型的泛化能力;通过将YOLOv5s网络中的传统卷积模块替换为具有二次深度过参数化卷积的卷积(DOD-Conv)模块,在不增加模型参数的情况下,提高模型的识别精度和速度;最后,在特征处理阶段,使用VariFocal Loss损失函数,增加模型对正样本目标的学习,对轴承小目标缺陷的检测精度进一步提升。实验结果表明:与原YOLOv5s网络相比,优化后的网络参数量减少了10%,使得模型的检测速度明显提升;同时,所提模型的平均检测精度达到了94%,对轴承表面小目标缺陷的识别率也有所提高。

基于融合注意力的多尺度芯片缺陷检测算法

芯片的表面缺陷检测在半导体制造中具有重要意义,针对目前芯片表面缺陷面积小,缺陷外形多变,缺陷尺寸跨度大的情况,提出一种基于YOLOv5改进的芯片表面缺陷检测算法,首先基于ConvNext网络改进特征提取模块,提升网络稳定性和特征表达能力,同时提出增强卷积注意力模块(ehanced convolutional block attention module,E_CBAM),将更详细的位置信息嵌入到卷积注意力(convolutional block attention module,CBAM)之中,提升整个网络对于小面积及边缘缺陷的检测能力,而针对芯片缺陷多变尺寸跨度大的问题,研究引入了可变形卷积和双向特征金字塔网络(bi-directional feature pyramid network,BiFPN),一方面可变形卷积对于外形不规则的卷积有更好的提取能力,另一方面Neck部分的BiFPN在简化结构的同时保证了多尺度融合的准确性。经过实验表明,改进后的网络在芯片表面缺陷数据集(chip defect dataset,CDD)上,平均精度均值(mAP)mAP@0.5指标达到95.3%,相较于原始的YOLOv5s网络提升了3.1%,在没有过多增加网络参数的情况下,对芯片表面缺陷的精度更高,鲁棒性更强。

ConvOS:一种具有可解释性的新冠肺炎X光影像诊断模型

为了提高深度学习模型在新冠肺炎X光影像诊断中的诊断精度,改善模型可解释性不足,设计了一种融合双边扰动综合梯度显著图优化(IGOS++)算法和改进的ConvNeXt网络模型的新冠肺炎可视化诊断(ConvOS)模型。在ConvNeXt网络模型的残差块中引入一种高效通道注意力(ECA)模块,利用IGOS++对改进的ConvNeXt网络模型的输出特征进行扰动分析,得到最优的插入损失超参数,生成高精细度显著图,提高新冠肺炎X光影像可视化解释诊断性能。在COVIDx数据集上实验结果与其它诊断模型相比,分类性能指标更优,显著图的感兴趣区域(ROI)更为精准,模型的诊断置信度更高。实验结果表明:ConvOS模型诊断的准确率、召回率、精确度和F1-score分别达到了93.7%、92.6%、96.2%和94.4%,与其它诊断模型相比,分类性能指标更优,显著图的感兴趣区域更为精准,模型的诊断置信度更高。

利用深层卷积网络自适应增强学习的水声目标线谱提取方法

提出了一种使用自适应增强学习的深层卷积神经网络方法对水声目标线谱进行提取。该方法利用构造的多尺度ConvNeXt算子建立滑动窗深层卷积神经网络模型(SwDCNN),设计涵盖损失函数、学习率更新和模型迭代优化的自适应增强学习准则并用于模型训练。仿真和海试数据验证结果表明,所提方法有以下优点:(1)卷积算子和模型结构参数按线谱提取需求配置,可以增强LOFAR谱图特征高性能多分辨力挖掘能力;(2)大规模数据下的模型训练可实现渐进式精确拟合,有助于提升模型收敛效果;(3)模型可有效提取低信噪比、中断、弯曲漂移、粗细不均、邻近成簇、密集分布等复杂情况下的线谱,在查全率、查准率、虚警率、线谱位置精度(LLA)和线谱幅值精度(LAA)等指标上均优于文中其他深度神经网络方法;(4)和传统及其他文中所用的深度神经网络方法相比,线谱最小可检测信噪比分别降低超过5 dB和2 dB,实际复杂场景线谱提取能力更强,综合效果更好。

基于改进ConvNeXt模型的真假卷烟烟丝识别方法

为实现真假卷烟的快速识别,基于卷积神经网络ConvNeXt模型提出一种不同品牌卷烟烟丝分类识别方法。采集4种品牌卷烟的真假烟丝图像,制作深度学习数据集。基于ConvNeXt模型,引入卷积注意力模块(Convolutional Block Attention Module,CBAM),提高模型的特征提取能力;搭建特征金字塔结构,实现不同尺度的特征融合,增强模型对烟丝图像的特征表达能力;在多尺度融合结构中引入GhostNetV2卷积,降低模型复杂度和计算量。将改进后ConvNeXt_CM模型以及常用的图像分类模型ResNet50、DensNet121、EfficientNetV2进行对比测试,结果表明:①相比原始ConvNeXt-模型,ConvNeXt_CM模型的宏F1分数达到95.46%,平均精度值达到87.13%,宏精确度与宏召回率分别提升6.08、6.13百分点,模型大小为27.31 M,识别单张图像平均用时0.024 s/张。②与ResNet50、DensNet121、EfficientNetV2模型相比,ConvNeXt_CM模型图像识别性能更加优异,宏F1分数分别提升21.94、20.19、31.05百分点。该方法可为提升模型的图像识别能力、完成烟丝分类识别任务提供支持。

基于迁移学习的滚动轴承复合故障诊断研究

针对现有故障诊断方法多是面向单一故障进行研究,对于实际工况下的复合故障缺乏相应的诊断方法,提出一种基于有监督学习的ConvNeXt滚动轴承多工况复合故障诊断模型(TConvNeXt)。通过合成少数类过采样技术将滚动轴承数据集重构为平衡数据集,以提高复合故障样本的利用率;利用迁移学习使TConvNeXt网络模型掌握判别滚动轴承复合故障信息所需的部分权重,通过格拉姆角场将一维信号转换为RGB图像输入模型,训练模型剩余权重;最后将训练后的TConvNeXt网络模型用于滚动轴承故障诊断并且利用Grad-CAM方法进行可视化,分析网络诊断错误起因并对网络进行调整;将训练准确率最高的模型用于滚动轴承故障实测,检验其实际工况下的诊断能力。实验结果表明:TConvNeXt网络模型具有高诊断精度,它不仅在混叠故障诊断中表现突出,在单一故障诊断中也具有优势,能够很好地适应多工况下不同故障类型的滚动轴承故障诊断要求。

基于YOLOv5改进的咖啡叶片病虫害检测研究

为准确识别自然条件下的咖啡叶片病虫害,提出一种基于YOLOv5改进的目标检测算法。该方法通过在主干网络融入ConvNext网络和ECA注意力机制来优化相关网络模型,提高了网络特征提取能力,更好解决了鲁棒性差和对遮挡目标与小目标的漏检问题。结果表明,该方法的检测精度均值(mAP)达到了94.13%,检测速度和精度都具有良好效果,同时模型大小只有17.2 MB,可以满足边缘设备的运行条件。因此,改进后的YOLOv5算法可为自然环境下咖啡叶片病虫害识别提供技术支撑,满足实时目标检测的实际应用需求。