基于时频域融合和ECA-1DCNN的航空串联故障电弧检测

为了快速准确地检测航空交流线路中出现的串联故障电弧,提出了一种基于时频域融合和加入高效注意力机制(efficient channel attention, ECA)的一维卷积神经网络(one-dimensional convolutional neural network, 1DCNN)的故障检测算法。首先,搭建航空交流电弧故障实验平台,负载选择多类型、多参数值进行电流信号的采集;其次,为了保留更多的故障信息,分析其特征频段,经过大量数据验证,航空串联电弧在发生时,1 000~4 000 Hz分量具有一定的占比,因此将原始信号与特征频段进行融合,融合后的一维数据作为模型输入;最后,搭建ECA-1DCNN检测模型,进行训练,并通过K折交叉验证模型的有效性,得到测试集平均准确率为97.96%。该方法网络层数较少,计算快速,避免了复杂时频域计算过程,较为智能,对航空串联电弧检测装置的研究提供了理论参考。

基于ECAProNet模型的小样本变工况轴承故障诊断

针对小样本变工况轴承故障诊断中易出现过拟合的问题,提出一种在原型网络(ProNet)中加入高效通道注意力机制(ECA)的轴承故障诊断方法(ECAProNet)。基于度量学习的思想,在改进原型网络框架下将通过特征提取模块的样本信号映射至特征度量空间,在该空间内确定查询样本与各类原型间的欧式距离,得到损失函数,进而优化特征提取网络框架;为达到元学习目的,采用基于episodes的训练策略,将算法泛化到不同工况的测试诊断中。在CWRU数据集上设置5-way 5-shot和5-way 1-shot验证实验,结果表明,ECAProNet在小样本变工况轴承故障诊断中表现出较好的性能。

基于YOLO v7-ECA模型的苹果幼果检测

为实现自然环境下苹果幼果的快速准确检测,针对幼果期苹果果色与叶片颜色高度相似、体积微小、分布密集,识别难度大的问题,提出了一种融合高效通道注意力(Efficient channel attention,ECA)机制的改进YOLO v7模型(YOLO v7-ECA)。在模型的3条重参数化路径中插入ECA机制,可在不降低通道维数的前提下实现相邻通道局部跨通道交互,有效强调苹果幼果重要信息、抑制冗余无用特征,提高模型效率。采集自然环境下苹果幼果图像2557幅作为训练样本、547幅作为验证样本、550幅作为测试样本,输入模型进行训练测试。结果表明,YOLO v7-ECA网络模型准确率为97.2%、召回率为93.6%、平均精度均值(Mean average precision,mAP)为98.2%、F1值为95.37%。与Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7网络模型相比,其mAP分别提高15.5、4.6、1.6、1.8、3.0、1.8个百分点,准确率分别提高49.7、0.9、18.5、1.2、0.9、1.0个百分点,F1值分别提高33.53、2.81、9.16、1.26、2.38、1.43个百分点,召回率相较于Faster R-CNN、SSD、YOLO v5、YOLO v6、YOLO v7网络模型分别提高5.0、4.5、1.3、3.7、1.8个百分点;单幅图像检测时间为28.9 ms,可实现苹果幼果的高效检测。针对幼果目标模糊、存在阴影和严重遮挡的情况,本研究采用550幅测试图像进行模型鲁棒性检验。在加噪模糊情况下,YOLO v7-ECA的mAP为91.1%,F1值为89.8%,与Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7网络模型相比其mAP分别提高26.3、21.0、5.4、8.0、11.5、8.9个百分点,F1值分别提高27.19、7.08、8.50、4.20、3.94、4.67个百分点;在阴影情况下,YOLO v7-ECA的mAP为97.5%,F1值为95.36%,与Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7网络模型相比其mAP分别提高14.8、8.8、2.1、2.4、5.4、2.5个百分点,F1值分别提高21.51、2.60、10.49、1.53、3.23、2.56个百分点;在严重遮挡情况下,YOLO v7-ECA的mAP为98.6%,F1值为94.8%,与Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7网络模型相比其mAP分别提高21.7、13.7、2.3、2.4、4.8、2.2个百分点,F1值分别提高28.29、3.50、6.45、0.96、1.36、1.36个百分点。该网络模型可在保证网络模型精度的同时拥有较快的检测速度,且对场景模糊、阴影和严重遮挡等影响具有较好的鲁棒性。该研究可为幼果实时检测系统提供有效借鉴。

基于改进E-EfficientNet的古陶瓷纹饰分类模型

为进一步提高古陶瓷纹饰分类精度,提出一种基于改进EfficientNet的古陶瓷纹饰分类模型。该模型通过引入高效率注意力机制(ECA)模块改进原主干网络EfficientNet-B0,有效捕获通道间的交互信息,利用跳跃连接在特征提取的最后一层加入ECA模块,获得古陶瓷纹饰注意力特征图,并利用迁移学习和Adam优化算法在古陶瓷纹饰数据集上进行实验验证。结果表明,改进后的E-EfficientNet模型在古陶瓷纹饰数据集上的识别准确率达到了99.26%,较改进前提高了2.48%;与同类轻量化模型ShuffleNet-V2和MobileNet-V3对比,识别准确率分别提高了2.10%和2.91%;与其他经典模型VGG、ResNet对比,不仅参数量大幅度减少,识别准确率均明显提高,可有效用于古陶瓷纹饰分类。

引入ECA注意力机制的U-Net语义分割

多种应用依赖于数据理解的准确性,而语义图像分割有效地解决了这个问题,它为基于像素级别的场景理解提供了必要的上下文信息。鉴于ResNeXt50相比于一般的卷积操作具有更强的特征提取能力,提出了一种基于ResNeXt50的U-Net网络结构ECAU-Net。在融合过程中,通过引入超强通道注意力(ECA)模块进一步增强特征表示对场景分割的判别能力。除此之外,在整体网络结构中引入空洞卷积,在不改变卷积核大小的情况下扩大图像的感受野范围,从而最大化地提高网络性能。实验结果表明,在CamVid数据集上,ECAU-Net相较于U-Net在Acc, Acc class, MIoU和FWIoU这4个评价指标上分别提高了2.1%,8.6%,8.2%和3.2%。

基于高效通道注意力模块(ECA)和YOLOv5的图像检测方法研究

佩戴安全帽是人们在施工建设中的一项重要保护措施,它可以有效保障人们的生命财产安全。安全帽检测系统也已经成为了很多施工场所的必备的基础设施,为了改善YOLOv5不能通过权重进行聚焦,从而生成有明显辨识度的特征,进而影响安全帽检测准确度的问题,我们在YOLOv5中引入了注意力模块,保证了卷积过程中的特征提取,并且使得图像得到优化,提升了安全帽检测结果的准确性和模型性能。并且我们对比了原YOLOv5、添加了ECA(Efficient Channel Attention)高效通道注意力模块、添加了SEA(Squeeze-andExcitation attention)注意力模块和添加了压缩激励SEL(Squeeze and Excitation Layer)注意力模块的精确率P/%、召回率R/%、mAP@0.5和mAP@0.5:0.95,实验结果表明添加了ECA(Efficient Channel Attention)通道注意力模块的ECA-Yolov5算法相较于原YOLOv5算法P/%、R/%、mAP@0.5、mAP@0.5:0.95分别提升了0.5、0.6、0.5、0.2。由此结果表明引入高效通道注意力模块(ECA)的YOLOv5安全帽识别算法更有能力进行安全施工的检测,提升了施工的安全性。

基于ECA改进1D-CNN的柱塞泵故障诊断

往复式柱塞泵是油田作业的关键设备,其健康状况直接影响作业区的生产运行效率。针对变工况柱塞泵的复杂振动特性,提出基于高效通道注意力(Efficient Channel Attention,ECA)的一维卷积神经网络(One-dimensional Convolutional Neural Network,1D-CNN)油田柱塞泵故障诊断方法。在油田柱塞泵体关键部位安装加速度传感器,并使用测振系统采集泵前轴承等关键部位振动信号;利用一维卷积神经网络对油田柱塞泵振动监测信号进行学习,以识别柱塞泵故障特征,通过高效通道注意力(ECA)机制实现减少特征维度损失同时捕获特征通道信息交互,以提高柱塞泵故障诊断精度;借助SoftMax分类器实现振动加速度信号分析的多故障诊断。现场数据采集及试验分析证明,提出的故障诊断模型具有较强的数据特征提取能力,并在油田实际运行数据分析中取得了高性能的诊断效果。验证结果表明,该技术在柱塞泵监测应用中具有较强的鲁棒性和准确性,与其他单一深度学习相比有显著的故障特征提取和诊断优势,能够为柱塞泵及类似设备的故障诊断提供理论依据和技术指导。

基于ECA和YOLOv4的轻量级目标检测网络设计

针对传统的目标检测网络存在参数量大、检测速度慢等不足,在计算资源受限的设备上难以满足实时性需求的问题,提出一种改进的YOLOv4-tiny目标检测算法,使用Bneck_E替换主特征提取网络的CSP结构,在深层特征提取网络中,增加轻量级注意力机制——高效通道注意力(ECA)机制,采用双向特征融合,用深度可分离卷积对浅层特征下采样,提高对小目标的检测精度。在PASCAL VOC数据集上实验表明,该算法平均精度均值(mAP)提高了4.4%,帧率(FPS)提升了8.9%,模型大小仅为YOLOv4-tiny的36%,有利于在嵌入式设备上部署运行。

改进EfficientNet图像分类的恶意流量检测模型

基于深度学习流量图像分类的恶意流量检测模型大多专注于通过改进学习器来提高准确率,忽视了图像数据集中因图像的复杂程度导致的图像样本不平衡、特征提取不佳的问题。针对该问题,提出一种改进EfficientNet图像分类的恶意流量检测模型。首先将注意力机制SE(Squeeze-Excitation)模块替换为ECA(Efficient Channel Attention)模块,增强网络对图像有效特征的提取。然后通过替换EfficientNet模型最后Softmax层中的损失函数,提高模型提取图像特征的能力。最后给模型增加容忍度机制,在模型训练准确率一直未能提高的情况下,可以依据指标回调模型的学习率,进而提高模型的检测准确率。使用913个恶意网络流量PCAP可视化图像公共数据集进行实验验证,其中测试平均准确率为97.51%,损失率为0.02%,相对原模型准确率提高1.93%,损失率减少0.07%,说明本文改进的EfficientNet模型具有一定的适用性和有效性。

基于多模态数据融合的改进中尺度涡检测模型

提出一种基于多模态数据融合的改进中尺度涡检测模型。该模型以海平面高度数据为基础,首次将融合表层海温数据扩展为融合多深度层海温数据;将海温数据的深度层作为通道,嵌入通道注意力机制,使得模型能够关注于海水温度数据中最具有区分度的深度层;模型在编码及解码过程中采用残差学习单元,在加深网络深度的同时,更好地拟合激活函数,缓解训练问题,以提高模型的检测准确率。以中国南海部分海域为例开展实验验证,结果表明该中尺度涡检测模型准确率达到93.62%,模型具备有效性和可靠性。

基于改进ResNet18的干香菇等级识别

为解决干香菇等级识别技术复杂及识别精度不高的问题,提出了一种基于残差神经网络ResNet18的干香菇等级识别方法。首先将传统的ResNet18中Stem的7×7卷积层替换为3个3×3卷积层串联,保证在感受野保持不变的情况下进一步减小计算量;其次针对残差块中线性变换和非线性变换不足的问题,引入融合非对称卷积和h-swish激活函数,增加了模型的复杂性,使其能够进行更深层次的特征学习;最后在ResNet18骨干网络中引入高效通道注意力机制,加强模型提取特征的能力。实验结果表明,改进后的ResNet18网络模型准确度达97.04%,相比ResNet18网络模型方法提升了4.81%,且性能优于VGG16、MobileNetV2、DenseNet121、ResNet34等网络模型方法,可提高干香菇等级的识别精度,单幅图像的检测时间为5.91 ms,对干香菇智能分拣过程中的等级识别具有借鉴意义。

基于改进YOLO v7轻量化模型的自然果园环境下苹果识别方法

针对自然果园环境下苹果果实识别中,传统的目标检测算法往往很难在检测模型的检测精度、速度和轻量化方面实现平衡,提出了一种基于改进YOLO v7的轻量化苹果检测模型。首先,引入部分卷积(Partial convolution, PConv)替换多分支堆叠模块中的部分常规卷积进行轻量化改进,以降低模型的参数量和计算量;其次,添加轻量化的高效通道注意力(Efficient channel attention, ECA)模块以提高网络的特征提取能力,改善复杂环境下遮挡目标的错检漏检问题;在模型训练过程中采用基于麻雀搜索算法(Sparrow search algorithm, SSA)的学习率优化策略来进一步提高模型的检测精度。试验结果显示:相比于YOLO v7原始模型,改进后模型的精确率、召回率和平均精度分别提高4.15、0.38、1.39个百分点,其参数量和计算量分别降低22.93%和27.41%,在GPU和CPU上检测单幅图像的平均用时分别减少0.003 s和0.014 s。结果表明,改进后的模型可以实时准确地识别复杂果园环境中的苹果,模型参数量和计算量较小,适合部署于苹果采摘机器人的嵌入式设备上,为实现苹果的无人化智能采摘奠定了基础。

宽卷积局部特征扩展的Transformer网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。

基于锚点的快速三维手部关键点检测算法

在人机协作任务中,手部关键点检测为机械臂提供目标点坐标,A2J(Anchor-to-Joint)是具有代表性的一种利用锚点进行关键点检测的方法。A2J以深度图为输入,可实现较好的检测效果,但对全局特征获取能力不足。文中设计了全局-局部特征融合模块(Global-Local Feature Fusion,GLFF)对骨干网络浅层和深层的特征进行融合。为了提升检测速度,文中将A2J的骨干网络替换为ShuffleNetv2并对其进行改造,用5×5深度可分离卷积替换3×3深度可分离卷积,增大感受野,有效提升了骨干网络对全局特征的提取能力。文中在锚点权重估计分支引入高效通道注意力模块(Efficient Channel Attention,ECA),提升了网络对重要锚点的关注度。在主流数据集ICVL和NYU上进行的训练和测试结果表明,相比于A2J,文中所提方法的平均误差分别降低了0.09 mm和0.15 mm。在GTX1080Ti显卡上实现了151 frame·s^(-1)的检测速率,满足人机协作任务对于实时性的要求。

基于改进Res-UNet的昼夜地基云图分割网络

针对昼夜地基云图在分割中细节信息丢失、分割精度低等问题,提出一种基于改进Res-UNet(Residual network-UNetwork)的昼夜地基云图分割网络CloudRes-UNet(Cloud ResNet-UNetwork),整体采用编码器-解码器的网络结构。首先,编码器使用ResNet50提取特征,增强特征提取能力;其次,设计多级特征提取(Multi-Stage)模块,该模块结合分组卷积、膨胀卷积和通道打乱这3种技巧,获取高强度语义信息;再次,加入高效通道注意力(ECA‑Net)模块,在通道维度上聚焦重要信息,加强对地基云图中云区域的关注,提高分割精度;最后,解码器使用双线性插值对特征进行上采样,提高分割图像的清晰度并减少目标和位置信息丢失。实验结果表明,与当前基于深度学习表现较好的地基云图分割网络(Cloud-UNet)相比,CloudRes-UNet在昼夜地基云图分割数据集上的分割准确率提升了1.5个百分点,平均交并比(MIoU)上升了1.4个百分点,更准确地获取了云量信息,对天气预报、气候研究和光伏发电等方面具有积极意义。

应用小波通道注意力网络的地震数据重建方法

重建缺失的地震道是地震数据处理的关键环节之一。近年来提出了多种基于深度学习理论的地震数据重建方法。然而,这些方法中常用的卷积运算只能捕捉到地震数据的局部特征,没有充分利用全局信息。另外,池化操作也会造成特征图信息的丢失,从而破坏地震反射的细节特征。为此,提出了基于小波通道注意力网络的地震数据重建方法。哈尔(Haar)小波变换能够有效提取信号的多尺度特征,并在上采样过程中避免信息的丢失;高效通道注意力模块通过对不同通道特征图之间的相关性进行建模,能实现全局信息的充分利用。合成和实际地震数据的实验结果表明,与具有代表性的深度学习方法相比,文中所提出的网络模型可以产生更准确的重建结果。

基于多判别器辅助分类器生成对抗网络的故障诊断方法研究

在强冲击、强辐射、极高温等极端恶劣的工作环境下,机械设备的故障模式复杂多样,获得充足且有效的故障数据变得非常困难甚至难以实现,以致故障诊断的准确性受限,后续检修维护方案难以有效制定。针对这一问题,提出了一种多判别器辅助分类器生成对抗网络的数据增强算法。通过设置3个判别器、1个生成器并添加独立的分类器,构建了新的辅助分类器生成对抗网络模型。针对在该模型训练中存在的不稳定性问题,通过引入Wasserstein距离构造新的损失函数,并采用稳定性更具优势的单边软约束正则化项替换原有的L2梯度惩罚项来解决模型崩溃问题;在此基础上,采用高效通道注意力机制来进一步提高模型的特征提取能力。将所提出的模型应用于扩充机械设备故障数据集,辅助深度学习智能诊断模型的训练。多个故障数据集扩充实验表明,与现有模型相比,新模型所生成数据的质量更高,故障诊断的准确率也得到进一步提高,因此具有较高的应用价值。

基于高效通道注意力机制和特征融合网络的冠心病诊断算法研究

针对冠心病重要特征不确定、诊断模型预测性能低等因素而导致冠心病早期诊断精度低的问题,提出一种基于高效通道注意力机制和特征融合的网络。通过XGBoost(eXtreme Gradient Boosting)来确定冠心病重要特征,设计数据生成图片的特征组合算法以适用该模型;为提高诊断模型预测性能,采用可以提升模型学习能力和特征利用率的高效通道注意力机制模块和特征融合模块。实验结果表明,在UCI克利夫兰心脏病数据集上,与其他诊断算法相比,该算法优于传统机器学习方法,预测精度可达100%且稳定性好。

基于EfficientNet-B5级联U型网络的视网膜血管分割方法

针对视网膜图像细小血管难以分割以及病灶误分割等问题,提出了一种基于EfficientNet-B5级联U型网络的视网膜血管分割方法。首先,采用EfficientNet-B5编码器对图像特征编码,提取图像更深层特征;其次,引入空洞空间卷积池化金字塔模块有效地提取视网膜图像中的多尺度特征信息;在双卷积块中加入高效通道注意力捕获跨通道交互的信息;然后,采用级联U型结构,后一级网络对前一级网络的血管分割结果进行细化与优化;最后,采用形态学算子对网络输出的分割图像进行后处理。在CHASE_DB1数据集上的实验结果表明,该算法的F1值、特异度、准确率及AUC分别为79.57%、98.21%、96.30%和97.51%,相比FC-RCF、U-Net和Res-UNet等算法均有提升。该算法在精确地分割血管的同时表现出较好的抗干扰性能。

高效通道注意力结合卷积神经网络的近红外光谱分析模型研究

近红外光谱分析技术有无损、高效的特点,在各领域都有广泛应用。但传统分析模型在面对近红外光谱数据量激增时往往出现预测精度不高、泛化能力差等问题。为此,提出一种基于卷积神经网络(CNN)与高效通道注意力(ECA)模块相结合的近红外光谱分析模型(CNNECANet),该模型由8个一维卷积层、1个ECA模块、4个最大池化层、1个展平层、2个全连接层和1个参数优化器组成。ECA模块由1个全局平均池化、1个一维卷积层和1个Sigmoid激活函数组成。以啤酒、牛奶、柴油、谷物的近红外光谱公共数据为例,将CNNECANet与常用建模方法进行比较,CNNECANet比PLS的预测精度分别提高了30.3%、14.1%、29.5%、48.4%;CNNECANet比SVR的预测精度分别提高了33.5%、17.6%、39.0%、50.0%;CNNECANet比BP神经网络模型的预测精度分别提高了80.0%、29.0%、7.2%、42.7%。该模型具有更好的预测精度和鲁棒性,解决了传统近红外光谱建模算法容易出现过拟合、模型泛化性差等问题。