融合Inception V1-CBAM-CNN的轴承剩余寿命预测模型

针对现有的滚动轴承剩余寿命(RUL)预测方法精度低、轴承健康指标(HI)构建困难等问题,提出了一种基于卷积神经网络(CNN)并融合Inception V1模块和卷积注意力机制模块(CBAM)的滚动轴承RUL预测模型。首先,在CNN中添加了CBAM机制,并进行了加权处理,在通道和空间维度对重要特征进行了强化,对次要特征进行了抑制,通过添加改进的InceptionV1模块,提高了CNN通道间信息交互水平,全面提取了退化特征;然后,进行了网络优化,采用全局最大池化(GMP)方法对模型进行了简化,采用Dropout和批量归一化(BN)方法,避免了过拟合,提高了精度,且克服了训练时出现的梯度消失问题;最后,对数据进行了处理,将降噪后的信号重组为三维张量,将其作为HI,构建了退化标签,引入了评价指标,采用PHM2012轴承数据集进行了实验验证,在3种工况下将其与深度神经网络(DNN)、CNN方法、结合注意力机制的残差网络方法(ResNet)进行了对比。研究结果表明:该方法在变负载条件下的平均RMSE为0.033,较其他方法的RMSE值分别降低了86%、78%和69%,在预测精度和泛化能力方面具有明显优势。

基于CBAM-CNN的电力系统暂态电压稳定评估

为进一步提高电力系统暂态电压稳定评估模型的特征提取能力和模型在系统拓扑结构发生变化时的适应性,提出一种将改进的卷积神经网络与迁移学习相结合的方法。首先,在卷积神经网络的卷积层后插入卷积块注意力模块,对输入的数据从通道和空间两个独立的维度依次提取特征,提高卷积神经网络对系统暂态电压状态的识别能力。然后,将该模块与微调技术相结合,提高模型在系统拓扑结构改变时的在线更新速度。最后,算例分析验证了所提模型的有效性。

基于CBAM-CGRU-SVM的Android恶意软件检测方法

随着Android恶意软件的种类和数量不断增多,检测恶意软件以保护系统安全和用户隐私变得越来越重要。针对传统的恶意软件检测模型分类准确率较低的问题,提出一种基于卷积神经网络(CNN)、门控循环单元(GRU)和支持向量机(SVM)的模型CBAM-CGRU-SVM。首先,在CNN中添加卷积块注意力模块(CBAM)以学习更多恶意软件的关键特征;其次,利用GRU进一步提取特征;最后,为了解决图像分类时模型泛化能力不足的问题,使用SVM代替softmax激活函数作为模型的分类函数。实验使用了Malimg公开数据集,该数据集将恶意软件数据图像化作为模型输入。实验结果表明,CBAM-CGRU-SVM模型分类准确率达到94.73%,能够更有效地对恶意软件家族进行分类。

基于CBAM-LSTM的风电集群功率短期预测方法

风电功率的精准预测对我国实现“碳达峰”、“碳中和”的目标具有重要意义。传统的风电功率预测方法往往忽视了时间序列数据中的长期依赖关系和空间相关性,导致预测结果不准确。为了解决这个问题,文中提出了了卷积块注意力机制(Convolutional Block Attention Module, CBAM)和长短时记忆网络(Long Short-Term Memory, LSTM)相结合的模型。首先,使用CBAM对风电功率时间序列数据特征和数值天气预报中蕴含的空间特性进行提取,该模块能够自适应地学习时间和空间上的重要特征;然后,将提取的特征输入到LSTM层结构中进行功率预测。为了验证所提方法的有效性,使用中国吉林省某风电场的数据集进行验证,实验结果表明,与其他功率预测方法相比,文中所提方法平均绝对误差(Mean Absolute Error, MAE)平均降低2.67%;决定系数(R-Square, R2)平均提高23%;均方根误差(Root Mean Square Error, RMSE)平均降低2.69%。

ANC: Attention Network for COVID-19 Explainable Diagnosis Based on Convolutional Block Attention Module

Aim: To diagnose COVID-19 more efficiently and more correctly, this study proposed a novel attention network forCOVID-19 (ANC). Methods: Two datasets were used in this study. An 18-way data augmentation was proposed toavoid overfitting. Then, convolutional block attention module (CBAM) was integrated to our model, the structureof which is fine-tuned. Finally, Grad-CAM was used to provide an explainable diagnosis. Results: The accuracyof our ANC methods on two datasets are 96.32% ± 1.06%, and 96.00% ± 1.03%, respectively. Conclusions: Thisproposed ANC method is superior to 9 state-of-the-art approaches.

MobileNet network optimization based on convolutional block attention module

Deep learning technology is widely used in computer vision.Generally,a large amount of data is used to train the model weights in deep learning,so as to obtain a model with higher accuracy.However,massive data and complex model structures require more calculating resources.Since people generally can only carry and use mobile and portable devices in application scenarios,neural networks have limitations in terms of calculating resources,size and power consumption.Therefore,the efficient lightweight model MobileNet is used as the basic network in this study for optimization.First,the accuracy of the MobileNet model is improved by adding methods such as the convolutional block attention module(CBAM)and expansion convolution.Then,the MobileNet model is compressed by using pruning and weight quantization algorithms based on weight size.Afterwards,methods such as Python crawlers and data augmentation are employed to create a garbage classification data set.Based on the above model optimization strategy,the garbage classification mobile terminal application is deployed on mobile phones and raspberry pies,realizing completing the garbage classification task more conveniently.

基于CBAM-GRU的通信信号自动调制识别

本文研究了一种基于卷积注意力机制模块(CBAM)与门控循环单元网络(GRU)结合的CBAM-GRU分类模型,用于非合作通信系统中的自动调制识别技术。将信号预处理后的时域幅度值、相位值以及I/Q值合并,转换为输入采样值矩阵,进入网络进行信号分类识别。使用无线电数据集RadioML2016.10a进行仿真实验,并将CBAM-GRU模型与卷积神经网络(CNN)、长短期记忆网络(LSTM)、GRU、卷积长短时深度神经网络(CLDNN)进行比较。实验结果表明:CBAM-GRU模型的分类识别率达到92.79%,相较于对比模型分别提高了8.52%、1.84%、1.75%、8.61%,比传统的CNN或LSTM模型,在处理信号时能够更有效地捕捉时空特征,从而提高识别精度。

基于联邦学习与改进CBAM-ResNet18的脑肿瘤分类

针对联邦学习框架下,基于卷积注意力模块的多客户端脑肿瘤分类方法对于MRI图像中肿瘤区域细节提取能力不足、通道注意力与空间注意力相互干扰的问题,以及针对多点医疗肿瘤数据分类准确性低的问题,提出了一种融合联邦学习框架和改进的CBAM-ResNet18网络的脑肿瘤分类方法.利用联邦学习特性联合多点脑肿瘤数据,采用Leaky ReLU激活函数代替ReLU激活函数以减轻神经元死亡,将卷积注意力模块中的通道注意力模块由先降维再升维改成先升维再降维,充分提高网络对图像细节的提取能力,将卷积注意力模块中的通道注意力模块与空间注意力模块由级联结构改为并联结构,使得网络的特征提取能力不会受到二者先后顺序的影响.通过在Kaggle公开的脑肿瘤MRI数据集上的进行实验,该方法的准确率、精准度、召回率与F1值分别为97.78%、97.68%、97.61%与97.63%,比基准模型分别高6.54%、4.78%、6.80%、7.00%.实验结果证明,该方法不仅能够打破数据孤岛,实现多点数据融合,而且比多数现有主流模型的性能更好.

强化数据预处理的BLSTNet-CBAM短期电力负荷预测

针对负荷数据复杂性、非平稳性以及负荷预测误差较大等问题,提出一种综合特征构建和模型优化的短期电力负荷预测新方法.首先采用最大信息系数(MIC)分析特征变量的相关性,选取与电力负荷序列相关的特征变量,同时,考虑变分模态分解(VMD)方法容易受主观因素的影响,采用霜冰优化算法(RIME)优化VMD,完成原始电力负荷序列的分解.然后改进长短期时间序列网络(LSTNet)作为预测模型,将其递归层LSTM更新为BiLSTM,并引入卷积块注意力机制(CBAM)进行预测.通过对比实验和消融实验的结果表明:经RIME-VMD优化后,LSTM、GRU、LSTNet模型预测的均方根误差(RMSE)均降低20%以上,显著提高模型预测精度,且能够适应于不同预测模型.所提出的BLSTNet-CBAM模型与LSTM、GRU、LSTNet相比,RMSE分别降低了35.54%、6.78%、1.46%,提高了短期电力负荷预测的准确性.

基于Dy Res Net-CBAM网络的滚动轴承剩余寿命预测

滚动轴承的工作状况关系到使用滚动轴承的机械能否正常运行,预测轴承的剩余使用寿命(RUL)是避免机械系统失效的关键。针对传统的轴承使用寿命预测方法无法自适应调节特征权重、提取有用特征,造成预测值误差过大的问题,提出了一种带有卷积块注意力模块(CBAM)的动态残差网络(Dy Res Net)用于预测轴承RUL。对振动信号进行快速傅里叶变换求得频域累积幅值特征,在动态残差网络中加入CBAM模块,并利用压缩激励模块进行特征细化得出预测结果,使用公开轴承数据集对所提模型进行评估。实验表明:与其他模型相比,Dy Res Net-CBAM模型能够充分提取特征信息,对轴承RUL预测的准确度高于其他模型。

基于CBAM-CNN的直流线路雷击干扰与短路识别模型

针对直流线路保护和故障测距易受非故障性雷击干扰、传统基于时域和频域特征构造的输电线路雷击干扰识别方法存在阈值难以整定和噪声鲁棒性较差的问题,提出使用深度学习方法实现雷击干扰与短路行波特征自动提取与分类,相模解耦和小波包分解后得到的电流、电压行波分量作为不同通道输入至一维卷积模块注意力模块卷积神经网络(CBAM-CNN)分类模型。通过仿真和算例分析验证了所提模型相比传统方法具有更高的识别正确率,CBAM能有效提升CNN分类模型的噪声鲁棒性,同时验证了4层小波包分解与所提CBAM-CNN模型的结合具有最佳的性能。

基于弱监督下改进的CBAM-ResNet18模型识别苹果多种叶部病害

针对苹果叶部病害图像在仅有图像类别标注的弱监督的条件下识别准确率低的问题,提出了一种基于改进的CBAM-ResNet算法进行苹果叶部病害识别。以ResNet18作为基础模型,对轻量级卷积块注意力模块(Convolutional Block Attention Module,CBAM)注意力机制中通道注意力模块中的多层感知机(Multilayer Perceptron,MLP)进行升维改进,放大苹果叶部病害特征细节;将改进的CBAM融入残差模块中,以加强对关键细节特征的提取,将AlphaDropout配合SeLU (Scaled Exponential Linearunits)融入网络中,防止其网络的过拟合化,加速模型收敛效果;最后,采用单周期余弦退火算法调整学习率,得到病害识别模型。训练在样本图像均只进行图像级标注的弱监督下进行,大大降低标注成本。通过消融实验,探究出改进CBAM中MLP最佳升维维度为2,相对于原CBAM,准确率提升0.32%,并在参数量增加17.59%的情况下,每轮训练时长减少8 s。在包含苹果斑点落叶病、褐斑病、花叶病、灰斑病、锈病等5种病害的6185幅图像数据集上进行了试验测试,结果显示,在弱监督学习下,识别准确率方面,该模型对苹果5种病害的平均识别准确率达到98.44%,改进的CBAM-ResNet18相比改进前的ResNet18提高了1.47%,且高于VGG16,DesNet121,ResNet50,ResNeXt50,EfficientNet-B0和Xception对照模型;在学习效率方面,改进的CBAM-ResNet18相对于ResNet18在参数量增加24.9%的条件下,每轮的训练时间减少6 s,且在VGG16,DesNet121,ResNet50,ResNeXt50,EfficientNet-B0和Xception对照模型中以每轮137 s最快速度完成模型训练。通过混淆矩阵结果,计算出模型的精确度平均值、召回率平均值和F1分数平均值分别达到了98.43%、98.46%和0.9845。该结果表明,改进的CBAM-ResNet模型可进行苹果叶部病害识别且具有良好的识别结果,可为苹果叶部病害智能识别提供技术支撑。

基于改进CBAM注意力机制的害虫分类算法

将传统深度学习的CBAM注意力机制算法直接用于害虫分类,得到的精度不理想,主要原因是害虫个体小、害虫与背景颜色差异小。为此,提出一种适用害虫分类的改进CBAM注意力机制算法。该算法通过改进通道注意力模块,提高害虫的关键信息特征在特征图中的比重,以解决害虫与背景颜色差异小的问题;改进空间注意力模块,以解决害虫个体小、感知难的问题。在消融实验中得到的结果表明,该算法能够有效解决害虫个体小、害虫与背景颜色差异小等问题,使分类准确率得到提升,达到75.9%。

基于优化CBAM改进YOLOv5的农作物病虫害识别

针对多种农作物病虫害图像,在自然环境下因虫害种类繁多,小目标特征相似的技术问题,导致检测困难难以达到令人满意的精度.本文提出了一种自然背景下加强局部特征和全局特征信息融合的害虫检测识别模型YOLOv5-EB,在公开的大规模害虫数据集IP102上进行实验,结果表明该研究比YOLOv5模型精确度提高了5个百分点.引入一维卷积替换CBAM中通道注意力的MLP操作,优化了通道注意力经过全局处理后容易忽略通道内信息交互的问题;其次使用6×6卷积替换Focus操作,来增强提取害虫特征的能力.实验结果表明,对害虫进行检测时,YOLOv5-EB的平均精度值达到了87%,与Faster R-CNN、EfficientDet、YOLOv3、YOLOv4、YOLOv5模型相比,不仅有效提高了作物害虫图像的识别性能,而且有效提高了检测速度.研究表明,YOLOv5-EB算法满足对多种农作物病虫害目标检测的准确性和实时性要求.

基于贝叶斯优化与CBAM-ResNet的乏燃料剪切机故障诊断方法

乏燃料剪切机是动力堆乏燃料后处理首端的重要设备,状态监测与故障诊断对于保证乏燃料剪切机的安全运行、避免重大事故、减少其维修时间和费用有着重要的作用。针对目前中国针对乏燃料剪切机的故障诊断研究少、数据获取难度大、故障诊断的准确率低等问题,构建基于贝叶斯优化与卷积块注意力模块(convolutional block attention module,CBAM)的残差神经网络模型。首先在利用双声道差分法对噪声降噪,将其转化为梅尔频谱图并进行数据增强;其次引入CBAM对残差网络进行改进,提高网络的深层次特征提取能力,并利用贝叶斯优化算法训练优化器等超参数,得到最优超参数后重新训练网络模型。最后,通过实验结果显示所构建模型的诊断准确率为93.67%,对比其他方法有显著的提高。

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于改进EfficientNet的红外图像光伏组件故障识别研究

光伏组件的故障会影响光伏阵列的输出性能,从而降低电站的发电效率,严重时甚至会危害电站的安全运行。传统的方法无法满足目前光伏组件故障检测快速性和正确率需求。因此,本文提出了一种基于改进EfficientNet的光伏组件故障识别方法。首先,利用采集到的光伏组件红外图像建立故障数据集,并利用图像分割和数据增强对数据集进行预处理;其次,基于EfficientNet网络构建故障识别模型,同时在模型中引入双通道注意力模块(CBAM),该模块能够抑制不必要特征的识别,增强模型对空间特征信息的提取能力,进而提高模型的识别准确率;最后,通过对比仿真实验证明模型的有效性和先进性。实验结果表明,该模型的故障识别准确率达到了90.83%,相较于原始的EfficientNet模型提高了2.83%,且模型大小仅为20.3 M,具有良好的实用性,能够满足光伏电站实际应用的需求。

基于注意力机制和迁移学习的服装分类方法

针对服装图像分类效率低、准确率不高等问题,提出了一种基于注意力机制和迁移学习的服装图像分类方法。主要采用预训练的ResNet50网络模型在服装数据集上进行迁移学习,以降低对数据集的依赖,并减少网络训练时间;通过几何变换和颜色抖动2种数据增强手段处理数据集,提高模型的泛化能力;以ResNet50为基础网络,加入卷积注意力机制模块(convolutional block attention module, CBAM),依次从通道和空间2个维度提高对服装不同区域的关注度,增强了特征表达能力。在CD和IDFashion两类背景干扰信息不同的数据集上进行验证,实验结果表明:所提出的模型能够提取更多服装特征信息,在IDFashion数据集的平均分类准确率为95.60%,分别高于ResNet50、ResNet50+STN和ResNet50+ECA模型6.65%、6.69%、6.62%,一定程度上提高了服装图像分类的准确率和效率。

基于改进YOLOv5s 的白酒瓶盖瑕疵检测

目的瓶装白酒生产过程中,瓶盖表面瑕疵会影响产品外观质量。针对白酒瓶盖表面瑕疵检测效率低和目标检测效果差的问题,提出一种基于YOLOv5s的改进算法DTS-YOLO。方法首先,在主干网络中引入可变形卷积,以提高模型对极端长宽比瑕疵的检测精度。其次,引入Transformer编码块,使网络聚焦于提取图像的全局信息。最后,在颈部网络构建C3SE-Lite模块,将C3模块嵌入SE注意力模块的同时引入Ghost卷积,减少参数量的同时,增强对瓶盖瑕疵的检测能力。结果实验结果表明,本文所提方法相较于基础网络,参数量减少了10%,平均精度均值达95%,平均检测速度达30帧/s。结论本文方法有效实现了白酒瓶盖表面瑕疵快速、准确地检测,可广泛应用于瓶装白酒生产过程中瓶盖表面检测。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。