融合Inception V1-CBAM-CNN的轴承剩余寿命预测模型

针对现有的滚动轴承剩余寿命(RUL)预测方法精度低、轴承健康指标(HI)构建困难等问题,提出了一种基于卷积神经网络(CNN)并融合Inception V1模块和卷积注意力机制模块(CBAM)的滚动轴承RUL预测模型。首先,在CNN中添加了CBAM机制,并进行了加权处理,在通道和空间维度对重要特征进行了强化,对次要特征进行了抑制,通过添加改进的InceptionV1模块,提高了CNN通道间信息交互水平,全面提取了退化特征;然后,进行了网络优化,采用全局最大池化(GMP)方法对模型进行了简化,采用Dropout和批量归一化(BN)方法,避免了过拟合,提高了精度,且克服了训练时出现的梯度消失问题;最后,对数据进行了处理,将降噪后的信号重组为三维张量,将其作为HI,构建了退化标签,引入了评价指标,采用PHM2012轴承数据集进行了实验验证,在3种工况下将其与深度神经网络(DNN)、CNN方法、结合注意力机制的残差网络方法(ResNet)进行了对比。研究结果表明:该方法在变负载条件下的平均RMSE为0.033,较其他方法的RMSE值分别降低了86%、78%和69%,在预测精度和泛化能力方面具有明显优势。

基于CBAM-CNN的电力系统暂态电压稳定评估

为进一步提高电力系统暂态电压稳定评估模型的特征提取能力和模型在系统拓扑结构发生变化时的适应性,提出一种将改进的卷积神经网络与迁移学习相结合的方法。首先,在卷积神经网络的卷积层后插入卷积块注意力模块,对输入的数据从通道和空间两个独立的维度依次提取特征,提高卷积神经网络对系统暂态电压状态的识别能力。然后,将该模块与微调技术相结合,提高模型在系统拓扑结构改变时的在线更新速度。最后,算例分析验证了所提模型的有效性。

基于CBAM-CGRU-SVM的Android恶意软件检测方法

随着Android恶意软件的种类和数量不断增多,检测恶意软件以保护系统安全和用户隐私变得越来越重要。针对传统的恶意软件检测模型分类准确率较低的问题,提出一种基于卷积神经网络(CNN)、门控循环单元(GRU)和支持向量机(SVM)的模型CBAM-CGRU-SVM。首先,在CNN中添加卷积块注意力模块(CBAM)以学习更多恶意软件的关键特征;其次,利用GRU进一步提取特征;最后,为了解决图像分类时模型泛化能力不足的问题,使用SVM代替softmax激活函数作为模型的分类函数。实验使用了Malimg公开数据集,该数据集将恶意软件数据图像化作为模型输入。实验结果表明,CBAM-CGRU-SVM模型分类准确率达到94.73%,能够更有效地对恶意软件家族进行分类。

MobileNet network optimization based on convolutional block attention module

Deep learning technology is widely used in computer vision.Generally,a large amount of data is used to train the model weights in deep learning,so as to obtain a model with higher accuracy.However,massive data and complex model structures require more calculating resources.Since people generally can only carry and use mobile and portable devices in application scenarios,neural networks have limitations in terms of calculating resources,size and power consumption.Therefore,the efficient lightweight model MobileNet is used as the basic network in this study for optimization.First,the accuracy of the MobileNet model is improved by adding methods such as the convolutional block attention module(CBAM)and expansion convolution.Then,the MobileNet model is compressed by using pruning and weight quantization algorithms based on weight size.Afterwards,methods such as Python crawlers and data augmentation are employed to create a garbage classification data set.Based on the above model optimization strategy,the garbage classification mobile terminal application is deployed on mobile phones and raspberry pies,realizing completing the garbage classification task more conveniently.

基于联邦学习与改进CBAM-ResNet18的脑肿瘤分类

针对联邦学习框架下,基于卷积注意力模块的多客户端脑肿瘤分类方法对于MRI图像中肿瘤区域细节提取能力不足、通道注意力与空间注意力相互干扰的问题,以及针对多点医疗肿瘤数据分类准确性低的问题,提出了一种融合联邦学习框架和改进的CBAM-ResNet18网络的脑肿瘤分类方法.利用联邦学习特性联合多点脑肿瘤数据,采用Leaky ReLU激活函数代替ReLU激活函数以减轻神经元死亡,将卷积注意力模块中的通道注意力模块由先降维再升维改成先升维再降维,充分提高网络对图像细节的提取能力,将卷积注意力模块中的通道注意力模块与空间注意力模块由级联结构改为并联结构,使得网络的特征提取能力不会受到二者先后顺序的影响.通过在Kaggle公开的脑肿瘤MRI数据集上的进行实验,该方法的准确率、精准度、召回率与F1值分别为97.78%、97.68%、97.61%与97.63%,比基准模型分别高6.54%、4.78%、6.80%、7.00%.实验结果证明,该方法不仅能够打破数据孤岛,实现多点数据融合,而且比多数现有主流模型的性能更好.

基于Dy Res Net-CBAM网络的滚动轴承剩余寿命预测

滚动轴承的工作状况关系到使用滚动轴承的机械能否正常运行,预测轴承的剩余使用寿命(RUL)是避免机械系统失效的关键。针对传统的轴承使用寿命预测方法无法自适应调节特征权重、提取有用特征,造成预测值误差过大的问题,提出了一种带有卷积块注意力模块(CBAM)的动态残差网络(Dy Res Net)用于预测轴承RUL。对振动信号进行快速傅里叶变换求得频域累积幅值特征,在动态残差网络中加入CBAM模块,并利用压缩激励模块进行特征细化得出预测结果,使用公开轴承数据集对所提模型进行评估。实验表明:与其他模型相比,Dy Res Net-CBAM模型能够充分提取特征信息,对轴承RUL预测的准确度高于其他模型。

基于CBAM-CNN的直流线路雷击干扰与短路识别模型

针对直流线路保护和故障测距易受非故障性雷击干扰、传统基于时域和频域特征构造的输电线路雷击干扰识别方法存在阈值难以整定和噪声鲁棒性较差的问题,提出使用深度学习方法实现雷击干扰与短路行波特征自动提取与分类,相模解耦和小波包分解后得到的电流、电压行波分量作为不同通道输入至一维卷积模块注意力模块卷积神经网络(CBAM-CNN)分类模型。通过仿真和算例分析验证了所提模型相比传统方法具有更高的识别正确率,CBAM能有效提升CNN分类模型的噪声鲁棒性,同时验证了4层小波包分解与所提CBAM-CNN模型的结合具有最佳的性能。

基于弱监督下改进的CBAM-ResNet18模型识别苹果多种叶部病害

针对苹果叶部病害图像在仅有图像类别标注的弱监督的条件下识别准确率低的问题,提出了一种基于改进的CBAM-ResNet算法进行苹果叶部病害识别。以ResNet18作为基础模型,对轻量级卷积块注意力模块(Convolutional Block Attention Module,CBAM)注意力机制中通道注意力模块中的多层感知机(Multilayer Perceptron,MLP)进行升维改进,放大苹果叶部病害特征细节;将改进的CBAM融入残差模块中,以加强对关键细节特征的提取,将AlphaDropout配合SeLU (Scaled Exponential Linearunits)融入网络中,防止其网络的过拟合化,加速模型收敛效果;最后,采用单周期余弦退火算法调整学习率,得到病害识别模型。训练在样本图像均只进行图像级标注的弱监督下进行,大大降低标注成本。通过消融实验,探究出改进CBAM中MLP最佳升维维度为2,相对于原CBAM,准确率提升0.32%,并在参数量增加17.59%的情况下,每轮训练时长减少8 s。在包含苹果斑点落叶病、褐斑病、花叶病、灰斑病、锈病等5种病害的6185幅图像数据集上进行了试验测试,结果显示,在弱监督学习下,识别准确率方面,该模型对苹果5种病害的平均识别准确率达到98.44%,改进的CBAM-ResNet18相比改进前的ResNet18提高了1.47%,且高于VGG16,DesNet121,ResNet50,ResNeXt50,EfficientNet-B0和Xception对照模型;在学习效率方面,改进的CBAM-ResNet18相对于ResNet18在参数量增加24.9%的条件下,每轮的训练时间减少6 s,且在VGG16,DesNet121,ResNet50,ResNeXt50,EfficientNet-B0和Xception对照模型中以每轮137 s最快速度完成模型训练。通过混淆矩阵结果,计算出模型的精确度平均值、召回率平均值和F1分数平均值分别达到了98.43%、98.46%和0.9845。该结果表明,改进的CBAM-ResNet模型可进行苹果叶部病害识别且具有良好的识别结果,可为苹果叶部病害智能识别提供技术支撑。

基于改进CBAM注意力机制的害虫分类算法

将传统深度学习的CBAM注意力机制算法直接用于害虫分类,得到的精度不理想,主要原因是害虫个体小、害虫与背景颜色差异小。为此,提出一种适用害虫分类的改进CBAM注意力机制算法。该算法通过改进通道注意力模块,提高害虫的关键信息特征在特征图中的比重,以解决害虫与背景颜色差异小的问题;改进空间注意力模块,以解决害虫个体小、感知难的问题。在消融实验中得到的结果表明,该算法能够有效解决害虫个体小、害虫与背景颜色差异小等问题,使分类准确率得到提升,达到75.9%。

基于优化CBAM改进YOLOv5的农作物病虫害识别

针对多种农作物病虫害图像,在自然环境下因虫害种类繁多,小目标特征相似的技术问题,导致检测困难难以达到令人满意的精度.本文提出了一种自然背景下加强局部特征和全局特征信息融合的害虫检测识别模型YOLOv5-EB,在公开的大规模害虫数据集IP102上进行实验,结果表明该研究比YOLOv5模型精确度提高了5个百分点.引入一维卷积替换CBAM中通道注意力的MLP操作,优化了通道注意力经过全局处理后容易忽略通道内信息交互的问题;其次使用6×6卷积替换Focus操作,来增强提取害虫特征的能力.实验结果表明,对害虫进行检测时,YOLOv5-EB的平均精度值达到了87%,与Faster R-CNN、EfficientDet、YOLOv3、YOLOv4、YOLOv5模型相比,不仅有效提高了作物害虫图像的识别性能,而且有效提高了检测速度.研究表明,YOLOv5-EB算法满足对多种农作物病虫害目标检测的准确性和实时性要求.

基于贝叶斯优化与CBAM-ResNet的乏燃料剪切机故障诊断方法

乏燃料剪切机是动力堆乏燃料后处理首端的重要设备,状态监测与故障诊断对于保证乏燃料剪切机的安全运行、避免重大事故、减少其维修时间和费用有着重要的作用。针对目前中国针对乏燃料剪切机的故障诊断研究少、数据获取难度大、故障诊断的准确率低等问题,构建基于贝叶斯优化与卷积块注意力模块(convolutional block attention module,CBAM)的残差神经网络模型。首先在利用双声道差分法对噪声降噪,将其转化为梅尔频谱图并进行数据增强;其次引入CBAM对残差网络进行改进,提高网络的深层次特征提取能力,并利用贝叶斯优化算法训练优化器等超参数,得到最优超参数后重新训练网络模型。最后,通过实验结果显示所构建模型的诊断准确率为93.67%,对比其他方法有显著的提高。

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于改进EfficientNet的红外图像光伏组件故障识别研究

光伏组件的故障会影响光伏阵列的输出性能,从而降低电站的发电效率,严重时甚至会危害电站的安全运行。传统的方法无法满足目前光伏组件故障检测快速性和正确率需求。因此,本文提出了一种基于改进EfficientNet的光伏组件故障识别方法。首先,利用采集到的光伏组件红外图像建立故障数据集,并利用图像分割和数据增强对数据集进行预处理;其次,基于EfficientNet网络构建故障识别模型,同时在模型中引入双通道注意力模块(CBAM),该模块能够抑制不必要特征的识别,增强模型对空间特征信息的提取能力,进而提高模型的识别准确率;最后,通过对比仿真实验证明模型的有效性和先进性。实验结果表明,该模型的故障识别准确率达到了90.83%,相较于原始的EfficientNet模型提高了2.83%,且模型大小仅为20.3 M,具有良好的实用性,能够满足光伏电站实际应用的需求。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于GRU-DRSN的双通道人体活动识别

人体活动识别(human activity recognizition, HAR)在医疗、军工、智能家居等领域有很大的应用空间。传统机器学习方法特征提取难度较大且精度不高。针对上述问题并结合传感器时序特性,提出了一种融合CBAM(convolutional block attention module)注意力机制的GRU-DRSN双通道并行模型,有效避免了传统串行模型因网络深度加深引起梯度爆炸和消失问题。同时并行结构使得两条支路具有相同的优先级,使用深度残差收缩网络(deep residual shrinkage network, DRSN)提取数据的深层空间特征,同时使用门控循环结构(gated recurrent unit, GRU)学习活动样本在时间序列上的特征,同时进行提取样本不同维度的特征,并通过CBAM模块进行特征的权重分配,最后通过Softmax层进行识别,实现了端对端的人体活动识别。使用公开数据集(wireless sensor data mining, WISDM)进行验证,模型平均精度达到了97.6%,与传统机器学习模型和前人所提神经网络模型相比,有更好的识别效果。

智能仓储交通信号与多AGV路径规划协同控制方法

针对智能仓储多AGV(automated guided vehicle)路径规划实时性差,障碍物识别能力弱,多AGV碰撞、死锁和拥堵等问题,提出了一种智能仓储交通信号控制与多AGV路径规划协同控制方法,将交通信号与多AGV路径规划视为一个整体,设计一种交通信号与多AGV路径规划协同控制框架,并提出LS-A3C(long short-asynchronous advantage actor-critic)算法和Bi-LSTM-CBAM(bi-long short-term memory-convolutional block attention module)算法作为框架的核心算法。LS-A3C算法使用长短时编码器和注意力机制分别对交通信号的长期信息和短期信息进行编码,以学习元特征表示,并使用A3C框架计算元Q值和控制策略,实现交通信号时间自适应AGV流量,解决多AGV碰撞、死锁和拥堵等问题。Bi-LSTM-CBAM算法通过计算本时刻和前置时刻状态特征,对输出结果进行拼接处理,可以有效解决神经网络梯度消失和爆炸的问题,提高AGV路径规划实时性;引入注意力机制模块CBAM,根据输入信息重要程度分配权重,加强AGV对障碍物识别能力。在Sumo和Gazebo联合仿真平台进行仿真实验,实验结果表明,该协同控制方法使AGV碰撞、死锁及拥堵情况明显降低,障碍物识别能力显著提高,路径规划实时性大幅增强,达到提升AGV作业效率的目的。

基于YOLO算法的非机动车辆检测模型

针对自动驾驶车辆目标检测过程中非机动车因体积小、易被遮挡而导致误检和漏检的问题,为提高非机动车的检测精度,对YOLOv4基础算法进行改进,利用跨阶段连接优化特征提取融合网络,在减少计算量的同时提高检测性能,并嵌入卷积块注意力模块(CBAM),通过通道和空间注意力权值分配来增大有效特征权重、提高检测精度,同时,利用自建的非机动车数据集,在锚框(Anchor)自适应匹配的基础上建立非机动车检测模型。最后,为验证模型的有效性,通过消融实验对比模型性能,结果表明,所提出的检测模型能够有效提高非机动车的检测和识别效果,较好地解决误检和漏检问题。

改进YOLOv5的无人机影像道路目标检测算法

针对无人机影像中道路小目标漏检和目标之间遮挡导致的目标检测精度低、鲁棒性差等问题,提出一种多尺度融合卷积注意力模块(Convolutional block attention module,CBAM)的YOLOv5道路目标检测算法,即YOLOv5s-FCC。首先,引入小目标感知层对模型进行多尺度改进,增加一个针对小目标的YOLO检测头以提高网络对道路中小目标的特征提取能力。其次,利用CBAM融合空间和通道信息以增强网络中的重要信息,通过将CBAM引入Backbone主干网络不同位置,以获得CBAM最佳融合位置。最后,采用CIo U作为损失函数,以提高边界框预测所需的计算速度和精度。在自建的无人机道路目标数据集上进行训练,结果表明,相较YOLOv5算法,YOLOv5-FCC算法可将mAP50和mAP50-95分别提高2.0%和4.2%。在VisDrone数据集上也验证了YOLOv5-FCC算法的有效性,并建立了基于无人机的道路目标检测系统,实现道路目标的自动检测。

基于注意力机制的U-Net叶片缺陷图像分割

为解决风力发电机叶片表面缺陷检测存在分类困难和微小缺陷分割模糊的难题,构建一种基于扩张卷积和卷积注意力模块的改进U-Net语义分割网络。该网络基于网络模型的编码-解码结构,使用可迁移的VGG16的特征提取层代替U-Net网络的编码部分,在编码-解码之间的跳跃模块加入卷积注意力模块。通过对微小缺陷信息选取加强全局权重,使用扩张卷积增强网络特征,采用VGG16预训练模型实现迁移学习。开展Focal与Dice结合的混合损失函数验证,对比分析DeeplabV3+、PSPnet、HRNet、U-Net这4种模型。结果表明:对于叶片缺陷数据集,改进的U-Net网络模型对叶片缺陷的分类和分割任务具有更高的精度,均交并比、均像素精度和召回率等指标值分别为83.60%、92.84%和88.50%。改进U-Net网络的均交并比值比DeeplabV3+模型高13.98%,比标准U-Net模型高9.38%,能够提高叶片缺陷检测的灵敏度,有效降低检测结果的误报警率,有助于准确检测风机叶片缺陷。

基于多级残差信息蒸馏的真实图像去噪方法

深度神经网络对真实图像有较强的去噪能力,可以学习含噪图像和干净图像之间复杂的非线性映射关系。然而,过多的卷积操作导致计算成本增加并占据大量内存,限制了去噪技术在低运算能力设备中的应用,现有去噪算法容易损坏细节信息,恢复图像存在边缘过度平滑、纹理缺失、含有残留噪声等问题。针对这些问题,构造一种多级残差信息蒸馏模块。通过对特征通道进行分割,保留部分特征用于后续多级融合,并进一步通过深度提取单元提取细化后的特征信息;引入对比度感知通道注意力机制对不同通道的特征分配权重;使用多级跳跃连接充分融合不同阶段提取到的上下文信息。构建1个轻量级的多级残差信息蒸馏网络,采用块间复杂度低的编码-解码结构,编码部分为含噪图像特征提取模块,解码部分为干净图像恢复模块。为了加快训练速度,采用混合图像尺寸的渐进式训练方法。实验结果表明,该方法在SSID和DND真实图像数据集上的峰值信噪比分别为39.43 dB和39.49 dB,与其他网络相比提升了0.17~15.77 dB和0.02~7.06 dB,而模型参数量仅为6.92×106,所提模型在提高去噪性能的同时具有较少的参数量。