融合高效通道注意力的复杂场景违禁品检测

针对X射线在违禁品检测任务中安检图像色彩存在对比度低、检测精度低、极易出现漏检错检的问题,在快速区域卷积神经网络(Faster R-CNN)算法基础上,通过K-means聚类算法改进锚框(Anchor)的生成方式;提出将高效通道注意力机制(ECANet)引入到感兴趣池化层(ROIpooling)后,突出违禁品的轮廓、色彩等信息。本文算法在S_DXray数据集上的m AP达到92.06%,改进后网络模型检测精度提高5.06个百分点。有效提高X射线图像违禁品检测的精度和小尺度目标的检测能力,有效避免错检、漏检的现象。

基于高效通道注意力机制和特征融合网络的冠心病诊断算法研究

针对冠心病重要特征不确定、诊断模型预测性能低等因素而导致冠心病早期诊断精度低的问题,提出一种基于高效通道注意力机制和特征融合的网络。通过XGBoost(eXtreme Gradient Boosting)来确定冠心病重要特征,设计数据生成图片的特征组合算法以适用该模型;为提高诊断模型预测性能,采用可以提升模型学习能力和特征利用率的高效通道注意力机制模块和特征融合模块。实验结果表明,在UCI克利夫兰心脏病数据集上,与其他诊断算法相比,该算法优于传统机器学习方法,预测精度可达100%且稳定性好。

高效通道注意力结合卷积神经网络的近红外光谱分析模型研究

近红外光谱分析技术有无损、高效的特点,在各领域都有广泛应用。但传统分析模型在面对近红外光谱数据量激增时往往出现预测精度不高、泛化能力差等问题。为此,提出一种基于卷积神经网络(CNN)与高效通道注意力(ECA)模块相结合的近红外光谱分析模型(CNNECANet),该模型由8个一维卷积层、1个ECA模块、4个最大池化层、1个展平层、2个全连接层和1个参数优化器组成。ECA模块由1个全局平均池化、1个一维卷积层和1个Sigmoid激活函数组成。以啤酒、牛奶、柴油、谷物的近红外光谱公共数据为例,将CNNECANet与常用建模方法进行比较,CNNECANet比PLS的预测精度分别提高了30.3%、14.1%、29.5%、48.4%;CNNECANet比SVR的预测精度分别提高了33.5%、17.6%、39.0%、50.0%;CNNECANet比BP神经网络模型的预测精度分别提高了80.0%、29.0%、7.2%、42.7%。该模型具有更好的预测精度和鲁棒性,解决了传统近红外光谱建模算法容易出现过拟合、模型泛化性差等问题。

基于高效通道注意力模块(ECA)和YOLOv5的图像检测方法研究

佩戴安全帽是人们在施工建设中的一项重要保护措施,它可以有效保障人们的生命财产安全。安全帽检测系统也已经成为了很多施工场所的必备的基础设施,为了改善YOLOv5不能通过权重进行聚焦,从而生成有明显辨识度的特征,进而影响安全帽检测准确度的问题,我们在YOLOv5中引入了注意力模块,保证了卷积过程中的特征提取,并且使得图像得到优化,提升了安全帽检测结果的准确性和模型性能。并且我们对比了原YOLOv5、添加了ECA(Efficient Channel Attention)高效通道注意力模块、添加了SEA(Squeeze-andExcitation attention)注意力模块和添加了压缩激励SEL(Squeeze and Excitation Layer)注意力模块的精确率P/%、召回率R/%、mAP@0.5和mAP@0.5:0.95,实验结果表明添加了ECA(Efficient Channel Attention)通道注意力模块的ECA-Yolov5算法相较于原YOLOv5算法P/%、R/%、mAP@0.5、mAP@0.5:0.95分别提升了0.5、0.6、0.5、0.2。由此结果表明引入高效通道注意力模块(ECA)的YOLOv5安全帽识别算法更有能力进行安全施工的检测,提升了施工的安全性。

结合高效通道注意力的轻量级遥感影像目标检测方法

针对常规遥感影像目标检测模型难以在机载、星载等低算力场景下部署的问题,本文提出一种轻量级遥感影像目标检测模型。模型通过Ghost特征提取模块与高效通道注意力机制组成轻量级骨干网络来进行特征提取与筛选,然后将获取到的特征图送入融合金字塔中生成3张语义特征更为丰富的特征图参与多尺度目标检测。在多源混合数据集上的测试结果表明,本文模型对各类别目标的检测精度均优于其余对比模型,对不同场景下的目标具有良好的泛化能力。训练后模型占用内存小,推理参数量低,在低算力的测试场景下也能够进行实时检测,适合部署于算力较低的边缘计算场景。

基于高效通道注意力机制与多尺度特征融合的烟丝图像识别方法研究

针对现有方法在识别烟丝类型中泛化能力差、准确率低的问题,提出了一种基于高效通道注意力机制与多尺度特征融合的烟丝类型识别方法。对采集的梗丝、膨胀叶丝、叶丝和再造烟丝4类烟丝图像进行降噪处理,处理后的图像经K-means聚类得到图像的前景和后景并完成分割,提高输入图像的抗环境干扰能力和特征提取能力。在Inception-ResNet-V2网络中引入高效通道注意力机制,加强模型提取特征的能力;同时,将改进后的模块输出的特征图进行多尺度融合,增加特征代表性,降低过拟合风险。最后,在比较收敛性和准确性时,用PReLU和AdaBound代替了ReLU激活函数和Adam优化器。结果表明,提出的算法具有较好的泛化能力,能实现4类烟丝高效识别,最终识别精度为97.23%,单幅图像的检测时间为0.107 s。

基于高效通道注意力模块的运动想象脑电识别

基于运动想象的脑机接口技术有助于手部运动障碍的患者康复,因而广泛被用于康复医疗领域。针对目前运动想象脑电信号信噪比低,导致运动想象左右手脑电信号(Motor Imagination-Electroencephalogram,MI-EEG)分类效果不佳的问题,本文鉴于注意力模块能够关注与运动想象分类任务相关的重要特征和忽视不重要特征的特性,提出一种基于高效通道注意力(Efficient Channel Attention,ECA)模块的卷积神经网络对左右手MI-EEG进行特征提取和分类。为便于卷积神经网络(Convolutional Neural Network,CNN)对脑电信号进行识别,本文使用小波变换将脑电时序信号转换为二维时频图;然后调整基于ECA模块的CNN结构和参数;最后,对本文方法在脑电信号数据集上进行实验。实验结果表明,与一些基于深度学习的运动想象分类识别方法相比,基于ECA模块的CNN能够有效提升MI-EEG的识别准确率,说明本文方法在运动想象脑电识别方面具有有效性。

基于高效通道注意力机制的语音情感识别方法

传统语音处理方式是把语音样本分割成固定长度的片段,但这种语音样本的切割会导致语音情感分类准确性下降。本文引入循环填充法处理可变长度的log-Mel谱图,该方法能够更好的利用时间动态信息,同时可以减少填充的无效数据对模型参数学习的干扰。由于人类的情感只能在语音中某些特定的时刻出现,为了寻找关键情感特征,本文构建了基于高效通道注意力机制的语音情感识别模型,其中高效通道注意力机制能够计算通道图的重要性,有选择的强调通道图,改进特定情感的表达。本文在交互式情感二元动作捕捉(IEMOCAP)数据库上进行相关实验。在IEMOCAP上采用循环填充法的加权精度(WA)和非加权精度(UA)分别达到73.2%和70.9%,采用本文提出模型的WA和UA分别达到76.0%和73.4%。

基于高效通道注意力机制的龙格库塔去雨网络

单图去雨问题是图像处理的一个重要研究方向。为了解决现有方法对雨痕特征提取不够充分的问题,提出一种基于注意力机制的龙格库塔(RK)模块的去雨网络。该模块采用RK模块提高提取图像特征的能力并采用高效通道注意力(ECA)机制加强对雨痕局部表征的关注。通过堆叠多个基于ECA机制的RK模块,可以构建深度去雨模型,较好地特提取雨痕特征;同时采用全局回传机制,利用雨痕的高阶特征以更新其低阶特征,提高雨痕表征的提取质量,逐步提升重建背景图的质量。基于公开数据集Rain100L、Rain100H和RainHeavy的测试结果表明,所提算法能够较好地重构雨天背景图。采用峰值信噪比(PNSR)和结构相似度(SSIM)两个常用指标评估重建背景图像结果,并与去雨算法Semi-Supervised transfer learning for Image rain Removal(SSIR)、Progressive Recurrent Network(PReNet)、Bilateral Recurrent Network(BRN)进行比较,结果显示所提算法的性能最优。

基于多尺度-高效通道注意力网络的刀具故障诊断方法

目前,生产加工流程正向着智能化迈进,设备的故障诊断及预测性维护在保障企业生产效率,降低生产成本方面起着至关重要的作用。刀具作为数控机床的切削工具,其实时健康状态直接影响着机床的加工效率和产品质量。对刀具磨损状态的精准监测有助于避免因刀具失效导致的产品质量问题。基于此背景,研究一种基于深度学习的刀具故障诊断方法,将高效通道注意力应用到多尺度卷积神经网络中,提出基于多尺度-高效通道注意力网络的刀具故障诊断方法,利用通道特征学习将机床主轴不同方向的振动信号进行自适应的特征融合,从而提升刀具磨损状态诊断精度。此外,设计刀具磨损试验平台,用于采集符合实际生产的数据,在实际生产场景中验证所提算法的性能。试验结果表明,所提出方法较多尺度网络的刀具故障诊断准确率提高4.47%。

基于高效通道注意力的白内障视力分级算法

白内障是一种严重影响人类视觉功能的眼科疾病。为准确评估白内障患者的视力等级,提出了一种基于高效通道注意力的白内障视力分级算法(efficient channel attention deep residual netowrk,ECRN)。该算法首先使用限制对比度自适应直方图均衡化算法(contrast limited adaptive histogram equalization,CLAHE)对眼底图像进行预处理,增强图像中的血管、视盘和黄斑的关键特征。然后,将高效通道注意力机制(efficient channel attention,ECA)和深度残差网络相融合,关注与视力等级相关的眼底组织和病变区域。为解决眼底图像数据集不平衡的问题,引入焦点损失(focal loss,FL)函数为优化目标,使模型偏向于视力等级严重的患者。该算法在临床数据上进行了实验,正常、中等视力白内障和低视力白内障3个类别的准确率分别为98.3%、90.5%和92.1%,实验结果表明,该算法在白内障视力分级上表现出良好的性能。

结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法

环境声分类技术在家居安全监测、人机语声交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,该文提出一种基于多尺度通道注意力机制的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数(MGCC)挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出声频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%(iFLYTEK+Urbansound8k)的分类准确率。消融实验结果进一步表明:引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外,在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。

应用小波通道注意力网络的地震数据重建方法

重建缺失的地震道是地震数据处理的关键环节之一。近年来提出了多种基于深度学习理论的地震数据重建方法。然而,这些方法中常用的卷积运算只能捕捉到地震数据的局部特征,没有充分利用全局信息。另外,池化操作也会造成特征图信息的丢失,从而破坏地震反射的细节特征。为此,提出了基于小波通道注意力网络的地震数据重建方法。哈尔(Haar)小波变换能够有效提取信号的多尺度特征,并在上采样过程中避免信息的丢失;高效通道注意力模块通过对不同通道特征图之间的相关性进行建模,能实现全局信息的充分利用。合成和实际地震数据的实验结果表明,与具有代表性的深度学习方法相比,文中所提出的网络模型可以产生更准确的重建结果。

融合风电动态特征与通道注意力的超短期风速混合预测

准确的风速预测对于保障电网的稳定性和提升运行效率至关重要。为了提高预测的准确性,提出一种融合风电动态特征与通道注意力的超短期风速预测混合模型。首先,考虑气象因素对风速变化的影响,融合气象数据的静态和动态特征构建特征矩阵,深入挖掘影响风速的关键潜在因素。然后,采用时变滤波经验模态分解对原始风速进行初步分解,随后应用变分模态分解对高频分量进一步分解,以降低数据的不稳定性并增强模型的可预测性。其次,为每个子序列分别构建双向长短期记忆网络预测模型,并引入高效通道注意力机制,以自适应地为多通道特征信息分配权重,使模型能够集中于关键特征信息,从而提高模型的预测精度。最后,通过综合各子模型输出得到最终的风速预测值。实例分析表明,所提模型具有较好的预测精度和鲁棒性。

基于切分通道注意力网络的图像分类算法

通道注意力机制可以有效利用不同的特征通道,通过对特征图的通道进行加权和调整,使得卷积神经网络可以更加关注重要的特征通道,以提高卷积神经网络的分类能力.然而,对于使用全局平均池化来获取通道全局特征的方法,特征图中不同的通道有极大概率出现相同的均值,使得全局平均池化后的特征缺乏多样性,进一步影响网络分类性能.针对此问题,提出一种切分通道注意力机制来构建模块,该模块对全局平均池化的输出维度进行了扩展,减轻全局平均池化造成的信息丢失,增强了通道注意力中全局平均池化层的特征多样性,然后使用多个一维卷积分别计算通道维度上每个区域的注意力权重.将切分通道注意力机制与多种图像分类网络相结合,在CIFAR-100和ImageNet数据集上进行了图像分类实验.实验结果表明,切分通道注意力机制在保持轻量化的基础上仍然能有效提高模型的精度,并且与其他注意力机制相比也表现出较好的优势.

基于高效通道注意力的胸部X光片疾病分类算法

深入研究不同肺部疾病的X射线光片,有助于更清晰、准确地区分和预测各种疾病。基于此,提出一种基于高效通道注意力机制的胸部X光片疾病分类算法。将高效通道注意力模块以密集连接的方式加入基础特征提取网络,以增强特征通道中有效信息的传递,同时抑制无效信息的传递;使用非对称卷积块提高网络特征提取能力;采用多标签损失函数解决多标签和数据不平衡的问题。将新型冠状病毒肺炎X光片添加到公开数据集Chest X-ray 14中构成数据集Chest X-ray 15,在该数据集上的实验结果表明,所提基于高效通道注意力机制的胸部X光片疾病分类算法的平均area under curve(AUC)值达到0.8245,对气胸的AUC值达到0.8829,性能优于对比算法。

基于多任务判别器与注意力机制的虚拟试衣研究

为了解决具有错位和遮挡处理条件的高分辨率虚拟试戴(HR-VITON)在处理复杂纹理表现和服装特征交互方面的局限性问题,在基于具有错位和遮挡处理条件的高分辨率虚拟试衣方法的基础上,提出了一种结合多任务判别器与注意力机制的虚拟试衣方法。首先,通过在条件构造器中加入高效通道注意力机制,有效地增强了特征融合;其次,在图像生成网络中采用多任务判别器,以增强对服装渲染的全局和局部尺度评估。通过不断调整网络的学习参数,最终将模型放在数据集VITON-HD Dataset上进行虚拟试衣实验。实验结果表明,与原方法相比,该方法的图像感知相似度(LPIPS)提升了6%、分布距离指标(FID)提升了4.8%,虚拟试衣效果更好。

基于多任务双层注意力优化的TCN-BiGRU综合能源负荷短期预测

基于多元负荷预测是综合能源系统(IES)生产计划和能源调度的前提,提出一种基于多任务双层注意力优化的时序卷积网络与双向门控循环单元相结合(TCN-BiGRU)的综合能源负荷短期预测方法。首先,将特征集通过最大互信息系数法进行相关性分析,构建不同负荷的输入特征集;然后,输入多任务学习平台进行离线训练,其中的共享层采用高效通道注意力网络(ECANet)优化的TCN,特定任务层则采用自注意力机制优化的BiGRU;最后,选取亚利桑那州立大学坦佩校区冬季和夏季典型日的实际数据进行在线测试。测试结果表明,对比多种深度神经网络模型,所提方法在冬季和夏季的多元负荷加权平均绝对百分比误差分别最大降低了69.35%和73.26%,加权均方根误差分别最大降低70.11%和79.46%。

融合注意力与上下文信息的皮肤癌图像分割模型

为提高黑色素瘤分割性能,提出一种结合注意力机制和上下文信息的U-Net网络。以Resnet-34网络作为编码器,在跳跃连接中加入坐标注意力,通过捕捉精准的位置信息定位更准确的目标区域;设计上下文信息模块强化对前景特征的学习能力;加入高效通道注意力模块,重新校准权重并获得更高质量的分割图。在公共数据集ISIC 2017上验证改进模型,其结果表明,该模型召回率、F1分数达到85.29%、87.03%,与现有方法对比,在准确率、交并比、召回率、F1分数产生竞争性结果。

基于高效注意力机制的说话人识别

注意力机制已被证明能够提升识别任务中的识别准确率。但是,大多数现有注意力机制致力于开发更复杂的模型以实现更好的性能,这不可避免地增加了模型的复杂性。针对这一问题,将高效通道注意力机制与改进的残差网络相结合,使用附加角裕度损失作为损失函数,提出了一种基于高效通道注意力机制的说话人识别模型。通过消融实验比较跨通道信息交互范围,确定高效通道注意力机制的最佳卷积核。实验结果表明,该模型在中文语料库Zhaishell子集上取得了98.54%的识别准确率。相较于使用交叉熵损失函数的挤压激励残差网络模型和使用附加角裕度损失函数的挤压激励残差网络模型,模型准确率分别提高了3.73%和2.19%,模型的估计参数总量减少。因此,基于高效注意力机制的说话人识别更适用对参数总量有要求的轻量级任务。