结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法

环境声分类技术在家居安全监测、人机语声交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,该文提出一种基于多尺度通道注意力机制的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数(MGCC)挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出声频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%(iFLYTEK+Urbansound8k)的分类准确率。消融实验结果进一步表明:引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外,在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。

基于多尺度频率通道注意力融合的声纹库构建方法

为解决声纹识别准确性易受外部因素影响的问题,提出一种基于多尺度频率通道注意力融合时延神经网络(MFCA-TDNN)模型的声纹识别算法。MFCA-TDNN在ECAPA-TDNN(Emphasized Channel Attention Propagation Aggregation Time Delay Neural Network)的基础上作了3点改进,包括:加入了多尺度频率通道注意力前端以从话语中获得高分辨率的特征表示、添加了多尺度通道注意力模块结合局部和全局的特征以融合多尺度信息、嵌入了特征注意力融合模块为多尺度的融合特征加权。这些改进使模型更好地利用多尺度的时频信息,提高识别能力。实验结果表明,与ECAPA-TDNN模型相比,MFCA-TDNN模型等错误率(EER)和最小检测代价函数(minDCF)分别下降5.9%和7.9%;最低的EER可达到3.83%,最低的minDCF可达到0.2202。

基于梯度可感知通道注意力模块的红外小目标检测前去噪网络

红外图像去噪在军事及民用领域应用广泛。现有基于深度学习的图像去噪方法主要为可见光图像设计,此类方法容易过度平滑图像细节,从而导致弱小目标丢失,为后续的检测任务带来困难。为了在去除噪声的同时保留好红外图像中的目标信息,本文提出了一种基于梯度可感知通道注意力模块的红外弱小目标检测前去噪网络。该网络首先采用编码器-解码器结构来去除图像中的加性噪声,然后通过梯度可感知通道注意力模块对图像高频区域进行自适应增强,有效保持红外弱小目标的响应强度。此外,本文提出了领域第一个包含3981张含噪声的红外图像数据集。实验结果表明,该网络能够在有效去除加性噪声的同时避免过度平滑,很好地保留了红外图像中的目标信息,最终实现了在含噪声环境下的高鲁棒性红外弱小目标检测。

融合多尺度通道注意力的开放词汇语义分割模型SAN

随着视觉语言模型的发展,开放词汇方法在识别带注释的标签空间之外的类别方面具有广泛应用。相比于弱监督和零样本方法,开放词汇方法被证明更加通用和有效。文章研究的目标是改进面向开放词汇分割的轻量化模型SAN,即引入基于多尺度通道注意力的特征融合机制AFF来改进该模型,并改进原始SAN结构中的双分支特征融合方法。然后在多个语义分割基准上评估了该改进算法,结果显示在几乎不改变参数量的情况下,模型表现有所提升。这一改进方案有助于简化未来开放词汇语义分割的研究。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络(HRNet)为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。

基于多尺度混合注意力卷积神经网络的关系抽取模型

针对基于卷积神经网络(CNN)的关系抽取获取句子语义信息时缺少不同尺度语义特征信息的获取以及对关键信息的关注的问题,提出基于多尺度混合注意力CNN的关系抽取模型。首先,将关系抽取建模为二维化表示的标签预测;其次,通过多尺度的特征信息提取与融合,获得更细粒度的多尺度空间信息;然后,通过注意力与卷积的结合自适应地细化特征图,使模型关注重要的上下文信息;最后,使用两个预测器共同预测实体对之间的关系标签。实验结果表明,多尺度混合卷积注意力模型能够获取多尺度语义特征信息,而通道注意力和空间注意力通过权重捕捉通道和空间的关键信息,以此来提升关系抽取的性能。所提模型在数据集SemEval(SemEval-2010 task 8)、TACRED(TAC Relation Extraction Dataset)、Re-TACRED(Revised-TACRED)和SciERC(Entities,Relations,and Coreference for Scientific knowledge graph construction)上的F1值分别达到90.32%、70.74%、85.71%和89.66%。

基于通道注意力机制的小样本SAR飞机图像分类方法

合成孔径雷达(Synthetic Aperture Radar,SAR)以其全天候、全天时、高分辨率、大幅宽的特点,成为对地观测的重要手段,图像分类是SAR图像解译的一个重要方向.和光学图像相比,SAR图像的成像机理较复杂,存在较多噪声干扰,导致图像清晰度较差、样本标注的难度大,无法保证深度学习算法对样本量的需求,因此,对小样本SAR图像进行图像分类成为当前SAR图像解译领域的重点研究问题之一.基于这一问题展开了基于元学习的SAR图像分类模型的研究,以实现小样本条件下SAR图像的高精度识别.构建基于注意力机制的原型网分类方法,设计了通道注意力模块来自动获取图像特征的重要程度,促进提取对图像分类更有判别力的特征;同时,对模型设计预训练网络,以充分利用已有数据的信息,学习更好的先验信息,提高分类的准确率.在自建的高分辨率SAR图像数据集上对该小样本分类模型进行了实验.消融实验表明,注意力模块和预训练模块对模型的性能均有一定的提升效果.通过对比实验,证明和当前常用的小样本学习方法相比,构建的分类方法能在SAR图像分类中获得较高的准确率,在第一组实验的5-way 1-shot实验中得到的分类精度提高了5.9%,在5-way 5-shot实验中提高了1.92%.

基于高效通道注意力模块(ECA)和YOLOv5的图像检测方法研究

佩戴安全帽是人们在施工建设中的一项重要保护措施,它可以有效保障人们的生命财产安全。安全帽检测系统也已经成为了很多施工场所的必备的基础设施,为了改善YOLOv5不能通过权重进行聚焦,从而生成有明显辨识度的特征,进而影响安全帽检测准确度的问题,我们在YOLOv5中引入了注意力模块,保证了卷积过程中的特征提取,并且使得图像得到优化,提升了安全帽检测结果的准确性和模型性能。并且我们对比了原YOLOv5、添加了ECA(Efficient Channel Attention)高效通道注意力模块、添加了SEA(Squeeze-andExcitation attention)注意力模块和添加了压缩激励SEL(Squeeze and Excitation Layer)注意力模块的精确率P/%、召回率R/%、mAP@0.5和mAP@0.5:0.95,实验结果表明添加了ECA(Efficient Channel Attention)通道注意力模块的ECA-Yolov5算法相较于原YOLOv5算法P/%、R/%、mAP@0.5、mAP@0.5:0.95分别提升了0.5、0.6、0.5、0.2。由此结果表明引入高效通道注意力模块(ECA)的YOLOv5安全帽识别算法更有能力进行安全施工的检测,提升了施工的安全性。

基于改进注意力模块的船舶涂装缺陷检测方法

针对人工检测船舶缺陷效率低、传统检测网络准确率差的问题,提出一种基于改进注意力模块(improved convolutional block attention module, ICBAM)的船舶涂装缺陷检测方法.首先,YOLOv4在路径聚合网络中将深度可分离卷积代替常规卷积形成IYOLOv4,减少模型计算量;其次,将ICBAM融入IYOLOv4的路径聚合网络Route层后形成ICBAM-IYOLOv4,ICBAM在通道上构建多频率通道改善全局平均池化,利用一维卷积代替全连接层聚合相邻通道间的信息,减少模型参数;然后,在空间上融合Inception v3思想和特征分层思想改善空洞卷积;最后,在船舶涂装缺陷样本数据增强的基础上,对ICBAM-IYOLOv4进行测试.实验结果表明:ICBAM-IYOLOv4相比其他算法,其损失值更低、收敛更快;平均精度均值(mean average precision, MAP)在训练集和测试集上分别提高了1.89%和1.91%.

基于多尺度特征与注意力机制的宫颈病变检测

宫颈上皮内瘤变(Cervical Intraepithelial Neoplasm,CIN)是宫颈浸润癌变相关度较高的癌前病变,准确检测CIN并对其分类处理有利于减少宫颈癌重症率。针对宫颈病变检测与分类准确率低等问题,文中提出一种融合多尺度特征与多注意力机制的YOLOv5-CBTR(You Only Look Once version 5-Convolutional Block Transformer)宫颈病变图像检测方法。主干网络采用带有SENet(Squeeze-and-Excitation Networks)注意力机制的SE-CSP(SENet-BottleneckCSP)进行特征提取。引入Transformer编码器模块,融合多特征信息并放大,采用多头注意力机制增强病变区域的特征提取能力。在特征融合层引入卷积注意力模块,多尺度融合病变特征信息。在边界回归框计算中引入幂变换,加快模型损失函数的收敛,整体实现宫颈病变的检测与分类。实验结果表明,YOLOv5-CBTR模型对RGB(白光)宫颈病变图像检测与分类的准确率、召回率、mAP(mean Average Precision)和F值分别为93.99%、92.91%、92.80%和93.45%,在多光谱宫颈图像检测与分类中模型的mAP值和F值分别为97.68%和95.23%。

融合密集空洞注意力金字塔和多尺度的视网膜病变分割

针对糖尿病视网膜病变(DR)分割任务中病变区域多尺度特征难以学习、边界模糊等问题,提出一种改进的U型多病变分割模型DDAPNet。首先,对DR图像进行Patch处理,使模型更好地捕捉病变的局部特征;其次在主干特征提取后引入重新设计的密集空洞注意力金字塔(DDAP)模块,扩大感受野,解决病变边界模糊问题;同时采用金字塔切分注意力进行特征增强,然后将二者进行特征融合;最后在跳跃连接中嵌入改进的残差注意力模块,降低浅层冗余信息的干扰。在数据集和医院真实数据集上进行联合验证,实验结果表明,相较于基础模型,DDAPNet模型对微动脉瘤、出血点、软渗出DDR物和硬渗出物的分割在Dice系数上分别提高了4.31%、2.52%、3.39%、4.29%,在mIoU上分别提高了1.80%、2.24%、4.28%、1.98%。该模型对病灶边缘的分割更为连续和平滑,有效提升了软渗出物等视网膜病变的分割性能。

基于改进注意力与多尺度特征的车辆识别

为提高车辆检测算法精度,提出一种基于YOLOv5框架上增添新型轻量化注意力机制(novel lightweight attention module, NLAM)和多尺度特征检测层的算法。NLAM模块将深度可分离卷积的空间注意力模块和一维卷积的通道注意力模块进行并联融合,使NLAM模块参数量仅为8;增添多尺度特征检测层,提升小目标的检测精度。该算法在KITTI数据集训练和测试,实验结果表明,改进后算法平均精度为89.9%,相较于原始算法平均精度上涨2%,检测帧率为90 frame/s。该算法对车辆检测具有更高的小目标检测精度和更好的鲁棒性。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。

基于转置注意力的多尺度深度融合单目深度估计

单目深度估计是计算机视觉领域中一项基础任务,其目标是通过单张图像预测深度图,并获取每个像素位置的深度信息。本文提出一种新的单目深度估计网络结构,旨在进一步提高网络的预测准确性。转置注意力机制在降低参数量和计算量的同时引入了自注意力机制,以关注图像中的特定区域,并结合不同通道之间的信息。这种机制能够有效地关注到图像中的细小区域和边缘信息,并进行学习。本文还提出一种改进的转置注意力机制,以更少的参数量保留语义信息。多尺度深度融合根据不同通道提取不同深度特征的特点,计算每个通道的平均深度,以增强模型的深度感知能力。此外,它能够建模垂直距离的长距离关系,有效地分离物体之间的边缘,有助于减少细粒度信息的损失。最后,本文在NYU Depth V2数据集和KITTI数据集上进行实验,验证了所提出模块的有效性,并取得了出色的性能表现。

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题,提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法,实现对图像低级边缘、边界、目标轮廓的检测;首先构建了双通道主干网络,包含语义分支通道和空间细节分支通道;其次,基于多尺度原则构建了多尺度及注意力机制模块,对特征图像的高、宽、通道的维度变换,分配特征权重,在捕捉跨通道信息的同时,还能够捕捉方向感知和位置感知的信息;最后将空洞融合模块融合到语义分支通道中,提升网络提取特征信息的能力。实验结果表明,所提出的算法对光伏板图像边缘检测性能有提升,相较HED、RCF与FCN算法,F_(1)值提升了2.83%、0.37%与1.54%,获得了较为清晰的裂缝图像。

基于多尺度注意力机制的单幅图像超分辨率重建

近年来,深度卷积神经网络(CNN)在单幅图像超分辨率重建中取得了明显的进展。在此基础上,提出了一个校准多尺度通道空间注意网络(CMCSAN)。CMCSAN由两个关键模块组成:校准多尺度模块(CMSM)和通道空间注意模块(CSAM)。CMSM从不同尺度提取特征信息,自适应调整信息特征;CSAM模块可以自动鉴别不同通道的特征信息,有效调整空间的位置权重。实验结果表明,CMCSAN显著增强了挖掘中间特征信息的能力,在单幅图像超分辨率重建中表现出良好的性能。

基于集成多尺度注意力的图像篡改定位

近年来,基于卷积神经网络图像拼接篡改检测算法取得了相当的进展.然而,由于篡改对象的大小和类型不同,现有的大多数模型仍然不能取得令人满意的效果.针对这些问题,提出一种集成多尺度注意力的网络进行图像篡改定位算法.首先在编码器中添加多尺度的双注意力模块——位置注意力和通道注意力,其中,位置注意力模块通过捕捉任意2个特征图的位置关系获取特征图在空间维度上的语义信息依赖关系,使每个像素点均能感知其余位置像素点的信息;通道注意力模块采用与位置注意力相似的自注意力操作捕捉任意2个通道映射之间的关系,使像素点感知到其余通道像素点的信息.考虑到篡改目标大小不同,多尺度注意力模块将特征图划分为多个子区域,在捕获长程语义信息依赖关系的同时也能适应各种形状大小的篡改区域,可以更好地处理不同尺度的拼接篡改图,降低高分辨率特征图的计算开销.在公开数据集CASIA上进行实验的结果表明,所提算法得到的F1和IoU值分别达到62.3%和61.2%,比其他现有算法有明显提升.