基于梯度可感知通道注意力模块的红外小目标检测前去噪网络

红外图像去噪在军事及民用领域应用广泛。现有基于深度学习的图像去噪方法主要为可见光图像设计,此类方法容易过度平滑图像细节,从而导致弱小目标丢失,为后续的检测任务带来困难。为了在去除噪声的同时保留好红外图像中的目标信息,本文提出了一种基于梯度可感知通道注意力模块的红外弱小目标检测前去噪网络。该网络首先采用编码器-解码器结构来去除图像中的加性噪声,然后通过梯度可感知通道注意力模块对图像高频区域进行自适应增强,有效保持红外弱小目标的响应强度。此外,本文提出了领域第一个包含3981张含噪声的红外图像数据集。实验结果表明,该网络能够在有效去除加性噪声的同时避免过度平滑,很好地保留了红外图像中的目标信息,最终实现了在含噪声环境下的高鲁棒性红外弱小目标检测。

基于高效通道注意力模块(ECA)和YOLOv5的图像检测方法研究

佩戴安全帽是人们在施工建设中的一项重要保护措施,它可以有效保障人们的生命财产安全。安全帽检测系统也已经成为了很多施工场所的必备的基础设施,为了改善YOLOv5不能通过权重进行聚焦,从而生成有明显辨识度的特征,进而影响安全帽检测准确度的问题,我们在YOLOv5中引入了注意力模块,保证了卷积过程中的特征提取,并且使得图像得到优化,提升了安全帽检测结果的准确性和模型性能。并且我们对比了原YOLOv5、添加了ECA(Efficient Channel Attention)高效通道注意力模块、添加了SEA(Squeeze-andExcitation attention)注意力模块和添加了压缩激励SEL(Squeeze and Excitation Layer)注意力模块的精确率P/%、召回率R/%、mAP@0.5和mAP@0.5:0.95,实验结果表明添加了ECA(Efficient Channel Attention)通道注意力模块的ECA-Yolov5算法相较于原YOLOv5算法P/%、R/%、mAP@0.5、mAP@0.5:0.95分别提升了0.5、0.6、0.5、0.2。由此结果表明引入高效通道注意力模块(ECA)的YOLOv5安全帽识别算法更有能力进行安全施工的检测,提升了施工的安全性。

基于海马MRI数据的三维DenseNet和通道注意力模块相结合的阿尔茨海默病分类模型研究

目的:为了提高阿尔茨海默病(Alzheimer’s disease,AD)分类的准确率,构建一种基于海马MRI数据的DenseNet和通道注意力模块(channel attention module,CAM)相结合的AD分类模型。方法:首先,通过结构磁共振图像提取海马感兴趣区。其次,通过优化网络结构将三维DenseNet与CAM相结合构建基于海马感兴趣区的AD分类模型(三维CAM-DenseNet模型)。最后,为验证该模型的分类性能,将该模型与多个三维DenseNet模型进行比较,并验证加入纵向数据后对模型分类性能的影响;为评估模型的泛化性,将该模型在3个独立测试集上进行检验。结果:三维CAM-DenseNet模型在区分AD患者与认知正常受试者的分类任务中平均准确率为95.2%、敏感度为91.9%、特异度为97.8%、AUC值为94.9%,优于其他三维DenseNet模型;在轻度认知障碍相关分类任务中,加入纵向数据可以提升模型的分类性能;训练好的模型在3个独立测试集中均表现出良好的泛化性能。结论:构建的三维CAM-DenseNet模型分类准确率高、泛化性好,适用于AD分类研究。

基于高效通道注意力模块的运动想象脑电识别

基于运动想象的脑机接口技术有助于手部运动障碍的患者康复,因而广泛被用于康复医疗领域。针对目前运动想象脑电信号信噪比低,导致运动想象左右手脑电信号(Motor Imagination-Electroencephalogram,MI-EEG)分类效果不佳的问题,本文鉴于注意力模块能够关注与运动想象分类任务相关的重要特征和忽视不重要特征的特性,提出一种基于高效通道注意力(Efficient Channel Attention,ECA)模块的卷积神经网络对左右手MI-EEG进行特征提取和分类。为便于卷积神经网络(Convolutional Neural Network,CNN)对脑电信号进行识别,本文使用小波变换将脑电时序信号转换为二维时频图;然后调整基于ECA模块的CNN结构和参数;最后,对本文方法在脑电信号数据集上进行实验。实验结果表明,与一些基于深度学习的运动想象分类识别方法相比,基于ECA模块的CNN能够有效提升MI-EEG的识别准确率,说明本文方法在运动想象脑电识别方面具有有效性。

基于通道注意力机制的小样本SAR飞机图像分类方法

合成孔径雷达(Synthetic Aperture Radar,SAR)以其全天候、全天时、高分辨率、大幅宽的特点,成为对地观测的重要手段,图像分类是SAR图像解译的一个重要方向.和光学图像相比,SAR图像的成像机理较复杂,存在较多噪声干扰,导致图像清晰度较差、样本标注的难度大,无法保证深度学习算法对样本量的需求,因此,对小样本SAR图像进行图像分类成为当前SAR图像解译领域的重点研究问题之一.基于这一问题展开了基于元学习的SAR图像分类模型的研究,以实现小样本条件下SAR图像的高精度识别.构建基于注意力机制的原型网分类方法,设计了通道注意力模块来自动获取图像特征的重要程度,促进提取对图像分类更有判别力的特征;同时,对模型设计预训练网络,以充分利用已有数据的信息,学习更好的先验信息,提高分类的准确率.在自建的高分辨率SAR图像数据集上对该小样本分类模型进行了实验.消融实验表明,注意力模块和预训练模块对模型的性能均有一定的提升效果.通过对比实验,证明和当前常用的小样本学习方法相比,构建的分类方法能在SAR图像分类中获得较高的准确率,在第一组实验的5-way 1-shot实验中得到的分类精度提高了5.9%,在5-way 5-shot实验中提高了1.92%.

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于注意力机制的艾德莱斯绸纹饰图案分割研究

目的由于艾德莱斯绸具有丰富的色彩和复杂的纹饰图案,在对其进行图案分割时难度较大,容易出现错分割和漏分割的情况。为此,提出了基于注意力机制的艾德莱斯绸纹饰图案分割算法。方法采用FCN模型对艾德莱斯绸纹饰图像进行卷积训练,突出图像的语义特征信息。利用通道注意力模块和位置注意力模块,分别对艾德莱斯绸纹饰图像展开学习,得到维度完全相同的特征图。将两个模块特征图融合后与FCN模型输出图像再次融合,得到艾德莱斯绸纹饰图像的特征提取结果,选取图像中的感兴趣区域,完成对艾德莱斯绸纹饰图案的分割。结论实验结果表明,所提方法取得了精准度较高的分割结果,分割图像边缘清晰,没有出现错分割和漏分割的情况,分割结果总体上较为理想。

融入双注意力模块的U-Net肺结节图像分割方法

对肺部医学图像进行分析可以用来肺癌诊断,为了解决肺结节分割的任务中特征提取复杂和分割困难等问题,本文提出了一种融入双注意力模块的U-Net肺结节图像分割方法。该方法在U-Net网络的基础上融入空间注意力模块和通道注意力模块,改善分割网络对复杂环境的感知能力,克服复杂环境对分割结果的干扰从而提高分割效果。在肺结节公开数据集(LUNA16)上进行实验结果表明,本文提出的分割方法能够准确地分割出肺结节区域,能够较为有效地实现肺结节图像分割。

一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法.

基于注意力机制和分时图卷积的公交客流预测

实际公交路网通常为复杂的非线性时变系统,难以有效构建线路间的时空间依赖关系.因此,文中提出基于注意力机制和分时图卷积的公交客流预测模型,提升公交客流量预测的准确性.首先通过长短期记忆网络提取历史数据中的时间特征,并利用通道注意力模块加权特征.再使用分时图卷积方法分析不同时段下公交线路间的空间依赖性,根据预测时段选择不同的关系矩阵,通过图卷积的方式完成对非欧关系的建模.最后,融合提取的时空间特征与外部因素(天气、节假日信息等)的特征表示,得到最终的预测结果.在真实公交数据上的实验表明,文中模型可提升预测精度,加快学习速率.

基于注意力机制的街景图像语义分割方法

街道场景图像的准确分割对于自动驾驶系统具有重要辅助作用,而针对该场景的现有语义分割方法仍存在分割精度不高、参数量大等问题。为有效改善语义分割性能,通过构建空间注意力模块和通道注意力模块,提出一种注意力语义分割网络。该网络首先采用残差网络提取特征,然后并行使用两种注意力模块分别从空间和通道维度自适应细化特征图,以使网络在训练学习过程中更加关注信息丰富的空间区域和通道,进而增强网络表示能力。所提注意力模块具有结构简单和轻量级的特点,能与网络一起进行端到端训练。在Cityscapes和CamVid数据集上的实验结果表明,该注意力语义分割网络在较少的参数条件下,可获得较好的分割效果。

注意力残差网络的单图像去雨方法研究

恶劣的雨天天气会严重影响图像质量,进而导致目标检测,目标追踪等算法性能急剧下降,因此图像去雨得到了快速发展.本文提出一种基于注意力残差网络的端到端图像去雨算法,通过卷积神经网络强大的表示能力,学习出从有雨到无雨图像的映射.将注意力模块引入残差模块中,首先利用通道注意力机制自适应学习通道维度上不同特征,然后利用空间注意力机制建立雨条纹的内在关系,之后将注意力模块与残差模块相结合得到注意力残差单元,最后将其堆叠成高性能去雨网络.公开的合成和真实世界图像数据集上的实验表明,本文所提出的方法在视觉上可以大大提高去雨的性能.

引入ECA注意力机制的U-Net语义分割

多种应用依赖于数据理解的准确性,而语义图像分割有效地解决了这个问题,它为基于像素级别的场景理解提供了必要的上下文信息。鉴于ResNeXt50相比于一般的卷积操作具有更强的特征提取能力,提出了一种基于ResNeXt50的U-Net网络结构ECAU-Net。在融合过程中,通过引入超强通道注意力(ECA)模块进一步增强特征表示对场景分割的判别能力。除此之外,在整体网络结构中引入空洞卷积,在不改变卷积核大小的情况下扩大图像的感受野范围,从而最大化地提高网络性能。实验结果表明,在CamVid数据集上,ECAU-Net相较于U-Net在Acc, Acc class, MIoU和FWIoU这4个评价指标上分别提高了2.1%,8.6%,8.2%和3.2%。

基于多重多尺度融合注意力网络的建筑物提取

针对全卷积神经网络模型在进行建筑物提取时易产生过度分割以及内部空洞的问题,提出基于多重多尺度融合注意力网络(MMFA-Net)的高分辨率遥感影像建筑物提取方法.该方法以U-Net为主体架构,设计2个模块:多重高效通道注意力(MECA)和多尺度特征融合注意力(MFA). MECA设计在模型跳跃连接中,通过权重配比强化有效特征信息,避免注意力向无效特征的过渡分配;采用多重特征提取,减少有效特征的损失. MFA被嵌入模型底部,结合并行连续中小尺度空洞卷积与通道注意力,获得不同的空间特征与光谱维度特征,缓解空洞卷积造成的大型建筑物像素缺失问题. MMFA-Net通过融合MECA和MFA,提高了建筑物提取结果的完整度和精确率.将模型在WHU、 Massachusetts和自绘建筑物数据集上进行验证,在定量评价方面优于其他5种对比方法,F_(1)分数和IoU分别达到93.33%、87.50%;85.38%、74.49%和88.46%、79.31%.

基于注意力和多尺寸卷积的超分辨率算法研究

为了解决深层卷积模型的超分辨率技术计算量大、融合的特征不够全面的问题,模型结构不再从深度上进行加深,而是从宽度上进行扩展。对输入的一张特征图进行多尺寸的卷积处理,在结构上融合残差结构、压缩模块和改进的通道注意力模块,融合多尺寸的特征图的同时灵活运用高、低频信息,最终达到提高重建图像质量的效果。实验结果表明:与目前较为流行的超分辨率算法相比,在参数量上有了一定的减少,且在峰值信噪比和结构相似性上有着良好的表现。

基于双重注意力特征增强网络的语义分割方法

语意分割作为计算机视觉领域的研究热点之一,在地理信息系统、医疗影像分析和机器人等领域有广泛应用。然而现有的语义分割方法主要面临两个挑战,即类内不一致和类间难区分问题。为此,我们提出了一种基于双重注意力特征增强网络的方法来实现语义分割。该方法采用位置注意力模块与通道注意力模块来获取丰富的空间信息与上下文信息,并且在网络末端添加金字塔池化模块来聚合不同区域的上下文信息,提高网络捕获全局信息的能力。最终在标准数据集上的实验结果验证了本文方法的有效性。

小波包域对抗注意力迁移学习故障研究

针对轴承故障特征提取能力不足、源域与目标域数据分布差异过大等问题,本文提出了一种基于小波包域对抗注意力迁移学习的故障诊断方法(WWRESE-IDALM)。首先,通过小波包变换(Wavelet Packet Transform,WPT)获得不同重点节构的时频域信息;其次,将重构后的时频域信息数据经过一层大卷积核和通道注意力模块(Squeeze and Excitation,SE)提取轴承深度关键信息特征;利用改进的域对抗网络(Domain-Adversarial Training of Neural Networks,DANN)和局部最大平均差异(Local Maximum Mean Discrepancy,LMMD)对齐子域分布,减少相关子域和全局域之间的结构差异;最后,通过标签分类网络完成故障分类。在帕德博恩大学轴承数据集诊断结果证明了所提出的WWRESE-IDALM方法具有良好的变工况故障分类能力。

混合数据驱动的轻量化YOLOv5故障选线方法

针对传统选线方法精度低、实时性差、易受噪声干扰的问题,提出一种混合数据驱动的轻量化YOLOv5选线方法,简记为MSE-YOLOv5。首先,以零序电流作为区分故障线路与非故障线路的判断依据,为了增强二者间数据对比差异性,利用小波变换将零序电流信号映射为二维时频图;其次,为了扩充样本数量,利用搭建的小电流接地系统仿真模型,通过改变故障点位置、初相位以及接地电阻等参数生成仿真数据,与真实数据构成混合数据集;然后,为了减少选线时背景噪声对微弱故障信号特征的影响,在所搭建检测网络的颈部网络中引入通道注意力模块,从而增强故障特征的表达能力;最后,为了提高选线实时性,在网络中引入轻量化网络以减少其参数量与运算量。为了验证所提出方法的优势,利用某变电站真实故障数据进行测试,并与4种经典算法进行比较。结果表明:所提混合数据驱动的轻量化YOLOv5故障选线方法具有较高精度,其选线精度可达95.2%,即使在噪声干扰条件下,选线精度依然可以保持在90%以上;具有更轻的体量及更快的选线速度,参数量下降至原网络的1/5,计算量下降至1/7,检测速度可达7.7 ms。因此,混合数据驱动的轻量化YOLOv5故障选线方法具有体量小、速度快、精度高的优点,有利于后期将其部署到现场设备中。

基于MSCAU-Net的视网膜眼底图像的硬渗出液分割

硬渗出液是早期糖尿病性视网膜病变(diabetic retinopathy,DR)的主要病症之一,在眼底图像中占据的像素点较少,其检测容易受视盘、软渗出液的干扰。针对这些问题,在U型网络(U-Net)结构的基础上,通过在编码器和解码器中融入残差模块和残差通道注意力模块学习硬渗出液的细微特征,在跳跃连接中加入一种新的多尺度通道注意力(multi-scale channel attention,MSCA)模块提升网络对稀疏小病灶的分割能力,提出了MSCA U-Net。基于超广角眼底图像数据集和印度糖尿病性视网膜病变图像数据集的实验结果表明,与其他基于卷积神经网络的图像分割方法相比,所提方法具有更高的硬渗出液分割精度。

基于CNN-CAM的NLoS/LoS识别方法研究

针对目前基于信道脉冲响应(Channel Impulse Response,CIR)的非视距(None Line of Sight,NLoS)/视距(Line of Sight,LoS)识别方法精度低、泛化能力差的问题,提出了一种多层卷积神经网络(Convolutional Neural Network,CNN)与通道注意力模块(Channel Attention Module,CAM)相结合的NLoS/LoS识别方法。在多层CNN中嵌入CAM提取原始CIR的时域数据特征,利用全局平均池化层代替全连接层进行特征整合并分类输出。使用欧洲地平线2020计划项目eWINE公开的数据集进行不同结构模型和不同识别方法的对比实验,结果表明,所提出的CNN-CAM模型LoS和NLoS召回率分别达到了92.29%与87.71%,准确率达到了90.00%,F1分数达到了90.22%。与现有多种传统识别方法相比,均具有更好的识别效果。