基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

基于多尺度卷积注意力机制的输电线路防振锤缺陷检测

作为输电线路中的重要金具部件,防振锤的缺陷将对输电线路构成严重威胁。针对由于防振锤缺陷样本数量稀少、背景复杂、区域形状尺寸不一造成的防振锤缺陷识别能力不足的问题,提出一种基于多尺度卷积注意力机制的防振锤缺陷检测方法。首先,通过统计不同缺陷的防振锤尺寸,设计适应不同类别的多尺度卷积注意力机制,使网络重点关注图像中的防振锤区域;其次,引入结构重参数化方法,以将网络中的多分支结构无损失地转换为单分支结构,在提高网络检测性能的同时维持检测速度在较高水平;最后,以渐进式特征金字塔网络结构(AFPN)为基础,融合更多的浅层网络,提高了网络检测防振锤小目标的能力。实际收集的防振锤缺陷数据集实验结果表明,设计的检测方法可显著提升防振锤缺陷检测的性能,检测精度mAP0.5达到了91.9%,在TITAN XP平台下检测速度达60.88帧/s,可为输电线路防振锤智能化巡检提供参考。

融合CNN-BiGRU和注意力机制的网络入侵检测模型

为提高网络入侵检测模型特征提取能力和分类准确率,提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征;双向门控循环单元(BiGRU)提取数据集中的时序特征,最后融合注意力机制对不同类型流量数据通过加权的方式进行重要程度的区分,从而整体提高该模型特征提取与分类的性能.实验结果表明:其整体精确率比双向长短期记忆网络(BiLSTM)模型提升了2.25%.K折交叉验证结果表明:该模型泛化性能良好,避免了过拟合现象的发生,印证了该模型的有效性与合理性.

基于注意力机制LSTM的电离层TEC预测

电离层总电子含量(Total Electron Content,TEC)的监测与预报是空间环境研究的重要内容,对卫星通讯和导航定位等有重要意义.TEC值影响因素较多,很难确定精确物理模型来对其进行预测.本文设计了基于注意力机制的LSTM模型(Att-LSTM),采用过去24小时TEC观测数据对未来TEC进行预测.选择北半球东经100°上,每2.5°纬度选择一个位置,共计36个位置来验证本文提出模型的性能,并与主流的深度学习模型如DNN、RNN、LSTM进行对比实验.取得了如下成果:(1)在选定的36个地区未来2小时单点预测上,基于本文的Att-LSTM模型的TEC预测性能明显优于其他对比模型;(2)讨论了纬度对Att-LSTM预测未来2小时TEC值时性能的影响,发现在北纬0°到60°之间,Att-LSTM预测性能随着纬度的升高而略有降低,在北纬62.5°~87.5°之间,模型预测性能出现扰动,预测效果略差;(3)讨论了磁暴期和磁静期模型的预测性能,发现无论是磁暴期还是磁静期,本文模型预测性能均较好;(4)还讨论了对未来多时点预测效果,实验结果表明,本文所提出的模型对未来2、4个小时的预测拟合度R-Square均超过0.95,预测结果比较可靠,对未来6、8、10个小时预测拟合度最高为0.7934,预测拟合度R-Square下降迅速,预测结果不可靠.

基于注意力机制的轻量化YOLO v5s蓝莓检测算法

为实现自然环境下蓝莓的精确快速检测,在YOLO v5s的基础上提出了一种结合轻量级网络和注意力机制的改进算法。首先,在主干网络和检测头的位置去除了最大目标检测层的结构,因而降低模型的参数量,增强模型对小目标的检测能力。其次,将MHSA(Multi‐head self‐attention,多头自注意力)替换了SPPF(Spatial pyramid pooling‐fast,快速空间金字塔池化)前面的C3模块,使模型学习到更全面的特征表示,增强模型对蓝莓图像中复杂空间关系和上下文信息的理解能力。最后,在C3模块中加入了S-PSA(Sequential polarized self‐attention,顺序极化自注意力),以便模型能够更好地捕捉特征图中相邻区域之间的上下文依赖关系。结果表明,改进后的YOLO v5s算法对成熟、半成熟和未成熟蓝莓的检测精度分别提升1.2、4.4、2.6百分点,平均精度提升2.7百分点,模型参数量减少76.0%。与当前主流轻量化目标检测模型相比,改进后的模型性能更加优越,能为自然环境下蓝莓采摘机器人视觉系统提供一种有效的方案。

基于混合注意力机制的管道漏磁缺陷分类实验

该文将管道漏磁缺陷分类任务设计成应用型教学实验。该实验使用迁移学习的方法,调用预训练模型ResNet50,并插入主流的注意力机制(SE、CA、ECA、CBAM)进行对比分析。同时,利用Grad-CAM++可解释算法对模型内部的识别逻辑进行可视化,以便帮助学生更好地理解模型。实验结果显示,插入注意力机制的最优模型准确率达99.7%,能够有效识别管道中的正常情况和分类缺陷情况。该实验依托高性能计算机硬件和最新的Pytorch2.0软件包搭建了深度学习平台,有助于培养学生的创新意识和科研能力,也是对多学科交叉融合人才培养模式的探索和实践。

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。

基于注意力机制和特征融合的股票预测方法

基于人工智能在金融数据中的应用,提出了一种新的股票预测方法,称为AFG。AFG使用位置编码和时间编码获取股票数据的位置信息和时间信息,然后通过门控循环单元和多头自注意力机制对股票数据分别进行特征提取。在将两类股票特征融合之后,由全连接层导出最终的股票预测曲线。

基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

联合异质图卷积网络和注意力机制的假新闻检测

社交媒体平台的开放性和包容性为人们提供了自由的表达方式,但也引发了新的社会问题,假新闻在社交平台层出不穷,会引起公众恐慌,侵害人们的精神健康,这使得假新闻检测尤为必要.现有的假新闻检测方法大多侧重于从文本内容、用户和传播模式中挖掘有效信息,但是这些方法没有充分利用文本内容的全局语义关系.为了有效融合新闻内容的全局语义信息和新闻传播的全局结构关系,本文提出一种基于元路径的推文-词-用户异质图卷积注意力框架HGCAN,根据元路径将构建的推文-词-用户异质图分解为两个子图,通过图卷积网络提取传播结构特征,利用注意力机制聚合邻居节点的信息并学习子图重要性,从而有效学习节点的特征表示.在两个公开数据集上的实验结果表明,相比于其他方法,本文方法在准确率和F1指标上都取得了较为先进的结果.

基于溯源图和注意力机制的APT攻击检测模型构建

针对现有攻击检测方法难以应对持续时间长、攻击手段复杂隐蔽的高级持续威胁的问题,构建了基于注意力机制和溯源图的APT攻击检测模型。首先,基于系统的审计日志构建能够描述系统行为的溯源图;其次,设计优化算法,确保在不牺牲关键语义的前提下缩减溯源图规模;再次,利用深度神经网络(DNN)将原始攻击序列转换为语义增强的特征向量序列;最后,设计并实现了APT攻击检测模型DAGCN,该模型将注意力机制应用于溯源图序列,利用该机制对输入序列的不同位置分配不同的权重并进行权值计算,能够提取较长时间内的持续攻击的序列特征信息,从而有效地识别恶意节点,还原攻击过程。该模型在识别精确率等多个指标上均优于现有模型,在公开的APT攻击数据集上的实验结果表明,该模型在APT攻击检测中的精确率达到93.18%,优于现有主流检测模型。

基于注意力机制与光照感知网络的红外与可见光图像融合

部分图像融合方法未充分考虑图像环境的光照状况,导致融合图像中出现红外目标亮度不足以及整体画面亮度较低,从而影响纹理细节的清晰度.为解决上述问题,提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法.首先,在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率,将其运用至融合网络损失函数中,用以指导融合网络训练;然后,在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取,得到空间显著信息后,输入卷积神经网络(CNN)以提取深度特征;最后,将深度特征信息进行拼接用于图像重建,进而得到最终的融合图像.实验结果表明:本文方法的互信息(MI)、视觉保真度(VIF)、平均梯度(AG)、融合质量(Qabf)与空间频率(SF)较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%;融合后的图像能够有效保留红外目标亮度,且包含丰富的纹理细节信息.

嵌入注意力机制的深度可分离卷积SAR目标识别

深度可分离卷积(Depthwise Separable Convolution,DSC)的应用使得深度学习的网络模型轻量化。在此基础上,提出了嵌入注意力机制的DSC合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别方法。通过将DSC与注意力机制结合,提高网络对目标重要特征的学习能力;将多个DSC进行叠加和并联,设计多尺度网络模块,增强不同深度网络的特征提取能力;通过残差连接缓解深层网络的梯度弥散和梯度爆炸问题。使用公开数据集实验表明,所提方法在网络模型参数量较小的情况下,获得99.0%的平均识别率,具有较强的识别优势。

基于注意力机制与LSTM-CCN的月降水量预测

针对现有月降水量预测方法预测准确性不高的问题,提出一种基于注意力机制与LSTM-CCN的月降水量预测方法。首先,利用长短时记忆神经网络(long short-term memory neural network,LSTM)提取气象数据在时间维度的特征分布,从时间相关性方面捕获相邻时间段或长距离气象数据段中的统计分布;其次,利用因果卷积神经网络(causal convolutional network,CCN)将气象数据映射到空间维度,深层次地从空间维度捕获气象数据在空间中的特征统计分布;再次,以并联的方式将时间和空间特征作为交叉注意力网络的输入,构造融合的时空特征;最后,以长短时记忆神经网络构造解码器,并将融合的时空特征作为解码器的输入,预测的月降水量作为输出。选取河南省新乡市2001~2017年数据集进行测试,结果表明:所提出方法的均方根误差仅为13.08 mm,相比主流方法具有更低的预测误差。研究成果可为提高气象预测的准确性和实用性提供参考。

基于局部-邻域图信息与注意力机制的会话推荐

针对基于匿名用户的会话推荐忽略了不同会话之间可能存在的协作信息,以及未考虑所预测的目标项与历史行为的相关性问题,提出一种基于局部-邻域图信息与注意力机制的会话推荐模型(SR-LNG-AM)。从当前会话和邻域会话构建的图结构中分别学习两种类型的项目转换信息,将其融合得到项目嵌入。使用软注意力机制生成全局嵌入,使用目标注意力机制针对不同的目标项自适应生成不同的目标嵌入。结合局部嵌入,进行预测。在两个真实数据集上与多个基线方法进行实验对比,实验指标均有提高,验证了该方法的有效性。

结合改进ShuffleNet-V2和注意力机制的无人机图像自主分类预警框架

为实现灾难事件的无人机(Unmanned Aerial Vehicle,UAV)自主监测和预警,提出了结合逐通道注意力机制和高效卷积神经网络的新架构。考虑到嵌入式平台的资源限制条件,使用轻量级ShuffleNet-V2作为骨干网络,能够对更多信息进行高效编码并尽可能降低网络复杂度。为进一步提高灾难场景分类的准确度,在ShuffleNet-V2网络中结合了挤压-激发(Squeeze-Excitation,SE)模块以实现逐通道注意力机制,显著增强分类网络对重要特征的关注度。通过数据采集和增强技术获得包括12876张图像的UAV航拍灾难事件数据集,对所提方法进行性能评估,并比较所提方法与其他先进模型的性能。结果表明,所提方法取得了99.01%的平均准确度,模型大小仅为5.6 MB,且在UAV机载平台上的处理速度超过10 FPS,能够满足UAV平台自主灾情监测任务的现实需求。

多尺度卷积与双注意力机制融合的入侵检测方法

为提高互联网入侵检测方法的准确率,提出一种卷积神经网络与注意力机制结合的入侵检测方法。利用Borderline-SMOTE过采样算法和MinMax归一化对数据进行预处理,有效缓解入侵数据量差异较大问题,提升非平衡数据检测性能;使用卷积神经网络Inception结构多尺度对数据进行特征提取,并配合注意力机制进行维度更新,提高模型处理海量数据时特征表达的准确性。研究结果表明:入侵检测方法的平均准确率为99.57%;相较于SVM方法、CNN方法、RNN方法、BLS-GMM方法,准确率分别提升了4.48%、1.35%、1.62%和0.04%,召回率分别提高了4.48%、1.36%、1.62%和0.14%。

基于注意力机制和CNN的多标签文本分类模型

针对目前多标签文本分类模型存在无法充分提取文本语义与标签的相互关系,提出一种基于注意力机制和卷积神经网络(CNN)的多标签文本分类模型。通过多头注意力机制和CNN对文本进行建模表示,充分挖掘文本全局和局部的语义特征;结合标签与文本信息进行交互注意力计算,捕捉结合文本内容后标签间的相互关系;使用一种自适应融合策略进一步提取两者语义信息。实验结果表明,该模型相比于其他主流模型能有效提升多标签文本分类效果。

基于重参数化的注意力机制算法

为提高注意力机制对深度神经网络准确率的提升效果,提出一种重参数化通道注意力模块(RCAM)。鉴于挤压激励网络的通道压缩方法对网络精度存在较大误差,故提出一种基于重参数化技术的通道重参数化模块,将此模块与注意力机制进行有效结合;按集成策略消融实验所获得的结果,将此注意力模块放置进主干网络中。实验结果表明,在公共数据集CIFAR-100和ImageNet-100,主干网络为RepVGG_A0、ResNet-18时,其准确率分别较未添加注意力机制的网络提升了2.37%和1.72%,1.61%和0.71%,将结果与其它注意力机制进行比较,验证了基于重参数化的注意力机制对主干网络的提升远优于其它方法。