基于重参数化的注意力机制算法

为提高注意力机制对深度神经网络准确率的提升效果,提出一种重参数化通道注意力模块(RCAM)。鉴于挤压激励网络的通道压缩方法对网络精度存在较大误差,故提出一种基于重参数化技术的通道重参数化模块,将此模块与注意力机制进行有效结合;按集成策略消融实验所获得的结果,将此注意力模块放置进主干网络中。实验结果表明,在公共数据集CIFAR-100和ImageNet-100,主干网络为RepVGG_A0、ResNet-18时,其准确率分别较未添加注意力机制的网络提升了2.37%和1.72%,1.61%和0.71%,将结果与其它注意力机制进行比较,验证了基于重参数化的注意力机制对主干网络的提升远优于其它方法。

基于注意力机制和迁移学习的服装分类方法

针对服装图像分类效率低、准确率不高等问题,提出了一种基于注意力机制和迁移学习的服装图像分类方法。主要采用预训练的ResNet50网络模型在服装数据集上进行迁移学习,以降低对数据集的依赖,并减少网络训练时间;通过几何变换和颜色抖动2种数据增强手段处理数据集,提高模型的泛化能力;以ResNet50为基础网络,加入卷积注意力机制模块(convolutional block attention module, CBAM),依次从通道和空间2个维度提高对服装不同区域的关注度,增强了特征表达能力。在CD和IDFashion两类背景干扰信息不同的数据集上进行验证,实验结果表明:所提出的模型能够提取更多服装特征信息,在IDFashion数据集的平均分类准确率为95.60%,分别高于ResNet50、ResNet50+STN和ResNet50+ECA模型6.65%、6.69%、6.62%,一定程度上提高了服装图像分类的准确率和效率。

基于探针稀疏注意力机制的门控Transformer模型

在强化学习中,智能体对状态序列进行编码,根据历史信息指导动作的选择,通常将其建模为递归型神经网络,但其存在梯度消失和梯度爆炸的问题,难以处理长序列。以自注意力机制为核心的Transformer是一种能够有效整合长时间范围内信息的机制,将传统Transformer直接应用于强化学习中存在训练不稳定和计算复杂度高的问题。门控Transformer-XL(GTrXL)解决了Transformer在强化学习中训练不稳定的问题,但仍具有很高的计算复杂度。针对此问题,本研究提出了一种具有探针稀疏注意力机制的门控Transformer(PS-GTr),其在GTrXL中的恒等映射重排和门控机制的基础上引入了探针稀疏注意力机制,降低了时间复杂度和空间复杂度,进一步提高了训练效率。通过实验验证,PS-GTr在强化学习任务中的性能与GTrXL相当,而且训练时间更短,内存占用更少。

基于ResNet和双注意力机制的赤足图像年龄预测

足迹是人在行走时足部与地面等客体接触时所留下的痕迹,也是犯罪现场嫌疑人最容易遗留的生物特征之一,它隐含着人体的身高、体重、性别和年龄等身份属性信息,利用足迹信息进行人的年龄预测,对指明侦察方向和缩小侦察范围有着极其重要的意义.传统侦查工作中,刑侦专家会依据积累的案件经验,依据现场遗留的足迹进行嫌疑人身份和属性的预测,但这个过程需要大量的领域知识,据此,提出了基于赤足图像的年龄自动预测方法,其由伪彩色变换模块、在线随机几何变换模块、特征提取模块、空间注意力模块和年龄预测模块组成.算法在由1 818幅赤足灰度图像组成的数据集上进行了测试,预测准确率指标Acc_5和Acc_10分别达到了55.5%和83.4%,优于现有的年龄预测方法.

融合CNN-BiGRU和注意力机制的网络入侵检测模型

为提高网络入侵检测模型特征提取能力和分类准确率,提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征;双向门控循环单元(BiGRU)提取数据集中的时序特征,最后融合注意力机制对不同类型流量数据通过加权的方式进行重要程度的区分,从而整体提高该模型特征提取与分类的性能.实验结果表明:其整体精确率比双向长短期记忆网络(BiLSTM)模型提升了2.25%.K折交叉验证结果表明:该模型泛化性能良好,避免了过拟合现象的发生,印证了该模型的有效性与合理性.

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

基于多尺度卷积注意力机制的输电线路防振锤缺陷检测

作为输电线路中的重要金具部件,防振锤的缺陷将对输电线路构成严重威胁。针对由于防振锤缺陷样本数量稀少、背景复杂、区域形状尺寸不一造成的防振锤缺陷识别能力不足的问题,提出一种基于多尺度卷积注意力机制的防振锤缺陷检测方法。首先,通过统计不同缺陷的防振锤尺寸,设计适应不同类别的多尺度卷积注意力机制,使网络重点关注图像中的防振锤区域;其次,引入结构重参数化方法,以将网络中的多分支结构无损失地转换为单分支结构,在提高网络检测性能的同时维持检测速度在较高水平;最后,以渐进式特征金字塔网络结构(AFPN)为基础,融合更多的浅层网络,提高了网络检测防振锤小目标的能力。实际收集的防振锤缺陷数据集实验结果表明,设计的检测方法可显著提升防振锤缺陷检测的性能,检测精度mAP0.5达到了91.9%,在TITAN XP平台下检测速度达60.88帧/s,可为输电线路防振锤智能化巡检提供参考。

基于混合注意力机制的管道漏磁缺陷分类实验

该文将管道漏磁缺陷分类任务设计成应用型教学实验。该实验使用迁移学习的方法,调用预训练模型ResNet50,并插入主流的注意力机制(SE、CA、ECA、CBAM)进行对比分析。同时,利用Grad-CAM++可解释算法对模型内部的识别逻辑进行可视化,以便帮助学生更好地理解模型。实验结果显示,插入注意力机制的最优模型准确率达99.7%,能够有效识别管道中的正常情况和分类缺陷情况。该实验依托高性能计算机硬件和最新的Pytorch2.0软件包搭建了深度学习平台,有助于培养学生的创新意识和科研能力,也是对多学科交叉融合人才培养模式的探索和实践。

基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。

基于语义拼写理解和门控注意力机制的不良言论检测

如何自动检测网络传播的不良言论信息是自然语言处理研究领域的热门研究内容之一。针对不良言论中语义表达和拼写习惯的特点,提出一种基于语义拼写理解和门控注意力机制的不良言论检测方法。该方法采用自注意力机制获取文本的语义特征,采用卷积神经网络提取文本的拼写特征,采用前期特征融合和门控注意力机制相结合的方式融合语义和拼写特征。在两个公共数据集上的实验结果表明,提出的模型能够有效地提取不良言论的语义特征,提高不良言论检测的性能。

基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

基于注意力机制和特征融合的股票预测方法

基于人工智能在金融数据中的应用,提出了一种新的股票预测方法,称为AFG。AFG使用位置编码和时间编码获取股票数据的位置信息和时间信息,然后通过门控循环单元和多头自注意力机制对股票数据分别进行特征提取。在将两类股票特征融合之后,由全连接层导出最终的股票预测曲线。

基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于溯源图和注意力机制的APT攻击检测模型构建

针对现有攻击检测方法难以应对持续时间长、攻击手段复杂隐蔽的高级持续威胁的问题,构建了基于注意力机制和溯源图的APT攻击检测模型。首先,基于系统的审计日志构建能够描述系统行为的溯源图;其次,设计优化算法,确保在不牺牲关键语义的前提下缩减溯源图规模;再次,利用深度神经网络(DNN)将原始攻击序列转换为语义增强的特征向量序列;最后,设计并实现了APT攻击检测模型DAGCN,该模型将注意力机制应用于溯源图序列,利用该机制对输入序列的不同位置分配不同的权重并进行权值计算,能够提取较长时间内的持续攻击的序列特征信息,从而有效地识别恶意节点,还原攻击过程。该模型在识别精确率等多个指标上均优于现有模型,在公开的APT攻击数据集上的实验结果表明,该模型在APT攻击检测中的精确率达到93.18%,优于现有主流检测模型。

联合异质图卷积网络和注意力机制的假新闻检测

社交媒体平台的开放性和包容性为人们提供了自由的表达方式,但也引发了新的社会问题,假新闻在社交平台层出不穷,会引起公众恐慌,侵害人们的精神健康,这使得假新闻检测尤为必要.现有的假新闻检测方法大多侧重于从文本内容、用户和传播模式中挖掘有效信息,但是这些方法没有充分利用文本内容的全局语义关系.为了有效融合新闻内容的全局语义信息和新闻传播的全局结构关系,本文提出一种基于元路径的推文-词-用户异质图卷积注意力框架HGCAN,根据元路径将构建的推文-词-用户异质图分解为两个子图,通过图卷积网络提取传播结构特征,利用注意力机制聚合邻居节点的信息并学习子图重要性,从而有效学习节点的特征表示.在两个公开数据集上的实验结果表明,相比于其他方法,本文方法在准确率和F1指标上都取得了较为先进的结果.

多尺度卷积与双注意力机制融合的入侵检测方法

为提高互联网入侵检测方法的准确率,提出一种卷积神经网络与注意力机制结合的入侵检测方法。利用Borderline-SMOTE过采样算法和MinMax归一化对数据进行预处理,有效缓解入侵数据量差异较大问题,提升非平衡数据检测性能;使用卷积神经网络Inception结构多尺度对数据进行特征提取,并配合注意力机制进行维度更新,提高模型处理海量数据时特征表达的准确性。研究结果表明:入侵检测方法的平均准确率为99.57%;相较于SVM方法、CNN方法、RNN方法、BLS-GMM方法,准确率分别提升了4.48%、1.35%、1.62%和0.04%,召回率分别提高了4.48%、1.36%、1.62%和0.14%。

嵌入注意力机制的深度可分离卷积SAR目标识别

深度可分离卷积(Depthwise Separable Convolution,DSC)的应用使得深度学习的网络模型轻量化。在此基础上,提出了嵌入注意力机制的DSC合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别方法。通过将DSC与注意力机制结合,提高网络对目标重要特征的学习能力;将多个DSC进行叠加和并联,设计多尺度网络模块,增强不同深度网络的特征提取能力;通过残差连接缓解深层网络的梯度弥散和梯度爆炸问题。使用公开数据集实验表明,所提方法在网络模型参数量较小的情况下,获得99.0%的平均识别率,具有较强的识别优势。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于注意力机制和CNN的多标签文本分类模型

针对目前多标签文本分类模型存在无法充分提取文本语义与标签的相互关系,提出一种基于注意力机制和卷积神经网络(CNN)的多标签文本分类模型。通过多头注意力机制和CNN对文本进行建模表示,充分挖掘文本全局和局部的语义特征;结合标签与文本信息进行交互注意力计算,捕捉结合文本内容后标签间的相互关系;使用一种自适应融合策略进一步提取两者语义信息。实验结果表明,该模型相比于其他主流模型能有效提升多标签文本分类效果。

基于注意力机制LSTM的电离层TEC预测

电离层总电子含量(Total Electron Content,TEC)的监测与预报是空间环境研究的重要内容,对卫星通讯和导航定位等有重要意义.TEC值影响因素较多,很难确定精确物理模型来对其进行预测.本文设计了基于注意力机制的LSTM模型(Att-LSTM),采用过去24小时TEC观测数据对未来TEC进行预测.选择北半球东经100°上,每2.5°纬度选择一个位置,共计36个位置来验证本文提出模型的性能,并与主流的深度学习模型如DNN、RNN、LSTM进行对比实验.取得了如下成果:(1)在选定的36个地区未来2小时单点预测上,基于本文的Att-LSTM模型的TEC预测性能明显优于其他对比模型;(2)讨论了纬度对Att-LSTM预测未来2小时TEC值时性能的影响,发现在北纬0°到60°之间,Att-LSTM预测性能随着纬度的升高而略有降低,在北纬62.5°~87.5°之间,模型预测性能出现扰动,预测效果略差;(3)讨论了磁暴期和磁静期模型的预测性能,发现无论是磁暴期还是磁静期,本文模型预测性能均较好;(4)还讨论了对未来多时点预测效果,实验结果表明,本文所提出的模型对未来2、4个小时的预测拟合度R-Square均超过0.95,预测结果比较可靠,对未来6、8、10个小时预测拟合度最高为0.7934,预测拟合度R-Square下降迅速,预测结果不可靠.