基于多重注意力卷积神经网络双向门控循环单元的机械故障诊断方法研究

为解决传统机械故障诊断方法需要人工提取特征的不足,提出一种基于多重注意力卷积神经网络双向门控循环单元(multiple attention-convolutional neural networks-bidirectional gated recurrent unit,MA-CNN-BiGRU)的端到端的故障诊断方法。首先将原始时域数据输入卷积神经网络(convolutional meural networks,CNN)进行初步特征提取并降维,然后将结果重组输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),可以有效地解决BiGRU对于过长序列数据处理困难的问题。采用美国凯斯西储大学开源轴承数据集进行训练,确定了最佳卷积层数和最佳样本长度约减比例分别为2和1/8。同时,通过在CNN和BiGRU中分别加入卷积注意力模块(convolutional block attention module,CBAM)和序列注意力模块(sequence attention module,SAM),进一步加强了模型对于关键信息的提取能力。最后实测柴油机故障振动信号试验表明:MA-CNN-BiGRU模型可以实现端到端的故障诊断,与变分模态分解(variational mode decomposition,VMD)核模糊C均值聚类算法(VMD-kernel fuzzy C-means clustering,VMD-KFCM)、VMD-反向传播神经网络(back propagation neural network,BPNN)和一维CNN等方法进行对比,MA-CNN-BiGRU模型的故障诊断性能更优。

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断。在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法。将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息。实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率。

基于注意力机制的卷积时序神经网络检测阵发性房颤模型

目的为从动态心电图中准确、有效、快速地检测阵发性房颤(Paroxysmal Atrial Fibrillation,PAF),降低患者的发病率和死亡率,设计一种基于注意力机制的卷积时序神经网络检测阵发性房颤的混合模型。方法该算法首先通过卷积神经网络提取心电信号特征,然后由注意力机制帮助网络聚焦于重点信息部分,最后输入双向门控循环单元用于上下文信息的联系,从而准确检测PAF。结果该模型使用Physionet 2021数据库作为预训练,在CPSC2021数据库上进行迁移学习,其灵敏度、特异性、准确度分别为96.86%、98.56%、98.54%。结论相较于其他算法,该算法能够有效检测PAF,具有潜在的临床应用价值。

融合注意力机制的混合神经网络文本情感分析模型

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。

融合CNN-BiGRU和注意力机制的网络入侵检测模型

为提高网络入侵检测模型特征提取能力和分类准确率,提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征;双向门控循环单元(BiGRU)提取数据集中的时序特征,最后融合注意力机制对不同类型流量数据通过加权的方式进行重要程度的区分,从而整体提高该模型特征提取与分类的性能.实验结果表明:其整体精确率比双向长短期记忆网络(BiLSTM)模型提升了2.25%.K折交叉验证结果表明:该模型泛化性能良好,避免了过拟合现象的发生,印证了该模型的有效性与合理性.

基于交叉注意力的多源数据融合的气体泄漏检测

为解决单一传感器在管道气体泄漏检测时容易出现误报、漏报的问题,及时预警并反馈泄漏状况,提出一种基于交叉注意力的多源数据融合管道泄漏检测方法。首先,利用预训练的ShuffleNetV2模型提取热像仪数据的空间特征;然后,结合一维卷积神经网络(1DCNN)和双向门控循环单元(BiGRU),构建1DCNN-BiGRU模型,以提取气体传感器数据的时序特征;最后,运用交叉注意力捕获数据的时空关联性得到2个数据源的特征表示,通过残差方式进行特征连接后输入到分类层中,得到识别结果。结果表明:所构建的多源数据融合模型(SCGA)对气体识别准确率为99.22%,损失值在0~0.04内波动;与仅使用气体传感器数据的支持向量机(SVM)、1DCNN、BiGRU模型相比,准确率至少提升4.12%;与仅使用热图像传感器数据的MobileNetV3、ShuffleNetV2、ResNet18模型相比,准确率至少提升1.14%;与将时序特征和空间特征直接拼接的多源数据融合模型(SCG)相比,准确率提升1%。SCGA模型对气体识别具有较高精度。

一种融合注意力机制的CNN-BiGRU磁盘故障预测方法研究

磁盘作为重要的存储介质,一旦出现故障很可能会导致存储数据丢失,给个人及企业带来难以估量的损失。现有磁盘故障预测模型存在不能很好地平衡磁盘数据样本、未充分利用磁盘数据的时序特性等问题。以Backblaze云存储公司公布的真实磁盘数据为研究对象,提出了一种融合注意力机制的卷积神经网络(CNN)和双向门控循环单元(BiGRU)网络的磁盘故障预测模型。在数据预处理方面,采用负采样与焦点损失函数来平衡正负样本,利用CNN进行特征提取,并结合BiGRU网络来有效地处理时序数据。通过融合注意力机制,能够让模型快速地捕捉更多关键特征信息,将筛选出的特征与数据输入模型进行训练。通过对比其他故障预测模型,本文提出的模型在精确率等4个评价指标上均有1%~7%的性能提升,为提高磁盘存储的可靠性提供了有力的支撑。

基于注意力机制的CNN-BIGRU短期电价预测

针对短期电价预测的复杂性和精确度较差的问题,本文提出一种基于注意力机制的卷积神经网络和双向门控循环单元网络的短期电价预测模型。该模型将历史电价数据经过数据预处理后作为输入,首先利用卷积神经网络提取历史电价序列中的特征;其次,将提取的特征向量构造成时间序列输入到双向门控循环单元网络,充分挖掘特征内部的变化规律进行训练;然后,引入注意力机制来突出重要信息的影响并赋予权重,利用注意力机制对双向门控循环单元网络每个时间步的输出进行加权求和;最后,在全连接层通过激活函数计算输出最终预测值。通过实例验证了本文所提模型的准确性。

基于混合神经网络的实体关系抽取方法研究

实体关系抽取是信息抽取领域的重要研究内容,对知识库的自动构建起着至关重要的作用。针对非结构化文本实体关系抽取存在上下文环境信息难以准确表征,致使现有抽取模型准确率不能满足实际应用需求的问题,该文提出了一种新型的实体关系抽取模型BiGRU-Att-PCNN。该模型是基于混合神经网络,首先,构建双向门控循环单元(BiGRU)以更好地获取文本序列中的上下文语序的相关信息;然后,采用注意力(Attention)机制来达到自动关注对关系影响力高的序列特征的目的;最后,通过采用分段卷积神经网络(PCNN),从调整后的序列中较好地学习到了相关的环境特征信息来进行关系抽取。该模型在公开的英文数据集SemEval 2010 Task 8上取得了86.71%的F_(1)值,实验表明,该方法表现出了较好的性能,为信息抽取领域实体关系的自动获取提供了新的方法支持。

基于注意力机制的CNN和BiGRU的加密流量分类

针对传统加密流量分类方法准确率低、利用流量载荷会侵犯用户隐私,以及泛化能力弱的问题,提出一种基于注意力机制的CNN和BiGRU(CNN-AttBiGRU)的加密流量分类方法,可以同时适用于常规加密和VPN、Tor加密流量。该方法基于包大小、包到达时间以及包到达方向将流量转化为直观的图片,为提高模型准确率,使用CNN提取流量图片的空间特征,同时设计BiGRU和Self-attention模型提取时间特征,充分利用流量图片的时间和空间特征,可按照流量类别、加密技术和应用类型对流量进行不同层面的分类。该方法对加密流量类别分类的平均准确率达95.2%,较以往提升11.65%;对加密技术分类的准确率达95.5%,较以往提升7.1%;对流量所使用的应用程序分类的准确率达99.8%,较以往提升11.03%。实验结果表明,CNN-AttBiGRU方法的泛化能力强,并且其仅利用加密流量的部分统计特征,有效地保护了用户隐私,同时取得了高准确率。

基于注意力机制的CNN-BiGRU模型预测风力发电功率

风能作为清洁能源,在新能源领域深受重视,但由于风力发电不稳定的出力情况制约着其应用和发展,预测其下一阶段工作功率可以有效提高能源的利用,降低系统维护难度。基于风电场的历史时序数据、风速和叶片桨距角数据,针对风电场的短期功率预测提出一种基于注意力机制的卷积神经网络(CNN)和双向门控制循环单元(BiGRU)的融合模型(CNN-BiGRU-AM)。首先通过CNN提取数据的空间特征,再将其所获取的特征传递到BiGRU,通过BiGRU学习时间特征,最后通过注意力机制捕获两个模型输出的关键时空特征,通过训练后的参数建立模型,将数值气象预报(NWP)的风速等数据输入模型中,输出所需求的风力发电功率预测结果。输出的风力发电功率预测结果由平均绝对误差(MAE)和均方根误差(RMSE)来评估模型预测的精度,并将多个经典模型、不加注意力机制的融合模型、不同位置引入注意力机制的融合模型和此模型预测效果进行对比,结果显示本文所提出的模型精度更高更稳定。

基于时间模式注意力机制的CNN-BiGRU短期负荷预测

准确的短期负荷预测可以缓解电力供需矛盾,协调负荷管理,保障电力系统安全。短期电力负荷具有很强的非线性和时间依赖性,并与气候变化和实时电价等诸多外部因素有关,给精准预测短期负荷带来了困难。为此,提出一种基于时间模式注意力(temporal pattern attention, TPA)机制的卷积神经网络(convolutional neural network, CNN)-双向门控循环单元(bidirectional gated recurrent unit, BiGRU)短期负荷预测方法。其中,卷积神经网络用于挖掘不同输入变量与当前负荷间的非线性空间联系,双向门控循环单元用于从时间序列中捕获长期依赖关系,时间模式注意力机制引入以自适应加权赋予特征权重,突出重要信息,实现短期负荷预测。以澳大利亚公开负荷数据集作为实例验证所提方法的效果,预测精度达到了97.651%,与CNN-LSTM、RNN预测模型进行对比,精度分别提高了0.531%和5.992%,实验结果表明:所提的TPA-CNN-BiGRU预测方法具有更高的预测精度和普适性。

基于多层注意力机制的4DC-BGRU脑电情感识别

为了提高脑电情感识别的准确率,提取更丰富的特征信息,提升网络模型稳定性,提出一种改进的基于多层注意力机制的脑电情感识别模型。在特征提取方面,将原始脑电信号转换成四维空间-频谱-时间结构,提取丰富的脑电信息。在网络模型方面,构建双路卷积神经网络学习空间及频率信息,有效提取多尺度特征,增加网络宽度来学习更丰富的特征信息;在卷积层及池化层后融入批量归一化层,防止过拟合。最后,构建多层注意力机制-双向门控循环单元模块处理时间特征并配合Softmax分类。采用双向门控循环单元学习更全面的上下级特征信息。利用多层注意力机制使四维特征中不同时间切片与整体时间切片之间产生关联。该文在DEAP数据集唤醒度和效价两个维度进行了评估实验,二分类平均准确率分别为96.38%和96.73%,四分类平均准确率为93.78%。实验结果显示,与单路卷积神经网络及其他文献算法相比,该文算法的平均准确率有所提高,表明该算法可以有效提升脑电情感识别性能。

基于并行混合网络与注意力机制的文本情感分析模型

现有基于深度学习和神经网络的文本情感分析模型通常存在文本特征提取不全面,且未考虑关键信息对文本情感倾向的影响等问题。基于并行混合网络与双路注意力机制,提出一种改进的文本情感分析模型。根据不同神经网络的特点分别采用GloVe和Word2vec两种词向量训练工具将文本向量化,得到更丰富的文本信息。将两种不同的词向量并行输入由双向门控循环单元与卷积神经网络构建的并行混合网络,同时提取上下文全局特征与局部特征,提高模型的特征提取能力。使用双路注意力机制分别对全局特征和局部特征中的关键信息进行加强处理及特征融合,增强模型识别关键信息的能力。将融合后的整个文本特征输入全连接层,实现最终的情感极性分类。在IMDb和SST-2公开数据集上的实验结果表明,该模型的分类准确率分别达到91.73%和91.16%,相比于同类文本情感分析模型有不同程度的提升,从而证明了双路注意力机制可以更全面地捕获文本中的关键信息,提高文本情感分类效果。

基于DCNN网络及Self-Attention-BiGRU机制的轴承剩余寿命预测

深度神经网络在剩余寿命预测(RUL)领域得到了广泛的应用。传统的滚动轴承寿命预测模型存在预测精确度较低、鲁棒性较弱的问题。为了进一步提升预测模型的精确度以及鲁棒性,提出了一种融合深度卷积神经网络(DCNN)、双向门控循环单元(BiGRU)以及自注意力机制(Self-Attention)三种模块的滚动轴承剩余使用寿命预测模型。首先,利用DCNN网络对原始振动信号的时域特征、频域特征进行了提取;然后,使用不确定量化的方法对提取到的特征进行了评价和筛选,利用筛选过后的特征构建了新的替代特征集;最后,利用Self-Attention-BiGRU网络对轴承的剩余使用寿命进行了预测,并在IEEE PHM2012数据集上进行了验证。实验结果表明:相较于BiGRU、GRU和BiLSTM三种模型的预测结果,基于DCNN及Self-Attention-BiGRU方法的预测结果最优,两项误差值:平均绝对误差(MAE)、均方根误差(RMSE)最低,其中工况一的一号轴承RUL预测的MAE值相较于BiGRU、GRU以及BiLSTM网络分别下降了7.0%、7.4%和6.5%,RMSE值相较于其他三种模型分别下降了7.6%、8.4%和6.9%,预测的Score值最高,分值为0.985。通过不同数据集的划分,证明了该方法在轴承RUL预测时的强鲁棒性。实验结果验证了基于DCNN网络及Self-Attention-BiGRU模型在轴承剩余使用寿命预测中的有效性。

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network,CNN)和循环神经网络(recurrent neural network,RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明:提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.

基于语言学特征与层次注意力机制的幽默识别

结合英文幽默语言学特征,提出基于语音、字形和语义的层次注意力神经网络模型(PFSHAN)进行幽默识别。在特征提取阶段,将幽默文本表示为音素、字符以及携带歧义性等级信息的语义形式,分别采用卷积神经网络、双向门控循环单元和注意力机制提取PFSHAN模型的语音、字形和语义特征。在特征融合阶段,针对不同单词对幽默语言学特征的贡献程度不同,且不同幽默语言学特征和语句之间关联程度不同的问题,采用层次注意力机制调整不同幽默语言学特征对于PFSHAN模型性能的影响。在Puns和Onliner数据集上的实验结果表明,PFSHAN模型的F1值分别为91.03%和91.11%,能有效提高幽默识别性能。

自注意力机制和BiGRU相结合的文本分类研究

在文本分类任务中,双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)被广泛使用,其不仅能提取文本上下文语义信息和长距离依赖关系,还可以避免出现传统RNN中存在的梯度弥散或爆炸问题.然而,BiGRU在捕获文本局部特征方面存在不足.本文提出一种基于自注意力和双向门控循环单元的文本分类模型(Self-attention and Bidirectional-gated-recurrent Unit based Text Classification,SBUTC),利用自注意力机制关注对分类贡献较大的文本部分,使用含有不同尺寸卷积核的多通道CNN提取不同粒度的文本局部特征;通过含有跳层连接结构的堆叠BiGRU网络提取文本间上下文语义信息和长距离依赖关系;将CNN和BiGRU的输出进行特征融合,训练分类器对不同类型的文本信息进行分类.在ChnSentiCorp数据集和THUCNews_Title数据集上的对比实验结果表明,本文提出的模型在分类准确率和F1值上优于其他对比模型.

融合自注意力机制与CNN-BiGRU的事件检测

基于卷积神经网络和循环神经网络的事件检测已得到广泛研究。然而卷积神经网络只能考虑卷积窗口内的局部信息,忽略了词语的上下文联系。循环神经网络存在梯度消失和短期记忆的问题,且其变体门控循环单元无法得到每个词语的特征。为此,提出一种基于自注意力机制与卷积双向门控循环单元模型的事件检测方法。该模型将词向量和位置向量作为输入,不仅能够通过卷积操作提取不同粒度的词汇级特征,通过双向门控循环单元提取句子级特征,而且通过自注意力机制考虑全局信息,关注对事件检测更重要的特征。将提取的词汇级特征和句子级特征拼接作为联合特征,通过softmax分类器进行候选词分类,从而完成事件检测任务。实验结果显示,在ACE2005英文语料上,事件检测中触发词识别和分类的F值分别达到78.9%和76.0%,优于基线事件检测方法的结果,且模型表现出更好的收敛性。实验结果表明,所提出的基于自注意力机制与卷积双向门控循环单元模型有良好文本特征提取能力,提升了事件检测的性能。

基于注意力机制的CRNN文本分类算法

为增强文本特征的表达能力,提出一种基于注意力机制(Attention)的卷积循环神经网络(CRNN)的文本分类算法。把预训练好的词向量作为输入,使用卷积神经网络(CNN)提取文本向量的特征;利用双向门控循环单元(BiGRU)捕获文本中的词序信息,提取文本的上下文依赖关系并结合Attention机制识别不同特征的重要性;使用Highway网络进行特征优化。将该模型在20Newsgroups、SST-1和SST-2这3个英文语料上进行实验,实验结果表明,该模型有效提高了分类任务的准确率。