融合1D-CNN与BiGRU的类不平衡流量异常检测

网络流量异常检测是利用各种检测技术分析判断网络流量,发现网络中潜在的攻击,是一种有效的网络安全防护方法。针对高维海量数据和不同攻击类别的网络流量数据不均衡而导致检测准确率低、误报率高的问题,提出一种融合一维卷积神经网络(1D-CNN)和双向门控循环单元(BiGRU)的类不平衡流量异常检测模型。首先,针对类不平衡数据,通过使用改进的合成少数类过采样技术(SMOTE)即Borderline-SMOTE和基于高斯混合模型(GMM)的欠采样聚类技术进行平衡处理;然后,使用1D-CNN提取数据的局部特征,并利用BiGRU更好地提取数据中的时序特征;最后,在UNSW-NB15数据集对所提模型进行验证,所提模型的准确率为98.12%,误报率为1.28%。结果表明,所提模型提高了对少数攻击的识别率,检测精度高于其他经典机器学习和深度学习模型。

基于注意力机制的CNN-BIGRU短期电价预测

针对短期电价预测的复杂性和精确度较差的问题,本文提出一种基于注意力机制的卷积神经网络和双向门控循环单元网络的短期电价预测模型。该模型将历史电价数据经过数据预处理后作为输入,首先利用卷积神经网络提取历史电价序列中的特征;其次,将提取的特征向量构造成时间序列输入到双向门控循环单元网络,充分挖掘特征内部的变化规律进行训练;然后,引入注意力机制来突出重要信息的影响并赋予权重,利用注意力机制对双向门控循环单元网络每个时间步的输出进行加权求和;最后,在全连接层通过激活函数计算输出最终预测值。通过实例验证了本文所提模型的准确性。

基于双注意力机制的MSCN-BiGRU的滚动轴承故障诊断方法

针对滚动轴承故障诊断模型在变工况和环境噪声干扰下诊断精度降低的问题,提出一种基于双注意力机制的多尺度卷积网络(dual attention and multi-scale convolutional networks,DAMSCN)与改进的双向门控循环单元(bidirectional gated recurrent unit,BiGRU)组成的故障诊断模型DAMSCN-BiGRU。首先,多尺度特征融合模块使用不同大小的卷积核,获得多种感受野,从而提取到轴承原始振动信号的多尺度特征信息,并根据重要性对其进行自适应融合,然后利用通道注意力和空间注意力组成的双注意力模块(dual attention module,DAM)对多尺度特征进行重新标定,分配注意力权重,削弱融合特征中的冗余特征;然后,增加注意力层和利用分段激活改进BiGRU进而挖掘信号的时域特征,以提高轴承故障诊断的性能;最后,通过Softmax层完成对不同故障的分类。试验结果表明,与其他智能诊断模型相比,DAMSCN-BiGRU在变工况环境下,平均诊断精度达到98.2%,在强噪声背景下仍然有着85.3%的准确率,且在不同程度的噪声强度下效果均优于其他常用模型,有利于促进滚动轴承的智能故障诊断研究和实际应用。

基于DCNN网络及Self-Attention-BiGRU机制的轴承剩余寿命预测

深度神经网络在剩余寿命预测(RUL)领域得到了广泛的应用。传统的滚动轴承寿命预测模型存在预测精确度较低、鲁棒性较弱的问题。为了进一步提升预测模型的精确度以及鲁棒性,提出了一种融合深度卷积神经网络(DCNN)、双向门控循环单元(BiGRU)以及自注意力机制(Self-Attention)三种模块的滚动轴承剩余使用寿命预测模型。首先,利用DCNN网络对原始振动信号的时域特征、频域特征进行了提取;然后,使用不确定量化的方法对提取到的特征进行了评价和筛选,利用筛选过后的特征构建了新的替代特征集;最后,利用Self-Attention-BiGRU网络对轴承的剩余使用寿命进行了预测,并在IEEE PHM2012数据集上进行了验证。实验结果表明:相较于BiGRU、GRU和BiLSTM三种模型的预测结果,基于DCNN及Self-Attention-BiGRU方法的预测结果最优,两项误差值:平均绝对误差(MAE)、均方根误差(RMSE)最低,其中工况一的一号轴承RUL预测的MAE值相较于BiGRU、GRU以及BiLSTM网络分别下降了7.0%、7.4%和6.5%,RMSE值相较于其他三种模型分别下降了7.6%、8.4%和6.9%,预测的Score值最高,分值为0.985。通过不同数据集的划分,证明了该方法在轴承RUL预测时的强鲁棒性。实验结果验证了基于DCNN网络及Self-Attention-BiGRU模型在轴承剩余使用寿命预测中的有效性。

基于多传感器信息融合和CNN-BIGRU-Attention模型的液压防水阀故障诊断方法

在建筑工程领域,尤其是在工程搅拌设备中,涉及到复杂液压工作介质,液压防水阀往往会出现不同程度的故障。此外,恶劣的工作环境和复杂的噪声背景使得对液压防水阀的故障进行诊断变得困难。为了解决这一难题,提出了一种基于多传感器信息融合和卷积神经网络-双向门控循环单元-自注意力机制(CNN-BIGRU-Attention)模型的防水阀故障诊断方法。首先,考虑到单一传感器振动信号难以充分表达故障特征,该方法使用了3个传感器采集含噪声的振动信号,并进行了必要的预处理;其次,提取了信号的16个时域特征、5个频域特征以及3个时频域特征,并利用熵权法进行了特征融合,达到了增强特征的目的;然后,将融合的多维特征集输入到CNN-BIGRU-Attention模型中进行了特征识别;最后,利用实际的液压防水阀故障诊断实验,验证了该方法的有效性。研究结果表明:采用多传感器提取的特征更为全面,信息融合有助于捕捉更完整的隐藏数据特征,从而显著提高诊断的准确率;相较于其他特征识别方法,采用CNN-BIGRU-Attention模型的液压防水阀故障诊断准确率可分别提高6.7%、4.6%和14.2%,达到了96.86%,证明了该方法的有效性。该方法将先进的机器学习技术与实际工程应用相结合,为建筑工程问题提供了一种新颖、有效的解决方案。

基于CNN BiGRU RF模型的TBM掘进参数预测研究

作为井下巷道掘进的新工法,全断面隧道掘进机(TBM)有显著的经济效益,对TBM的掘进参数进行预测对于确保TBM的掘进效率具有重要意义。对现场获取的TBM数据进行清洗和预处理,利用皮尔逊相关系数法对模型输入特征进行筛选,并构建基于卷积神经网络(CNN)优化的双向门控循环单元(BiGRU)神经网络并通过随机森林(RF)进行集成的TBM掘进参数预测模型,实现对TBM掘进参数的预测。研究结果表明:选取与总推力和推进速率关联度最密切的刀盘转速、刀盘扭矩和贯入度作为特征参数;构建的CNN BiGRU RF模型预测掘进参数对总推力和推进速率的拟合优度R 2均值分别为0.950和0.966,均方误差MSE平均值分别为0.750和0.782,均方根误差RMSE平均值分别为0.866和0.885,平均绝对误差MAE平均值分别为1.054和1.007,并且回归评价指标MSE、RMSE、MAE相较于CNN BiGRU模型,分别降低2.497、0.966和0.386,R 2提升23.4%,证明CNN BiGRU RF模型的预测准确度和泛化性最高。该研究可为实际工程掘进参数预测提供指导,有助于推动TBM在煤矿的推广,保障TBM的施工进度。

基于ERNIE-BiGRU-Attention-CRF的电子病历命名实体识别方法

目的/意义改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程构建ERNIE-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ERNIE1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获全局语义特征与语法结构特征,通过Attention机制进一步增强语义特征的捕获,最后连接CRF解码层输出全局概率最大的标签序列。结果/结论在公开的医疗文本数据集CCKS2017开展对比实验、消融实验,利用生成的模型进行实例分析,取得较好的识别效果。

基于BiGRU和残差图注意力网络的股票价格预测模型

高效、准确的股票价格预测能帮助投资者合理规划交易方式,提高投资收益。针对现有股票价格预测模型的准确率不高、投资收益率低等问题,提出一种结合双向门控循环单元(BiGRU)和残差图注意力网络(ResGAT)的股票价格预测模型(BiGRU-ResGAT)。首先,通过结合注意力机制的时间滑动窗口方法(TSWMCAM)动态计算不同股票之间的关联系数,构建表征股票之间关联关系的股票图结构;然后,使用BiGRU捕获股票在时序上的长距离依赖信息;最后,利用ResGAT对股票的时序特征与股票间的关联特征进行深度挖掘和融合,并对股票价格进行预测。在上海证券交易所主板市场498支股票上的价格预测结果显示,与支持向量机(SVM)、门控循环单元(GRU)、复合模型(CNN-LSTM)和关系股票排序模型(RSR)相比,BiGRU-ResGAT在股票测试集上平均绝对误差(MAE)分别降低79.53%、63.20%、48.17%、33.19%,均方根误差(RMSE)分别降低80.23%、66.22%、53.99%、29.99%,决定系数(R-Squared)分别提升23.34%、15.22%、9.54%、4.84%;在投资组合上的累计收益率分别提升10.77、7.89、6.81、5.03个百分点。实验结果表明,BiGRU-ResGAT能够有效地挖掘和融合股票数据的关键特征,对股票价格进行预测。

基于注意力机制的CNN-BiGRU模型预测风力发电功率

风能作为清洁能源,在新能源领域深受重视,但由于风力发电不稳定的出力情况制约着其应用和发展,预测其下一阶段工作功率可以有效提高能源的利用,降低系统维护难度。基于风电场的历史时序数据、风速和叶片桨距角数据,针对风电场的短期功率预测提出一种基于注意力机制的卷积神经网络(CNN)和双向门控制循环单元(BiGRU)的融合模型(CNN-BiGRU-AM)。首先通过CNN提取数据的空间特征,再将其所获取的特征传递到BiGRU,通过BiGRU学习时间特征,最后通过注意力机制捕获两个模型输出的关键时空特征,通过训练后的参数建立模型,将数值气象预报(NWP)的风速等数据输入模型中,输出所需求的风力发电功率预测结果。输出的风力发电功率预测结果由平均绝对误差(MAE)和均方根误差(RMSE)来评估模型预测的精度,并将多个经典模型、不加注意力机制的融合模型、不同位置引入注意力机制的融合模型和此模型预测效果进行对比,结果显示本文所提出的模型精度更高更稳定。

基于1DCNN-BiLSTM-BiGRU的电能质量扰动分类方法

为了应对电能质量扰动(PQD)识别中噪声干扰导致的识别率下降问题,本文提出一种基于一维卷积神经网络(1DCNN)-双向长短期记忆(BiLSTM)网络-双向门控循环单元(BiGRU)的PQD分类方法。该方法首先借助1DCNN有效地提取原始信号的浅层局部特征,然后通过BiLSTM和BiGRU组合模块对时序信息和上下文关系进行深入处理,从而实现深层时序特征的提取。最后,将所提取的特征经分类模块用于PQD识别。仿真结果表明,与传统方法相比,本文所提方法在准确性方面更具优势,且抗噪声能力更强。

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network,CNN)和循环神经网络(recurrent neural network,RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明:提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.

基于注意力BiGRU的机械故障诊断方法研究

为了解决机械故障诊断领域传统方法自适应性差、参数选择过于依赖人工的问题,提出了一种基于循环神经网络的机械故障诊断算法。该方法利用预处理后的机械振动信号,搭建了双向门控循环单元的故障诊断模型,并进行了基于注意力机制的模型优化,提高了特征提取效率。经过美国凯斯西储大学轴承数据集以及自采集的柴油机故障实验数据验证,相比于传统神经网络算法提升了计算效率和诊断准确率,并表现出了良好的抗噪能力。结果表明,该方法可以有效适用于基于机械振动信号的故障诊断,具有一定的工程应用价值。

自注意力机制和BiGRU相结合的文本分类研究

在文本分类任务中,双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)被广泛使用,其不仅能提取文本上下文语义信息和长距离依赖关系,还可以避免出现传统RNN中存在的梯度弥散或爆炸问题.然而,BiGRU在捕获文本局部特征方面存在不足.本文提出一种基于自注意力和双向门控循环单元的文本分类模型(Self-attention and Bidirectional-gated-recurrent Unit based Text Classification,SBUTC),利用自注意力机制关注对分类贡献较大的文本部分,使用含有不同尺寸卷积核的多通道CNN提取不同粒度的文本局部特征;通过含有跳层连接结构的堆叠BiGRU网络提取文本间上下文语义信息和长距离依赖关系;将CNN和BiGRU的输出进行特征融合,训练分类器对不同类型的文本信息进行分类.在ChnSentiCorp数据集和THUCNews_Title数据集上的对比实验结果表明,本文提出的模型在分类准确率和F1值上优于其他对比模型.

融合残差网络的CR-BiGRU入侵检测模型

针对当前网络攻击的复杂性和多样性,传统模型提取流量特征不足且准确率较低的问题,提出一种融合残差网络改进的CR-BiGRU混合模型的网络入侵检测方法.首先将数据集进行归一化以及独热编码处理,然后利用基于残差网络的卷积神经网络提取空间特征,最后使用双向门控神经网络提取时间特征,完成模型的训练并实现异常网络的入侵检测.为表明模型的适用性,基于数据集NSL-KDD和UNSW-NB15进行对比分析实验,结果表明,该方法基于上述数据集准确率分别达99.40%和83.79%,明显优于经典网络入侵检测算法,能有效提升检测网络入侵的精度,从而更好保证网络数据的通信安全.

基于模糊聚类和CNN-BIGRU的轨道电路故障预测

针对轨道电路稳态环境下故障诊断时效性不足的问题,提出一种基于Gath-Geva(GG)模糊聚类对轨道电路退化状态进行划分,并利用卷积神经网络(convolutional neural network,简称CNN)和双向门控循环单元(bi-directional gated recurrent unit,简称BIGRU)进行轨道电路故障预测的方法。首先,通过集中监测设备获取ZPW-2000轨道电路各类故障发生前一定时间内的正常工作数据;其次,通过核主成分分析进行特征降维和GG模糊聚类对轨道电路性能退化状态进行阶段划分,识别不同的退化状态;最后,利用CNN-BIGRU混合神经网络挖掘轨道电路不同故障类型数据特征,对轨道电路退化状态所对应的故障类型进行预测。实验结果表明,该算法可以精确划分轨道电路退化状态并实现故障预测,CNN-BIGRU预测模型分类精确度可达97.62%,运行时间仅为13.18 s,能够为轨道电路的多模式健康状态识别提供一种有效的方法。

基于CEEMDAN-BO-BiGRU的矿井涌水量预测研究

为提高矿井涌水量预测的准确度,基于涌水量数据的不稳定性及随机性,提出一种自适应噪声完备集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)、贝叶斯优化(Bayesian optimization,BO)与双向门控循环单元(bi-directional gated recurrent unit,BiGRU)相结合的矿井涌水量预测模型CEEMDAN-BO-BiGRU。所提模型通过CEEMDAN将涌水量数据分解为多个较平稳的固有模态分量(intrinsic mode function,IMF)和残差分量(residual components,Res),过滤数据噪声,提取数据不同时间尺度波动特征,降低预测误差。利用贝叶斯优化对BiGRU模型多个超参数进行迭代寻优,进一步提高模型的预测精度。之后对各分量进行超前1~3步预测,最终将各分量预测结果加和得到涌水量多步预测结果。以小庄煤矿矿井涌水量数据进行试验,并将CEEMDAN-BO-BiGRU预测结果与其他多种预测模型结果进行对比分析。结果表明:采用CEEMDAN-BO-BiGRU组合网络模型对矿井涌水量预测结果更准确,该方法对涌水量的短时预测提供了一种新思路。

基于BERT-BiGRU-CNN模型的短文本分类研究

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于BERT-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用BERT预训练语言模型进行文本表示;其次,将BERT的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于BERT-BiGRU-CNN的文本分类模型在数据集上的F_(1)值达到0.948 5,优于其他基线模型,证明了BERT-BiGRU-CNN模型可提升短文本的分类性能。

基于改进CNN-BiGRU的电机轴承故障识别

针对基于深度学习的电机轴承故障识别方法易受环境噪声干扰的问题,提出了一种改进卷积神经网络(convolutional neural network, CNN)双向门控循环单元(bidirectional gated recurrent unit, BiGRU)的电机轴承故障识别方法。首先,使用CNN和BiGRU提取电机轴承故障振动信号的空间和时间特征;其次,引入动态选择和自注意力机制,依据不同轴承的故障状态自适应定位相关特征信息,实现故障特征精准有效提取;最后,利用t分布随机近邻嵌入方法,将动态选择和自注意力机制层的特征信息段可视化,进一步提高网络模型的可解释性。试验结果表明,改进CNN-BiGRU网络模型可以有效地对轴承的不同故障类型和故障程度进行识别,在不同背景噪声干扰下的特征学习能力和故障识别准确率显著优于其他典型的深度学习模型。

基于HDCNN-BIGRU-Attention油田措施效果预测模型

为预测油田增油控水措施效果中月产油量与含水量,提出一种基于混合空洞卷积神经网络(HDCNN:Hybrid Dilated Convolutional Neural Network)-BIGRU-Attention的措施效果预测模型。模型通过HDCNN,提取生产数据多尺度全局特征;针对措施生产数据时序性较强与波动性较大的特点,利用双向门控循环单元(BIGRU:Bidirectional Gated Recurrent Unit)充分挖掘数据间长期依赖关系,提高时序信息利用率与学习效果;引入缩放点积注意力模块(Attention),为重要信息赋予较高权重并不断调整参数使模型始终关注与预测目标相关性较大的特征。为验证模型的有效性,将LSTM(Long Short-Term Memory)、CNN(Convolutional Neural Network)-LSTM以及LSTM-Attention作为实验对比,结果表明该模型具有更低的预测误差与更好的泛化能力。

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经(BiLSTM)模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环(BiGRU)神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制(attention)层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90. 54%,损失率是0. 2430,时间代价是1100 s,验证了BiGRU-attention模型的有效性。