基于多头注意力与双向门控循环单元的数据无损压缩方法

为解决数据归档存储场景中出现的物理存储成本增长和数据库内存紧张等问题,本文提出一种基于注意力机制与双向门控循环单元的数据无损压缩方法,采用Transformer和双向门控循环单元作为概率预测器,输出数据流的条件概率分布,结合自适应算术编码器对数据进行压缩。实验对比结果表明,本文所提方法相较于算术编码和基于字典模型的LZW这两种传统无损压缩方法,压缩率分别平均提升约28.8%和7.8%;相较于Cmix v19和NNCP两种深度学习方法,平均压缩率分别降低0.4%和0.2%,但平均压缩时间分别约为其5.1%和39.4%。

多特征融合的双向门控循环单元情感倾向研究

通过对产品评论爆炸式增长进行情感分析,不仅可以为潜在消费者提供购买决策,还可以指导企业不断优化商业决策,提高产品质量。文章对现有神经网络情感分析模型进行研究,提出了一种新的情感分析模型——多特征融合双向门控循环单元(MFF-BiGRU)。首先,MFF-BiGRU生成不同的特征通道,以充分了解产品评论的情感信息。然后将通道分别输入到BiGRU网络中,使模型能够从不同的角度学习句子中的情感特征信息,并探索句子不同方面的隐藏信息。通过层归一化提取不同BiGRU网络输出结果中关于情感特征的最重要信息。Merge层通过连接操作来融合提取的重要信息。最后,Softmax层最终对最后一层的输出进行分类。实验结果表明,在京东食品评论数据集上,MFF-BiGRU的性能优于传统的神经网络模型和经典分类器。

基于二次分解双向门控单元新型电力系统超短期负荷预测

在新型电力系统中,电力负荷随机性和波动性较强,现有预测方法难以对其实现高精度预测。为此,提出一种基于二次分解和双向门控循环单元的超短期负荷预测模型。首先,针对电力负荷的强随机性和强波动性,利用自适应噪声完备经验模态分解对电力负荷历史序列进行初步分解,使负荷序列更加平稳。随后,对初步分解得到的强非平稳分量运用连续变分模态分解进行二次分解,降低其预测难度。最后,为充分学习电力负荷的时序特征,在预测过程构建基于双向门控循环单元的超短期电力负荷预测模型。实验结果表明,该模型相较于现有优秀预测模型有更高的预测精度。

基于多源特征和双向门控循环单元的抗高血压肽识别

为了开发快速、高效和智能的抗高血压肽(anti-hypertensive peptides,AHTPs)识别工具,针对AHTPs的识别,构建基于多源特征和深度学习的识别模型。利用新增强分组氨基酸组分(novel enhanced grouped amino acid composition,NEGAAC)、约简的二肽组分(reduced dipeptide composition,RDPC)、二肽频率与预期平均值之间的偏差(dipeptide deviation from expected mean,DDE)、氨基酸物理化学性质的距离变换(amino acid physicochemical properties-based distance transformation,AAP-DT)和BLOSUM62编码对肽序列进行特征提取。采用双向门控循环单元(bidirectional gated recurrent units,BiGRU)对蛋白质特征进行深度学习,进而有效识别AHTPs。在10-折交叉验证下,基于多源特征和深度学习的识别模型在基准数据集和独立数据集上的识别精度达到96.78%和98.72%。

基于互补集合经验模态分解和改进麻雀搜索算法优化双向门控循环单元的交通流组合预测模型

该文针对短时交通流预测过程呈现的非线性、非平稳性及时序相关性特征,为提升预测的精度及收敛速度,提出一种基于互补集合经验模态分解(CEEMD)和改进麻雀搜索算法(ISSA)优化双向门控循环单元(BiGRU)的组合预测模型。首先,考虑到端点飞翼问题,通过改进CEEMD算法将交通流量序列分解为体现路网交通趋势性、周期性及随机性的本征模态函数(IMF)分量,有效提取了其中的先验特征;随后,利用BiGRU网络挖掘交通流量序列中的时序相关性特征,为避免局部最优,并提高麻雀搜索算法(SSA)全局搜索及局部开发能力,采用ISSA对BiGRU网络权值参数迭代择优。实验结果表明,该组合预测模型中各组件对提高预测精度均起到正向作用,同时在不同交通流量数据集下的预测性能较对比算法均更优,展现了精准、快速的预测表现以及良好的泛化能力。

改进一维卷积神经网络与双向门控循环单元的轴承故障诊断研究

针对传统智能故障诊断依赖于人工经验进行特征提取和传统卷积神经网络(Convolutional neural networks, CNN)参数过多、训练量过大且无法充分利用时间序列信息的缺点,提出一种基于改进一维卷积神经网络与双向门控循环单元的深度学习新算法。首先,该方法利用一维卷积神经网络自提取能力进行特征提取,同时设计了一个全局均值池化层替换传统卷积神经网络的全连接层,减少参数数量;其次,引入双向门控循环单元学习特征信号中的时间序列关系;最后,通过支持向量机替换传统CNN中的Softmax层进行故障分类,进一步提高诊断的准确率。实验表明,该方法将诊断的准确率提升至99.8%,并且加快了诊断的速度。通过与其他方法的对比,证明了该方法有着更高的准确率,更快的诊断速度,更好的鲁棒性。

融合一维卷积神经网络和双向门控循环单元的APM车辆轮胎径向载荷识别方法

针对轮胎载荷直接测量昂贵复杂及传统载荷识别方法精度低、鲁棒性差的现实,提出了一种融合一维卷积神经网络(1D CNN)和双向门控循环单元(BiGRU)的胶轮车辆轮胎径向载荷识别方法。充分考虑轮胎径向载荷数据的先验信息,以车辆振动响应、车体位姿、运行状态等多源信息构建特征集并经特征选择保留有效的特征子集,构造多时间步输入-单时间步输出的样本用以网络训练。运用1D CNN提取信号的多维度空间特征并输入BiGRU中双向捕获时序特征,得到载荷预测的结果,结合预测精度、泛化性能、鲁棒性能修正理论模型。以APM300型车辆为例进行载荷识别,与传统算法相比,所提方法有效降低了载荷识别的误差,适用于不同运行工况,且能克服不同程度的测量噪声,在工程领域有现实应用价值。

基于双向门控循环单元的5-甲基胞嘧啶位点预测

5-甲基胞嘧啶(5-methylcytosine,m5C)是一种重要的转录后修饰,大量证据表明,m5C在许多生物学过程中起着至关重要的作用.准确鉴定m5C位点有助于更好地了解其生物学功能.为此提出了一个名为pm5C-BGRU的模型,该模型通过拼接独热编码(One-hot encoding)和核苷酸化学性质(nucleotide chemical property,NCP)进而对RNA序列进行特征提取,并基于双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)来识别m5C位点.将该方法在人类、小鼠和拟南芥三个物种的m5C数据集上进行建模和测试,并对照已有的预测模型进行评估.结果表明,pm5C-BGRU在交叉验证和独立数据集测试中均取得优异效果,该模型有望成为鉴定m5C位点的有力工具.

八度卷积和双向门控循环单元结合的X光安检图像分类

针对主动视觉安检方法准确率低、速度慢,不适用于实时交通安检的问题,提出了八度卷积(OctConv)和注意力机制双向门控循环单元(GRU)神经网络相结合的X光安检图像分类方法。首先,利用八度卷积代替传统卷积,对输入的特征向量进行高低分频,并降低低频特征的分辨率,在有效提取X光安检图像特征的同时,减少了空间冗余。其次,通过注意力机制双向GRU,动态学习调整特征权重,提高危险品分类准确率。最后,在通用SIXRay数据集上的实验表明,对8000幅测试样本的整体分类准确率(ACC)、特征曲线下方面积(AUC)、正类分类准确率(PRE)分别为98.73%、91.39%、85.44%,检测时间为36.80 s。相对于目前主流模型,本文方法有效提高了X光安检图像危险品分类的准确率和速度。

基于变分模态分解的卷积神经网络−双向门控循环单元−多元线性回归多频组合短期电力负荷预测

为了有效提高电力负荷预测精度,针对电力负荷非线性、非平稳性、时序性的特点,提出了一种卷积神经网络(convolutional neural networks,CNN)、双向门控循环单元(bidirectional gated recurrent unit,BiGRU)和多元线性回归(multiple linear regression,MLR)混合的多频组合短期电力负荷预测模型。该模型先利用关联度分析得到相似日,并将其负荷组成新的数据序列,同时使用变分模态分解(variational mode decomposition,VMD)将该数据序列进行分解,并重构成高低2种频率。对于高频分量,使用CNN-BiGRU模型进行预测;低频部分则使用MLR。最后将各个模型得出的预测结果叠加,得到最终预测结果。以2006年澳大利亚真实数据为例,进行短期电力负荷预测。仿真结果表明,相比于其他网络模型,该模型具有较高的预测精度和拟合能力,是一种有效的短期负荷预测方法。

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元(gated recurrent unit,GRU)网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F1值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。

基于多重注意力卷积神经网络双向门控循环单元的机械故障诊断方法研究

为解决传统机械故障诊断方法需要人工提取特征的不足,提出一种基于多重注意力卷积神经网络双向门控循环单元(multiple attention-convolutional neural networks-bidirectional gated recurrent unit,MA-CNN-BiGRU)的端到端的故障诊断方法。首先将原始时域数据输入卷积神经网络(convolutional meural networks,CNN)进行初步特征提取并降维,然后将结果重组输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),可以有效地解决BiGRU对于过长序列数据处理困难的问题。采用美国凯斯西储大学开源轴承数据集进行训练,确定了最佳卷积层数和最佳样本长度约减比例分别为2和1/8。同时,通过在CNN和BiGRU中分别加入卷积注意力模块(convolutional block attention module,CBAM)和序列注意力模块(sequence attention module,SAM),进一步加强了模型对于关键信息的提取能力。最后实测柴油机故障振动信号试验表明:MA-CNN-BiGRU模型可以实现端到端的故障诊断,与变分模态分解(variational mode decomposition,VMD)核模糊C均值聚类算法(VMD-kernel fuzzy C-means clustering,VMD-KFCM)、VMD-反向传播神经网络(back propagation neural network,BPNN)和一维CNN等方法进行对比,MA-CNN-BiGRU模型的故障诊断性能更优。

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断。在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法。将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息。实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率。

基于双向门控循环单元的电力系统暂态稳定评估

常规的机器学习模型应用于电力系统暂态稳定评估时对时间序列的整体感知能力较弱,难以挖掘蕴藏在电气量响应轨迹中的动态信息,且对于临界样本预测结果的可靠性较低。针对上述问题,提出了一种基于双向门控循环单元(BiGRU)的2阶段暂态稳定评估方法。该方法以受扰后底层量测数据的动态轨迹作为输入,首先通过持续的动态评估筛选出可信样本,然后通过回归模型预测不确定样本和可信稳定样本的故障严重度。文中通过向损失函数中引入截断函数和权重系数对BiGRU分类器加以改进,强化了模型对困难样本和失稳样本的学习力度。在修改的新英格兰10机39节点系统上的实验结果表明,所提方法在显著减少对失稳样本漏判的同时,提升了对稳定样本的识别能力。

基于自注意力机制的双向门控循环单元和卷积神经网络的芒果产量预测

针对影响芒果产量的相关气象要素繁多,它们与产量之间的关联关系复杂、难以用数学函数准确地描述的问题,提出一种基于自注意力机制具有长短期记忆功能的双向门控循环单元和卷积神经网络组合(Self-attention CBiGRU)模型。首先,利用CNN卷积层(1D CNN)提取局部特征;其次将Self-attention机制用于进一步提取依赖特征,然后双向门控循环单元(BiGRU)会充分考虑年份之间的关联性,学习长期依赖特征;最后,利用广西某地3个气象站所收集到的24个芒果生产周期年份(从前一年第22旬到当年第21旬)每旬9个气象要素及芒果产量数据进行分析建模,建立了芒果产量预测Self-attention C-BiGRU模型。实验结果表明,Self-attention C-BiGRU模型预测的产量与实际产量的均方根误差为10.67,比支持向量回归(SVR)、误差后向传播神经网络(BPNN)、门控循环单元(GRU)、基于注意力机制的双向门控循环单元(BiGRU-Attention)、门控循环单元和卷积神经网络组合模型(GRU-CNN)、双向门控循环单元和卷积神经网络组合模型(C-BiGRU)分别平均降低了37.7%、42.1%、17.6%、4.1%、5.3%和5.9%。Selfattention C-BiGRU模型具有较高的预测准确性,对提升广西芒果产业发展、推进农业信息化有重要意义。

基于双向门控循环单元的地表水氨氮预测

为提高水环境中NH_(4)^(+)-N的预测精度,提出了一种互补完全集合经验模式分解(CCEEMDAN)和双向门控循环单元(BiGRU)神经网络的混合预测模型(CCB).首先,通过CCEEMDAN将NH_(4)^(+)-N数据分解成一系列较为简单的模态成份;然后利用BiGRU神经网络对各成份进行预测,将所有分解成份的预测结果相加即可获得最终预测结果.以2017年6月~2020年2月鄱阳湖的NH_(4)^(+)-N数据进行模型性能验证.结果表明,利用CCB模型在1d后的NH_(4)^(+)-N预测中平均绝对百分比误差为3.38%,在7d后的NH_(4)^(+)-N预测中平均绝对百分比误差为6.82%,在15d后的NH_(4)^(+)-N预测中平均绝对百分比误差为9.41%,优于本文中参与比较的其他模型.CCB模型在NH_(4)^(+)-N预测方面具有良好的预测性能.

基于注意力机制的特征融合-双向门控循环单元多模态情感分析

针对视频多模态情感分析中,未考虑跨模态的交互作用以及各模态贡献程度对最后情感分类结果的影响的问题,提出一种基于注意力机制的特征融合-双向门控循环单元多模态情感分析模型(AMF-BiGRU)。首先,利用双向门控循环单元(BiGRU)来考虑各模态中话语间的相互依赖关系,并得到各模态的内部信息;其次,通过跨模态注意力交互网络层将模态内部信息与模态之间的交互作用相结合;然后,引入注意力机制来确定各模态的注意力权重,并将各模态特征进行有效融合;最后,通过全连接层和softmax层获取情感分类结果。在公开的CMU-MOSI和CMUMOSEI数据集上进行实验。实验结果表明,与传统的多模态情感分析方法(如多注意力循环网络(MARN))相比,AMF-BiGRU模型在CMU-MOSI数据集上的准确率和F1值分别提升了6.01%和6.52%,在CMU-MOSEI数据集上的准确率和F1值分别提升了2.72%和2.30%。可见,AMF-BiGRU模型能够有效提高多模态的情感分类性能。

融合频带能量特征和双向门控循环单元的运动想象意图识别

针对脑电信号分类正确率低的问题,结合频带能量、小波包变换和双向门控循环网络,提出了一种基于频带能量特征序列和深度学习算法的运动想象意图识别方法。首先,利用小波包变换对脑电信号进行分解、重构,获得运动想象相关频带信号;其次,对所得频带信号进行加窗,并滑动截取,通过计算所截每段信号能量,实现能量特征的时序化分解;最后利用双向门控循环网络对脑电信号进行识别并输出分类结果。实验结果表明:所提算法取得了92.1%的分类正确率,表明所提方法是切实可行的,能够有效改善分类识别率。

基于双向门控循环单元网络的滚动轴承故障诊断

滚动轴承作为大多数旋转机械的重要零部件,其工作状态直接影响设备的工作寿命。针对传统故障诊断方法自适应性差、特征提取过于依赖人工经验的问题,提出一种基于双向门控循环单元的轴承故障诊断方法。该方法直接将原始振动信号作为模型输入,自动进行故障特征提取与故障诊断。结合轴承外圈故障、内圈故障及滚动体故障等9种故障状况,对所提方法进行了验证。实验结果表明,其故障诊断准确率可达99.56%,诊断效果优于门控循环单元、长短期记忆网络等算法,且泛化能力好。

结合ALBERT和双向门控循环单元的专利文本分类

随着专利申请数量的快速增长,对专利文本实现自动分类的需求与日俱增。现有的专利文本分类算法大都采用Word2vec和全局词向量(GloVe)等方式获取文本的词向量表示,舍弃了大量词语的位置信息且不能表示出文本的完整语义。针对上述问题,提出了一种结合ALBERT和双向门控循环单元(BiGRU)的多层级专利文本分类模型ALBERT-BiGRU。该模型使用ALBERT预训练的动态词向量代替传统Word2vec等方式训练的静态词向量,提升了词向量的表征能力;并使用BiGRU神经网络模型进行训练,最大限度保留了专利文本中长距离词之间的语义关联。在国家信息中心公布的专利数据集上进行有效性验证,与Word2vec-BiGRU和GloVe-BiGRU相比,ALBERT-BiGRU的准确率在专利文本的部级别分别提高了9.1个百分点和10.9个百分点,在大类级别分别提高了9.5个百分点和11.2个百分点。实验结果表明,ALBERT-BiGRU能有效提升不同层级专利文本的分类效果。