基于双向多层门控循环神经网络的奶牛乳脂率预测模型研究

通过对奶牛乳脂率进行数据预测以及结合随机森林算法对环境数据进行精准特征选择,确定了对乳脂率影响较大的环境因素。在此基础上,提出了将随机森林算法与双向多层门控循环神经网络相结合的乳脂率预测模型(RF-BiGRU)并进行了相关实验。结果表明,该模型能够提高预测的准确性及效率。

结合多尺度注意力机制和双向门控循环网络的视频摘要模型

任务中全局注意力在长距离视频序列上注意力值分布的方差较大,生成关键帧的重要性分数偏差较大,且时间序列节点边界值缺乏长程依赖导致的片段语义连贯性较差等问题,通过改进注意力模块,采用分段局部自注意力和全局自注意力机制相结合来获取局部和全局视频序列关键特征,降低注意力值的方差。同时通过并行地引入双向门控循环网络(bidirectional recurrent neural network,BiGRU),二者的输出分别输入到改进的分类回归模块后再将结果进行加性融合,最后利用非极大值抑制(non-maximum suppression,NMS)和核时序分割方法(kernel temporal segmentation,KTS)筛选片段并分割为高质量代表性镜头,通过背包组合优化算法生成最终摘要,从而提出一种结合多尺度注意力机制和双向门控循环网络的视频摘要模型(local and global attentions combine with the BiGRU,LG-RU)。该模型在TvSum和SumMe的标准和增强数据集上进行了对比试验,结果表明该模型取得了更高的F-score,证实了该视频摘要模型保持高准确率的同时可鲁棒地对视频完成摘要。

基于改进卷积双向门控循环网络的轴承故障诊断

针对传统深度学习方法没有充分利用轴承信号的时序特点,以及难以处理动态数据的问题,提出一种基于改进卷积双向门控循环神经网络的轴承故障智能诊断方法。采用卷积神经网络从输入信号中提取代表性特征,引入双向门控循环神经网络挖掘故障数据在时间维度上的语义信息,通过注意力机制自适应地对特征图通道赋予不同权值,从而实现高精度的轴承故障诊断。在公开轴承数据集上进行实验,实验结果表明,该方法能够正确地将轴承故障分类,分类精度可达99.6%。

基于注意力机制的双向门控循环单元网络齿轮故障识别系统

提出一种基于注意力机制(Attention Mechanism,AM)的双向门控循环神经网络模型的齿轮故障识别系统。使用基于STM32的嵌入式主控制器分别采集正常齿轮、断齿齿轮、轮齿剥落齿轮等3种故障齿轮工作时的振动传感器数据,使用基于注意力机制的双向门控循环单元网络模型进行齿轮故障识别。双向门控循环神经网络模型添加了注意力机制,保留输入特征的重要信息,不随步长增加而消失。将采集到的原始数据集按7∶2∶1的比例划分为训练集、验证集和测试集。测试集模型的齿轮故障识别准确率达到了99.67%,与GRU和Bi-GRU等模型的结果对比证明该模型的正确率更高。本系统可用于汽车变速器的监测与故障诊断。

基于深度双向门控循环神经网络的制粉系统故障预警

为构建鲁棒性较强的状态估计模型,结合堆叠自编码器思想,提出一种基于深度双向门控循环神经网络的制粉系统状态估计及故障预警方法。首先,选取制粉系统正常运行状态变量历史数据作为深度双向门控循环神经网络的训练输入,然后利用网络强大的特征学习能力,建立制粉系统正常状态估计模型。采用滑动窗口法构建制粉系统状态监测指标,确定指标阈值,利用火电厂制粉系统历史运行数据进行仿真。结果表明:相比于其他方法,深度双向门控循环神经网络模型具有更好的估计性能,且能够在故障发生前及时发出预警信息,达到早期故障诊断的目的。

基于多重注意力卷积神经网络双向门控循环单元的机械故障诊断方法研究

为解决传统机械故障诊断方法需要人工提取特征的不足,提出一种基于多重注意力卷积神经网络双向门控循环单元(multiple attention-convolutional neural networks-bidirectional gated recurrent unit,MA-CNN-BiGRU)的端到端的故障诊断方法。首先将原始时域数据输入卷积神经网络(convolutional meural networks,CNN)进行初步特征提取并降维,然后将结果重组输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),可以有效地解决BiGRU对于过长序列数据处理困难的问题。采用美国凯斯西储大学开源轴承数据集进行训练,确定了最佳卷积层数和最佳样本长度约减比例分别为2和1/8。同时,通过在CNN和BiGRU中分别加入卷积注意力模块(convolutional block attention module,CBAM)和序列注意力模块(sequence attention module,SAM),进一步加强了模型对于关键信息的提取能力。最后实测柴油机故障振动信号试验表明:MA-CNN-BiGRU模型可以实现端到端的故障诊断,与变分模态分解(variational mode decomposition,VMD)核模糊C均值聚类算法(VMD-kernel fuzzy C-means clustering,VMD-KFCM)、VMD-反向传播神经网络(back propagation neural network,BPNN)和一维CNN等方法进行对比,MA-CNN-BiGRU模型的故障诊断性能更优。

基于心电信号的自注意力双向门控循环网络疲劳检测模型

人类操作员的生理疲劳状态对其作业效率与安全性存在很大的影响,本研究提出了一种基于自注意力(SA)机制的双向门控循环(BiGRU)网络疲劳检测模型,研究基于心电信号的疲劳检测方法。首先采集了模拟不同负荷水平的过程控制任务环境下操作人员的心电数据,以一维心电数据作为输入,经过去噪预处理后,使用改进的BiGRU神经网络进行特征提取,BiGRU在保留GRU优点的同时可以更加充分学习心电信号前后时序的特征联系,并通过SA机制筛选显著相关特征信息,最后将所获得的特征信息经过softmax分类器,得到疲劳分类结果。与传统的GRU模型和BiLSTM模型进行了比较,经过改进后的SA-BiGRU模型的疲劳分类性能整体提高2%~5%,总体准确率达83%。

基于奇异谱分析和卷积双向门控单元网络的超短期风电功率预测

精确的短期风电功率预测能有效提高电网供电可靠性。为降低风电数据中隐含噪声对预测结果的影响,采用奇异谱分析(Singular Spectrum Analysis,SSA)将原始数据分解并重构为趋势、周期和高频噪声三个子序列,作为预测模型的输入。针对传统循环网络局限于时间相关性的前向提取,提出卷积双向门控循环单元网络(Convolution Neural Network-Bidirectional Gated Recurrent Unit,CNN-BiGRU)预测模型。前者提取重构子序列间特征的耦合关系,后者挖掘数据的双向时间相关性,以提高预测精度。为了研究该模型的预测性能,选取了其他模型进行对比,试验结果表明SSA-CNN-BiGRU模型比其他模型更具有优越的预测性能。

基于注意力双向门控循环神经网络的索驱末端效应器运动估计

为实现对索驱末端效应器运动状态的自适应估计,基于注意力双向门控循环神经网络,提出了一种数据驱动的末端效应器运动估计方法.首先进行数据构建,以获取短时序列作为训练样本.然后,将数据输入包含带自注意力模块的双向门控循环神经网络,构造样本的序列模型.最后,在索驱末端效应器运动数据集上,将电机位置、速度以及作为系统控制信号的输入时间序列作为样本特征,进行运动估计性能对比实验.结果表明,相比常用的序列建模回归算法,所提方法能够取得更好的末端效应器运动估计性能,因而能有效实现复杂条件下对索驱末端效应器的运动估计.

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。

基于时序生成对抗网络的居民用户非侵入式负荷分解

现有的非侵入式负荷分解算法往往需要大量电器设备级的负荷数据才能保证分解精度,但由于用户对隐私性的考虑以及安装成本过高等问题,很难获取这些数据。因此,构建一种能深度挖掘电力负荷数据时序特性和电器相关性的时序生成对抗网络。利用降维网络对所有电器有功功率序列组成的高维向量进行降维以降低计算的复杂度,通过复原网络将结果还原为高维向量。基于电器运行状态和深度学习的非侵入式分解方法,运用卷积神经网络-双向门控循环单元构建状态复杂电器的负荷分解回归模型,对状态简单电器利用深度神经网络构建负荷识别分类模型。通过对比其他数据生成方法,以及改变典型公开数据集中生成数据比例所得的负荷分解结果验证了所提方法的有效性。

基于改进卷积门控循环神经网络的刀具磨损状态识别

刀具状态监测直接影响加工质量,对保障加工安全与提高生产效率起着重要作用。针对刀具加工信号分析较为复杂与深度学习求解耗时高的问题,提出一种基于改进卷积门控神经网络的刀具磨损状态识别网络模型。借助卷积神经网络(CNN)实现对数据中空间特性的获取,并利用双向门控循环单元(BiGRU)中数据时序特征处理能力提取原始振动信号的序列特征,将极限学习机(ELM)作为分类器进行刀具磨损状态识别。实验结果表明,在刀具磨损数据样本数量有限的情况下,该方法对于信号数据有较强的分析能力,运算速度快,能达到更好的识别精度。

基于双向GRU和注意力机制的叠前地震孔隙度预测方法

岩石孔隙度是表征储层的重要参数之一,对孔隙度进行准确预测有利于更精细地刻画高孔高渗储层位置。然而地震弹性参数与孔隙度之间的关系较为复杂,给储层孔隙度的准确预测带来一定困难。深度学习为地震准确预测孔隙度提供了新思路。提出了一种基于双向门控循环单元神经网络(GRU)和注意力机制(BiGRU-Attention)的叠前地震孔隙度预测方法,该方法利用双向GRU实现信息的双向传播并加入Attention机制放大关键信息,将叠前同时反演得到的纵波速度和密度信息作为输入,以测井孔隙度值作为标签来训练和测试BiGRU-Attention网络,建立起地震弹性参数与孔隙度之间的复杂映射关系,进而实现孔隙度的准确预测。实际数据测试结果表明,相比于常规多元线性回归方法(MLR)、密集神经网络(DNN)和门控循环单元神经网络(GRU)等预测方法,BiGRU-Attention网络预测方法在盲井测试中预测精度更高。将该方法应用于某实际三维工区地震数据预测的孔隙度值与测井孔隙度值匹配良好,说明该方法具有较好的实用价值。

基于双向GRU神经网络的藏文人物关系抽取方法

关系抽取是指从文本中抽取实体并对实体之间的关系进行语义分析。本文从目前藏文关系抽取语料集稀缺的问题出发,构建了面向人物关系的藏文文本实体数据集,提出基于BERT和双向门控循环单元(GRU)神经网络的人物关系抽取方法,利用Word2vec模型得到基于分布式表示的藏文词向量表达,使用BERT和双向门控循环神经网络获取藏文文本特征进行关系分类预测。分析对比3种关系抽取模型,验证本文提出的模型与其他3类模型相比在精确率和召回率上均有所提高。

基于鲸鱼优化混合神经网络的滑坡位移预测

针对静态机器学习模型难以有效反映滑坡的动态演化特性,且存在时序过长时历史数据遗忘导致位移预测结果不稳定的问题。提出一种基于鲸鱼优化卷积神经网络(convolutional neural networks, CNN)和双向门控循环神经网络(bidirectional gated recurrent neural network, BiGRU)的滑坡位移动态预测方法。首先对滑坡影响因子进行特征筛选,构建数据集,建立CNN-BiGRU网络模型,使用鲸鱼优化算法(whale optimization algorithm, WOA)对模型进行超参数寻优,使用CNN网络模型从滑坡数据中提取潜在的特征向量,将特征向量以时间序列的形式输入BiGRU模型中,利用其处理时间序列数据的优势,完成滑坡位移预测。结果表明:所提出模型得到的滑坡位移预测精度较高,与未优化的CNN-BiGRU相比均方根误差(root mean square error, RMSE)下降了0.030 5 mm。

基于BiGRU-CNN模型的高校网络舆情预警研究

目的为了有效地对快速增长的高校网络舆论数据进行监测。方法结合BiGRU模型、CNN模型和自注意力机制的特点,利用位置权重参数对BiGRU模型的自注意力机制加以改进,最后构建一个带有自注意力机制的多通道BiGRU-CNN模型,同时引入AdamW优化算法对整个模型进行优化。通过该模型提取出高校网络舆论中的文本特征,按文本特征中隐含的情感倾向把网络舆论分成非负面情感情绪和负面情感情绪两大类,以此来获得网络舆论主题中的情感倾向,对出现的负面情感情绪予以相应预警。结果实验证明,带有自注意力机制的多通道BiGRU-CNN模型对高校舆论信息中文本的情感倾向分类是有效的,并且性能优于相关的神经网络模型。结论所提出BiGRU-CNN模型能够有效实现高校网络舆论监测,具有良好的性能。

基于多层次图对比学习的序列推荐模型

针对现有的基于对比学习的序列推荐模型只考虑了项目和项目或者序列和序列这一个层级的表示学习,而没有办法学习到精细的、易于区分的用户与项目表示的问题,提出一种基于多层次图对比学习的序列推荐(MLGCL-SR)模型。首先,根据用户点击项目的顺序构建项目转移图,并对它进行嵌入表示;其次,利用优化后的双向门控图神经网络(BI-GGNN)在嵌入的项目转移图上进行用户的表示学习;最后,对主要推荐预测任务通过交叉熵损失函数进行参数更新,并使用多层次对比学习任务在嵌入层、节点层、序列层三个层次辅助推荐预测任务进行参数更新,其中在嵌入层和节点层辅助推荐预测任务进行更好的项目表示,而在序列层辅助推荐预测任务进行更好的用户表示。在3个基准数据集Sports、Beauty、Toys上的实验结果表明,相较于对比的最优模型MCLRec(Meta-optimized Contrastive Learning for sequential Recommendation),MLGCL-SR模型在命中率(HR)和归一化折损累计增益(NDCG)指标上有了显著的提升,在能较好反映推荐效果的NDCG@10指标上分别提升了14.2%、19.1%和23.1%,验证了模型的有效性。

面向中文新闻文本分类的融合网络模型

针对神经网络文本分类模型随着层数的加深,在训练过程中发生梯度爆炸或消失以及学习到的词在文本中的语义信息不够全面的问题,该文提出了一种面向中文新闻文本分类的融合网络模型。该模型首先采用密集连接的双向门控循环神经网络学习文本的深层语义表示,然后将前一层学到的文本表示通过最大池化层降低特征词向量维度,同时保留其主要特征,并采用自注意力机制获取文本中更关键的特征信息,最后将所学习到的文本表示拼接后通过分类器对文本进行分类。实验结果表明:所提出的融合模型在中文新闻长文本分类数据集NLPCC2014上进行实验,其精度、召回率、F1-score指标均优于最新模型AC-BiLSTM。

一种基于神经网络的学生成绩预测方法

基于M2B学习支持系统提供的数据,针对课程学习活动日志数据特性,提出了一种用双向门控单元网络(Bi-GRU)预测学生学习成绩的方法.将已有的递归神经网络(RNN)方法作为基准线,通过实验比较证实了Bi-GRU用于成绩预测的有效性.

基于生成对抗网络与深度学习的少数据云资源预测

精确的云资源预测对计算平台实现安全运行具有十分重要的意义,针对新公司的云计算资源缺乏足够数据样本而造成预测模型精度降低的问题,提出一种基于WasserStein生成对抗网络(WasserStein generative adversarial network with gradient penalty,WGAN-GP)和双向门控循环单元网络(bidirectional gate recurrent unit,BiGRU)的少样本云计算资源预测模型。通过生成对抗网络去学习原始少样本数据的分布规律,以高斯噪声作为输入生成与原始数据具有相同分布的新样本数据,实现数据增强的行为;由于传统门控单元网络无法完全利用数据的时间信息,采用双向门控循环单元网络对数据的前向、反向时间信息进行双向提取并预测。以Google公开数据集进行仿真,对无增强数据和增强数据后的不同机器算法模型的预测结果进行对比。实验结果表明:使用WasserStein生成对抗网络数据增强后的双向门控循环单元网络模型精度的达到98.3%,所提方法适用于少样本数据的云计算资源预测。