基于双向多层门控循环神经网络的奶牛乳脂率预测模型研究

通过对奶牛乳脂率进行数据预测以及结合随机森林算法对环境数据进行精准特征选择,确定了对乳脂率影响较大的环境因素。在此基础上,提出了将随机森林算法与双向多层门控循环神经网络相结合的乳脂率预测模型(RF-BiGRU)并进行了相关实验。结果表明,该模型能够提高预测的准确性及效率。

基于深度双向门控循环神经网络的制粉系统故障预警

为构建鲁棒性较强的状态估计模型,结合堆叠自编码器思想,提出一种基于深度双向门控循环神经网络的制粉系统状态估计及故障预警方法。首先,选取制粉系统正常运行状态变量历史数据作为深度双向门控循环神经网络的训练输入,然后利用网络强大的特征学习能力,建立制粉系统正常状态估计模型。采用滑动窗口法构建制粉系统状态监测指标,确定指标阈值,利用火电厂制粉系统历史运行数据进行仿真。结果表明:相比于其他方法,深度双向门控循环神经网络模型具有更好的估计性能,且能够在故障发生前及时发出预警信息,达到早期故障诊断的目的。

改进一维卷积神经网络与双向门控循环单元的轴承故障诊断研究

针对传统智能故障诊断依赖于人工经验进行特征提取和传统卷积神经网络(Convolutional neural networks, CNN)参数过多、训练量过大且无法充分利用时间序列信息的缺点,提出一种基于改进一维卷积神经网络与双向门控循环单元的深度学习新算法。首先,该方法利用一维卷积神经网络自提取能力进行特征提取,同时设计了一个全局均值池化层替换传统卷积神经网络的全连接层,减少参数数量;其次,引入双向门控循环单元学习特征信号中的时间序列关系;最后,通过支持向量机替换传统CNN中的Softmax层进行故障分类,进一步提高诊断的准确率。实验表明,该方法将诊断的准确率提升至99.8%,并且加快了诊断的速度。通过与其他方法的对比,证明了该方法有着更高的准确率,更快的诊断速度,更好的鲁棒性。

融合一维卷积神经网络和双向门控循环单元的APM车辆轮胎径向载荷识别方法

针对轮胎载荷直接测量昂贵复杂及传统载荷识别方法精度低、鲁棒性差的现实,提出了一种融合一维卷积神经网络(1D CNN)和双向门控循环单元(BiGRU)的胶轮车辆轮胎径向载荷识别方法。充分考虑轮胎径向载荷数据的先验信息,以车辆振动响应、车体位姿、运行状态等多源信息构建特征集并经特征选择保留有效的特征子集,构造多时间步输入-单时间步输出的样本用以网络训练。运用1D CNN提取信号的多维度空间特征并输入BiGRU中双向捕获时序特征,得到载荷预测的结果,结合预测精度、泛化性能、鲁棒性能修正理论模型。以APM300型车辆为例进行载荷识别,与传统算法相比,所提方法有效降低了载荷识别的误差,适用于不同运行工况,且能克服不同程度的测量噪声,在工程领域有现实应用价值。

基于注意力双向门控循环神经网络的索驱末端效应器运动估计

为实现对索驱末端效应器运动状态的自适应估计,基于注意力双向门控循环神经网络,提出了一种数据驱动的末端效应器运动估计方法.首先进行数据构建,以获取短时序列作为训练样本.然后,将数据输入包含带自注意力模块的双向门控循环神经网络,构造样本的序列模型.最后,在索驱末端效应器运动数据集上,将电机位置、速度以及作为系统控制信号的输入时间序列作为样本特征,进行运动估计性能对比实验.结果表明,相比常用的序列建模回归算法,所提方法能够取得更好的末端效应器运动估计性能,因而能有效实现复杂条件下对索驱末端效应器的运动估计.

基于改进卷积门控循环神经网络的刀具磨损状态识别

刀具状态监测直接影响加工质量,对保障加工安全与提高生产效率起着重要作用。针对刀具加工信号分析较为复杂与深度学习求解耗时高的问题,提出一种基于改进卷积门控神经网络的刀具磨损状态识别网络模型。借助卷积神经网络(CNN)实现对数据中空间特性的获取,并利用双向门控循环单元(BiGRU)中数据时序特征处理能力提取原始振动信号的序列特征,将极限学习机(ELM)作为分类器进行刀具磨损状态识别。实验结果表明,在刀具磨损数据样本数量有限的情况下,该方法对于信号数据有较强的分析能力,运算速度快,能达到更好的识别精度。

基于变分模态分解的卷积神经网络−双向门控循环单元−多元线性回归多频组合短期电力负荷预测

为了有效提高电力负荷预测精度,针对电力负荷非线性、非平稳性、时序性的特点,提出了一种卷积神经网络(convolutional neural networks,CNN)、双向门控循环单元(bidirectional gated recurrent unit,BiGRU)和多元线性回归(multiple linear regression,MLR)混合的多频组合短期电力负荷预测模型。该模型先利用关联度分析得到相似日,并将其负荷组成新的数据序列,同时使用变分模态分解(variational mode decomposition,VMD)将该数据序列进行分解,并重构成高低2种频率。对于高频分量,使用CNN-BiGRU模型进行预测;低频部分则使用MLR。最后将各个模型得出的预测结果叠加,得到最终预测结果。以2006年澳大利亚真实数据为例,进行短期电力负荷预测。仿真结果表明,相比于其他网络模型,该模型具有较高的预测精度和拟合能力,是一种有效的短期负荷预测方法。

结合多尺度注意力机制和双向门控循环网络的视频摘要模型

任务中全局注意力在长距离视频序列上注意力值分布的方差较大,生成关键帧的重要性分数偏差较大,且时间序列节点边界值缺乏长程依赖导致的片段语义连贯性较差等问题,通过改进注意力模块,采用分段局部自注意力和全局自注意力机制相结合来获取局部和全局视频序列关键特征,降低注意力值的方差。同时通过并行地引入双向门控循环网络(bidirectional recurrent neural network,BiGRU),二者的输出分别输入到改进的分类回归模块后再将结果进行加性融合,最后利用非极大值抑制(non-maximum suppression,NMS)和核时序分割方法(kernel temporal segmentation,KTS)筛选片段并分割为高质量代表性镜头,通过背包组合优化算法生成最终摘要,从而提出一种结合多尺度注意力机制和双向门控循环网络的视频摘要模型(local and global attentions combine with the BiGRU,LG-RU)。该模型在TvSum和SumMe的标准和增强数据集上进行了对比试验,结果表明该模型取得了更高的F-score,证实了该视频摘要模型保持高准确率的同时可鲁棒地对视频完成摘要。

基于多重注意力卷积神经网络双向门控循环单元的机械故障诊断方法研究

为解决传统机械故障诊断方法需要人工提取特征的不足,提出一种基于多重注意力卷积神经网络双向门控循环单元(multiple attention-convolutional neural networks-bidirectional gated recurrent unit,MA-CNN-BiGRU)的端到端的故障诊断方法。首先将原始时域数据输入卷积神经网络(convolutional meural networks,CNN)进行初步特征提取并降维,然后将结果重组输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),可以有效地解决BiGRU对于过长序列数据处理困难的问题。采用美国凯斯西储大学开源轴承数据集进行训练,确定了最佳卷积层数和最佳样本长度约减比例分别为2和1/8。同时,通过在CNN和BiGRU中分别加入卷积注意力模块(convolutional block attention module,CBAM)和序列注意力模块(sequence attention module,SAM),进一步加强了模型对于关键信息的提取能力。最后实测柴油机故障振动信号试验表明:MA-CNN-BiGRU模型可以实现端到端的故障诊断,与变分模态分解(variational mode decomposition,VMD)核模糊C均值聚类算法(VMD-kernel fuzzy C-means clustering,VMD-KFCM)、VMD-反向传播神经网络(back propagation neural network,BPNN)和一维CNN等方法进行对比,MA-CNN-BiGRU模型的故障诊断性能更优。

基于粒子群优化的双向门控循环神经网络燃煤电厂NO_(x)排放预测

针对燃煤电厂NO_(x)排放的预测问题,提出了基于粒子群优化算法和双向门控循环(PSO-Bi-GRU)神经网络的NO_(x)排放预测模型。通过主成分分析对影响NO_(x)排放的运行参数进行降维,消除变量间的耦合;基于双向门控循环神经网络学习NO_(x)排放的非线性特性和前后时序信息,提高特征提取能力;采用粒子群算法对Bi-GRU神经网络模型进行超参数寻优,使网络结构最大程度匹配影响NO_(x)排放的变量特征,克服依靠经验选取或手动调节参数而导致预测精度低的问题。最后基于某电厂660 MW机组燃煤锅炉运行参数,建立NO_(x)排放预测模型,并与单向门控循环神经网络、传统Bi-GRU神经网络预测模型进行对比。仿真结果表明,PSO-Bi-GRU神经网络模型预测效果最好,其平均绝对误差、平均绝对百分误差、均方根误差均最小,验证了本文所提PSO-Bi-GRU神经网络NO_(x)排放预测模型的有效性。

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断。在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法。将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息。实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率。

基于自注意力机制的双向门控循环单元和卷积神经网络的芒果产量预测

针对影响芒果产量的相关气象要素繁多,它们与产量之间的关联关系复杂、难以用数学函数准确地描述的问题,提出一种基于自注意力机制具有长短期记忆功能的双向门控循环单元和卷积神经网络组合(Self-attention CBiGRU)模型。首先,利用CNN卷积层(1D CNN)提取局部特征;其次将Self-attention机制用于进一步提取依赖特征,然后双向门控循环单元(BiGRU)会充分考虑年份之间的关联性,学习长期依赖特征;最后,利用广西某地3个气象站所收集到的24个芒果生产周期年份(从前一年第22旬到当年第21旬)每旬9个气象要素及芒果产量数据进行分析建模,建立了芒果产量预测Self-attention C-BiGRU模型。实验结果表明,Self-attention C-BiGRU模型预测的产量与实际产量的均方根误差为10.67,比支持向量回归(SVR)、误差后向传播神经网络(BPNN)、门控循环单元(GRU)、基于注意力机制的双向门控循环单元(BiGRU-Attention)、门控循环单元和卷积神经网络组合模型(GRU-CNN)、双向门控循环单元和卷积神经网络组合模型(C-BiGRU)分别平均降低了37.7%、42.1%、17.6%、4.1%、5.3%和5.9%。Selfattention C-BiGRU模型具有较高的预测准确性,对提升广西芒果产业发展、推进农业信息化有重要意义。

基于深度门控循环单元神经网络的刀具磨损状态实时监测方法

为监测生产加工过程中的刀具磨损状态,提出一种基于深度门控循环单元神经网络的轻量化状态监测模型。首先,预处理阶段对加速度传感器采集的时序信号进行小波阈值去噪,并将每次刀具进给产生的冗长信号划分为多个训练样本,以滤除噪声、改善算法的鲁棒性;然后,利用卷积神经网络(CNN)从时序信号输入中自适应地提取特征,构建深度双向门控循环单元(BiGRU)神经网络学习特征向量间的时序信息,并将Attention机制的思想引入其中,自适应地感知对磨损状态分类结果有关联的网络权重,并对其进行合理分配,避免因人工提取特征带来的复杂性和局限性。实验结果表明,所提方法能够对传感器采集的原始数据实时准确地预测刀具磨损状态,在识别精度和泛化能力上均达到了较好的效果,为实际工业场景下的刀具磨损状态监测提供了新的思路。

基于一维卷积循环神经网络的雷达辐射源信号识别

针对人工提取雷达辐射源信号特征不完备、时效性低等问题,提出一种基于一维卷积神经网络和双向门控循环单元的识别方法.首先,提取信号的模糊函数主脊并进行去噪处理;其次,利用一维卷积神经网络学习模糊函数主脊的内在抽象特征;然后引入双向门控循环单元对一维卷积神经网络提取到的特征进行再处理;最后,将特征映射到特征空间并通过Softmax分类器进行分类识别.实验结果表明,该方法在信噪比为0 dB时能保持99.67%的识别率,即使在-6 dB环境中识别率仍能达到90%左右,证实了该方法的有效性和在低信噪比下的稳定性.

基于双向循环神经网络的跌倒行为识别

针对基于三维人体特征点识别跌倒行为需要专用相机设备的问题,提出一种基于二维人体特征点的跌倒行为识别方法。不需专用的相机设备支持,使用开源的计算机视觉库从RGB视频帧提取二维特征点,双向循环神经网络对特征序列进行识别,使用门控循环单元作为循环神经网络的循环单元,变分丢弃法作为网络的正则化项。实验结果表明,与新的跌倒专用数据集CMDFALL的基准算法相比,该方法在节省成本的同时提高了精度。

基于双向GRU神经网络的藏文人物关系抽取方法

关系抽取是指从文本中抽取实体并对实体之间的关系进行语义分析。本文从目前藏文关系抽取语料集稀缺的问题出发,构建了面向人物关系的藏文文本实体数据集,提出基于BERT和双向门控循环单元(GRU)神经网络的人物关系抽取方法,利用Word2vec模型得到基于分布式表示的藏文词向量表达,使用BERT和双向门控循环神经网络获取藏文文本特征进行关系分类预测。分析对比3种关系抽取模型,验证本文提出的模型与其他3类模型相比在精确率和召回率上均有所提高。

基于注意力机制的卷积时序神经网络检测阵发性房颤模型

目的为从动态心电图中准确、有效、快速地检测阵发性房颤(Paroxysmal Atrial Fibrillation,PAF),降低患者的发病率和死亡率,设计一种基于注意力机制的卷积时序神经网络检测阵发性房颤的混合模型。方法该算法首先通过卷积神经网络提取心电信号特征,然后由注意力机制帮助网络聚焦于重点信息部分,最后输入双向门控循环单元用于上下文信息的联系,从而准确检测PAF。结果该模型使用Physionet 2021数据库作为预训练,在CPSC2021数据库上进行迁移学习,其灵敏度、特异性、准确度分别为96.86%、98.56%、98.54%。结论相较于其他算法,该算法能够有效检测PAF,具有潜在的临床应用价值。

融合注意力机制的混合神经网络文本情感分析模型

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经(BiLSTM)模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环(BiGRU)神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制(attention)层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90. 54%,损失率是0. 2430,时间代价是1100 s,验证了BiGRU-attention模型的有效性。