基于双向多层门控循环神经网络的奶牛乳脂率预测模型研究

通过对奶牛乳脂率进行数据预测以及结合随机森林算法对环境数据进行精准特征选择,确定了对乳脂率影响较大的环境因素。在此基础上,提出了将随机森林算法与双向多层门控循环神经网络相结合的乳脂率预测模型(RF-BiGRU)并进行了相关实验。结果表明,该模型能够提高预测的准确性及效率。

结合双向循环神经网络和注意力机制的微博文本情感分析

情感分析作为自然语言处理的一个重要分支,广泛应用于各个领域。针对CNN不能联系全文信息,RNN模型存在时序依赖问题,对特征信息提取不充分,本文构建一种结合双向循环神经网络和注意力机制的情感分析模型。首先,在文本表示部分使用Word2Vec模型获得词向量;其次,在训练模型部分构建双向循环神经网络连接注意力机制的组合模型,把双向循环神经网络的输出做3种线性变化后输入Attention机制,以此给隐层特征分配权重来整合文本信息;最后,在simplifyweibo_2_polarities数据集上验证模型的有效性。

基于双向循环神经网络的跌倒行为识别

针对基于三维人体特征点识别跌倒行为需要专用相机设备的问题,提出一种基于二维人体特征点的跌倒行为识别方法。不需专用的相机设备支持,使用开源的计算机视觉库从RGB视频帧提取二维特征点,双向循环神经网络对特征序列进行识别,使用门控循环单元作为循环神经网络的循环单元,变分丢弃法作为网络的正则化项。实验结果表明,与新的跌倒专用数据集CMDFALL的基准算法相比,该方法在节省成本的同时提高了精度。

基于变分模态分解的卷积神经网络−双向门控循环单元−多元线性回归多频组合短期电力负荷预测

为了有效提高电力负荷预测精度,针对电力负荷非线性、非平稳性、时序性的特点,提出了一种卷积神经网络(convolutional neural networks,CNN)、双向门控循环单元(bidirectional gated recurrent unit,BiGRU)和多元线性回归(multiple linear regression,MLR)混合的多频组合短期电力负荷预测模型。该模型先利用关联度分析得到相似日,并将其负荷组成新的数据序列,同时使用变分模态分解(variational mode decomposition,VMD)将该数据序列进行分解,并重构成高低2种频率。对于高频分量,使用CNN-BiGRU模型进行预测;低频部分则使用MLR。最后将各个模型得出的预测结果叠加,得到最终预测结果。以2006年澳大利亚真实数据为例,进行短期电力负荷预测。仿真结果表明,相比于其他网络模型,该模型具有较高的预测精度和拟合能力,是一种有效的短期负荷预测方法。

基于深度双向门控循环神经网络的制粉系统故障预警

为构建鲁棒性较强的状态估计模型,结合堆叠自编码器思想,提出一种基于深度双向门控循环神经网络的制粉系统状态估计及故障预警方法。首先,选取制粉系统正常运行状态变量历史数据作为深度双向门控循环神经网络的训练输入,然后利用网络强大的特征学习能力,建立制粉系统正常状态估计模型。采用滑动窗口法构建制粉系统状态监测指标,确定指标阈值,利用火电厂制粉系统历史运行数据进行仿真。结果表明:相比于其他方法,深度双向门控循环神经网络模型具有更好的估计性能,且能够在故障发生前及时发出预警信息,达到早期故障诊断的目的。

基于双向循环神经网络的评价对象抽取研究

评价对象抽取的研究难点在于如何精确地表示大范围的上下文信息。本文针对微博观点句,采用了基于双向循环神经网络(BRNN)的方法来抽取评价对象并对评价对象的情感倾向进行判定。BRNN的隐藏层对上下文进行了抽象,如果经过良好地训练,就能在循环处理句子时有效地表示远距离的有序上下文信息,而无需对上下文窗口长度进行限定。本文选择了词、词性、依存句法树以及产品词典等特征构建了BRNN模型。通过实验发现,上述4种特征组合获得了最优实验结果,通过与CRF模型的对比,本文提出的方法在相互覆盖模式下F值比CRF模型高出0.61%,验证了本文方法的有效性。本文方法在COAE2015任务3的资源受限评测任务中,获得了最好结果。

一种新型带门限回归单元循环神经网络的信息安全评估算法

目的针对现有信息安全评估算法的准确性和鲁棒性不足,以及评估效率的低下,本文提出一种新型带门限回归单元的循环神经网络(GRU-RNN)信息安全评估算法.方法该算法首先提取信息安全评估中的内外安全态势特征,然后将特征应用至GRU-RNN时间序列分析网络中,通过对该时间序列分析网络模型的训练和交叉验证,完成对网络信息安全的评估.结果在林肯实验室的DARPA数据集上进行仿真实验,相比于传统网络安全评估算法,本文提出算法获得了更高的评估准确率和鲁棒性.尽管GRU-RNN模型需要更多的训练时间,但是能够保证更好的评估结果,并且适合不稳定的信息安全数据评估.结论本文提出的内外安全态势特征能够很好的描述时间序列数据中的信息安全特性,并且应用GRU-RNN模型能够应对非平稳数据,同时提升了信息安全评估的准确率与鲁棒性.

基于多重注意力卷积神经网络双向门控循环单元的机械故障诊断方法研究

为解决传统机械故障诊断方法需要人工提取特征的不足,提出一种基于多重注意力卷积神经网络双向门控循环单元(multiple attention-convolutional neural networks-bidirectional gated recurrent unit,MA-CNN-BiGRU)的端到端的故障诊断方法。首先将原始时域数据输入卷积神经网络(convolutional meural networks,CNN)进行初步特征提取并降维,然后将结果重组输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),可以有效地解决BiGRU对于过长序列数据处理困难的问题。采用美国凯斯西储大学开源轴承数据集进行训练,确定了最佳卷积层数和最佳样本长度约减比例分别为2和1/8。同时,通过在CNN和BiGRU中分别加入卷积注意力模块(convolutional block attention module,CBAM)和序列注意力模块(sequence attention module,SAM),进一步加强了模型对于关键信息的提取能力。最后实测柴油机故障振动信号试验表明:MA-CNN-BiGRU模型可以实现端到端的故障诊断,与变分模态分解(variational mode decomposition,VMD)核模糊C均值聚类算法(VMD-kernel fuzzy C-means clustering,VMD-KFCM)、VMD-反向传播神经网络(back propagation neural network,BPNN)和一维CNN等方法进行对比,MA-CNN-BiGRU模型的故障诊断性能更优。

基于粒子群优化的双向门控循环神经网络燃煤电厂NO_(x)排放预测

针对燃煤电厂NO_(x)排放的预测问题,提出了基于粒子群优化算法和双向门控循环(PSO-Bi-GRU)神经网络的NO_(x)排放预测模型。通过主成分分析对影响NO_(x)排放的运行参数进行降维,消除变量间的耦合;基于双向门控循环神经网络学习NO_(x)排放的非线性特性和前后时序信息,提高特征提取能力;采用粒子群算法对Bi-GRU神经网络模型进行超参数寻优,使网络结构最大程度匹配影响NO_(x)排放的变量特征,克服依靠经验选取或手动调节参数而导致预测精度低的问题。最后基于某电厂660 MW机组燃煤锅炉运行参数,建立NO_(x)排放预测模型,并与单向门控循环神经网络、传统Bi-GRU神经网络预测模型进行对比。仿真结果表明,PSO-Bi-GRU神经网络模型预测效果最好,其平均绝对误差、平均绝对百分误差、均方根误差均最小,验证了本文所提PSO-Bi-GRU神经网络NO_(x)排放预测模型的有效性。

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断。在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法。将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息。实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率。

基于自注意力机制的双向门控循环单元和卷积神经网络的芒果产量预测

针对影响芒果产量的相关气象要素繁多,它们与产量之间的关联关系复杂、难以用数学函数准确地描述的问题,提出一种基于自注意力机制具有长短期记忆功能的双向门控循环单元和卷积神经网络组合(Self-attention CBiGRU)模型。首先,利用CNN卷积层(1D CNN)提取局部特征;其次将Self-attention机制用于进一步提取依赖特征,然后双向门控循环单元(BiGRU)会充分考虑年份之间的关联性,学习长期依赖特征;最后,利用广西某地3个气象站所收集到的24个芒果生产周期年份(从前一年第22旬到当年第21旬)每旬9个气象要素及芒果产量数据进行分析建模,建立了芒果产量预测Self-attention C-BiGRU模型。实验结果表明,Self-attention C-BiGRU模型预测的产量与实际产量的均方根误差为10.67,比支持向量回归(SVR)、误差后向传播神经网络(BPNN)、门控循环单元(GRU)、基于注意力机制的双向门控循环单元(BiGRU-Attention)、门控循环单元和卷积神经网络组合模型(GRU-CNN)、双向门控循环单元和卷积神经网络组合模型(C-BiGRU)分别平均降低了37.7%、42.1%、17.6%、4.1%、5.3%和5.9%。Selfattention C-BiGRU模型具有较高的预测准确性,对提升广西芒果产业发展、推进农业信息化有重要意义。

双向循环神经网络在语音识别中的应用

针对前馈神经网络难以处理时序数据的问题,提出将双向循环神经网络(BiRNN)应用在自动语音识别声学建模中。首先,应用梅尔频率倒谱系数进行特征提取;其次,采用双向循环神经网络作为声学模型;最后,测试不同参数对系统性能的影响。在TIMIT数据集上的实验结果表明,与基于卷积神经网络和深度神经网络的声学模型相比,识别率分别提升了1.3%和4.0%,说明基于双向循环神经网络的声学模型具有更好的性能。

基于注意力双向循环神经网络的业务流程剩余时间预测方法

现有的基于深度学习的业务流程剩余时间预测方法大多采用传统的长短期记忆循环神经网络构建预测模型,由于传统长短期记忆循环神经网络对序列数据的建模能力有限,导致现有方法的预测效果还有较大提升空间。针对现有方法的不足,提出一个基于注意力双向循环神经网络的业务流程剩余时间预测方法。该方法使用双向循环神经网络对流程实例数据进行建模,同时引入注意力机制自动学习流程实例中不同事件的权重。此外,为了进一步提升学习效果,基于迁移学习的思想设计了一种迭代学习策略,为不同长度的流程实例分别构建剩余时间预测模型,提高了模型的针对性。实验结果表明,所提方法与传统的方法相比具有明显的优势。

改进一维卷积神经网络与双向门控循环单元的轴承故障诊断研究

针对传统智能故障诊断依赖于人工经验进行特征提取和传统卷积神经网络(Convolutional neural networks, CNN)参数过多、训练量过大且无法充分利用时间序列信息的缺点,提出一种基于改进一维卷积神经网络与双向门控循环单元的深度学习新算法。首先,该方法利用一维卷积神经网络自提取能力进行特征提取,同时设计了一个全局均值池化层替换传统卷积神经网络的全连接层,减少参数数量;其次,引入双向门控循环单元学习特征信号中的时间序列关系;最后,通过支持向量机替换传统CNN中的Softmax层进行故障分类,进一步提高诊断的准确率。实验表明,该方法将诊断的准确率提升至99.8%,并且加快了诊断的速度。通过与其他方法的对比,证明了该方法有着更高的准确率,更快的诊断速度,更好的鲁棒性。

融合一维卷积神经网络和双向门控循环单元的APM车辆轮胎径向载荷识别方法

针对轮胎载荷直接测量昂贵复杂及传统载荷识别方法精度低、鲁棒性差的现实,提出了一种融合一维卷积神经网络(1D CNN)和双向门控循环单元(BiGRU)的胶轮车辆轮胎径向载荷识别方法。充分考虑轮胎径向载荷数据的先验信息,以车辆振动响应、车体位姿、运行状态等多源信息构建特征集并经特征选择保留有效的特征子集,构造多时间步输入-单时间步输出的样本用以网络训练。运用1D CNN提取信号的多维度空间特征并输入BiGRU中双向捕获时序特征,得到载荷预测的结果,结合预测精度、泛化性能、鲁棒性能修正理论模型。以APM300型车辆为例进行载荷识别,与传统算法相比,所提方法有效降低了载荷识别的误差,适用于不同运行工况,且能克服不同程度的测量噪声,在工程领域有现实应用价值。

基于改进双向循环神经网络的变压器故障诊断模型研究

针对传统神经网络对变压器时序关系挖掘缺失、分类泛化性差、对异构数据分类准确率低的问题,提出了一种基于改进的双向循环神经网络的变压器故障诊断模型。该模型通过双向循环神经网络进行特征提取,将前后时刻的特征进行融合,采用多核学习支持向量机方法对特征数据进行分类,在多核学习支持向量机中进行核融合,从而提高特征数据分类的准确性。数值仿真分析了时序通道对长短时序网络诊断性能的影响,以及多核学习对支持向量机泛化能力和对异构数据处理能力的影响,通过变压器故障数据分类试验验证了基于多核学习支持向量机的双向循环神经网络模型的正确性和有效性。结果表明,基于多核学习支持向量机的双向循环网络诊断性能较好,与几种常用的神经网络相比,模型预测正确率更高。

基于双向循环神经网络的空气质量预测模型的实现

近年来环境问题被越来越多人关注,相对于空气质量的预测也渐渐变得日趋重要。基于传统的机器学习构建的空气质量预测模型也投入了实际应用,但对于动态存在的污染物质,传统机器学习构成的模型对于数据的有效性存在不足。针对这个问题提出一种以双向循环神经网络为主,卷积神经网络为辅的一种预测模型。若单纯应用双向循环神经网络进行预测相较于增加了一维卷积神经网络,后者提高了4%的被解释方差。新模型相较于传统的线性回归、最小角回归、贝叶斯回归提升了20%~50%的被解释方差。

基于双向长短期记忆循环神经网络和条件随机场的钻井工况识别方法

传统钻井作业中,钻井工况主要通过基于机理模型与人工判断的方法进行识别,无法保证钻井工况识别的实时性与精准度。为此,采用近年来热门的人工智能算法,将井深与钻头位置的差、钻头位置、井深、大钩高度、大钩载荷、转速、钻压、扭矩、排量共9项钻井参数作为输入特征项,训练调优并建立了基于双向长短期记忆循环神经网络和条件随机场的钻井工况智能识别模型,对复合钻进、滑动钻进、上提开泵划眼、下放开泵划眼、静止、坐卡、原地循环等共计20种钻机动态进行实时智能识别,训练集、测试集的正确率分别为96.49%、97.23%。该模型的成功建立,验证了人工智能算法的优越性,为人工智能算法在钻井工程领域的后续应用提供了丰富经验。

基于深度门控循环单元神经网络的刀具磨损状态实时监测方法

为监测生产加工过程中的刀具磨损状态,提出一种基于深度门控循环单元神经网络的轻量化状态监测模型。首先,预处理阶段对加速度传感器采集的时序信号进行小波阈值去噪,并将每次刀具进给产生的冗长信号划分为多个训练样本,以滤除噪声、改善算法的鲁棒性;然后,利用卷积神经网络(CNN)从时序信号输入中自适应地提取特征,构建深度双向门控循环单元(BiGRU)神经网络学习特征向量间的时序信息,并将Attention机制的思想引入其中,自适应地感知对磨损状态分类结果有关联的网络权重,并对其进行合理分配,避免因人工提取特征带来的复杂性和局限性。实验结果表明,所提方法能够对传感器采集的原始数据实时准确地预测刀具磨损状态,在识别精度和泛化能力上均达到了较好的效果,为实际工业场景下的刀具磨损状态监测提供了新的思路。

基于循环神经网络算法的水库调度模拟

为探索深度学习算法在水库调度领域的应用,利用网络爬虫技术,收集了溪洛渡水电站的调度运行数据,基于RNN、LSTM、GRU3种循环神经网络,学习电站现有调度规则,构建了溪洛渡水库的出流量预测模型,并探究不同参数设定对模型精度和计算速度的影响,对比了3种模型的模拟性能,分析了影响水库调度的主要因素。研究结果表明,隐层数、训练批量、迭代次数、隐层节点数和批量值是影响模型精度和计算速度的主要参数;3种模型具备良好的学习能力,能够根据水库的历史调度数据,学习应对不同场景的调度规则,生成出流方案,可为调度决策方案的制定提供参考依据。