基于双向多层门控循环神经网络的奶牛乳脂率预测模型研究

通过对奶牛乳脂率进行数据预测以及结合随机森林算法对环境数据进行精准特征选择,确定了对乳脂率影响较大的环境因素。在此基础上,提出了将随机森林算法与双向多层门控循环神经网络相结合的乳脂率预测模型(RF-BiGRU)并进行了相关实验。结果表明,该模型能够提高预测的准确性及效率。

基于循环神经网络模型的创伤重症患者临床结局的动态预测

目的 探讨基于循环神经网络(RNN)算法构建的动态预测模型用于创伤重症患者临床结局动态预测的价值,并研究动态策略和实时预测模型可行的搭建方案及路径。方法 本研究数据来源于美国重症监护医学信息数据库(MIMIC)-Ⅳ2.0。以创伤重症患者院内结局为预测目标,使用长短时记忆(LSTM)和门控循环单元(GRU)2种RNN算法分别在4、6和8 h时间窗下训练动态预测模型。使用灵敏度、特异度、F1值和AUC值对模型性能进行评价,并分析不同RNN算法和时间窗对模型性能的影响。在8 h时间窗下分别训练隐马尔科夫模型(HMM)、随机森林(RF)模型和logistic模型作为对照,横向比较2种RNN算法模型与对照模型的性能指标,并分析各模型的时间趋势变化。结果 在不同时间窗时,RNN动态模型在灵敏度、特异度、F1值和AUC值等4个性能指标上差异均有统计学意义(均P<0.001),在8 h时间窗时模型的各性能指标均高于6 h和4 h时;不同RNN算法(LSTM和GRU)间仅特异度差异有统计学意义(P=0.036)。横向比较结果显示,2种RNN算法模型和其他模型间各性能指标差异均有统计学意义(均P<0.001),2种RNN算法模型各指标均高于HMM、RF和logistic模型;各算法模型灵敏度、特异度和F1值的ICC均小于0.400(95% CI未包含0),而AUC值的ICC在统计学上证据不足(95% CI包含0)。结论 基于RNN算法的动态模型对创伤重症患者临床结局的预测效果较其他常见模型具有一定优势,且时间窗对模型性能可能存在影响。

基于循环神经网络的2-DOF软体机械臂运动建模与控制

因现有软体机械臂材料刚度小、模量不稳定,导致建模与控制难度大.提出一种基于循环神经网络(recurrentneuralnetwork,RNN)的方法,用于二自由度(two-degree-of-freedom,2-DOF)软体机械臂的运动建模与控制.使用动作捕捉仪采集不同气压、负载下的位置坐标,并将其导入门控循环单元(gated recurrentunit,GRU)神经网络模型进行训练.当调节超参数至网络结构最优时,测试集准确度可达98.87%.在此基础上,构建气压与负载到末端位置的映射函数.实验结果表明,本方法可将机械臂的控制精度提升至6»8 mm,显著降低了软体机器人的控制与建模难度.

融合社交关系和时序特征的图神经网络推荐模型

为解决推荐模型中的用户信息缺失和用户动态偏好问题,满足用户个性化需求,提出一种融合社交关系和时序特征的图神经网络推荐模型。该模型先构建社交关系图,并通过注意力机制得到基于社交关系的用户潜在特征;再构建用户-项目交互图,利用门控循环单元和注意力机制捕获交互信息,分别获得用户的时序特征和项目特征;最后将用户潜在特征与时序特征融合得到新的用户特征,并将其与项目特征进行融合,经过多层感知机得到最终推荐结果。在不同数据集上进行实验,结果表明,该模型能更好地处理用户信息缺失和用户动态偏好问题,进而提升推荐性能。相较于经典的图神经网络推荐模型,该模型的精确率和归一化折损累计增益比分别提高了4.0%和4.1%。

基于变分模态分解和门控循环单元神经网络的变压器油中溶解气体预测模型

油中溶解气体分析是变压器早期故障诊断的一种有效方法,对变压器油中溶解气体进行精准预测,可为变压器早期故障监测和预警提供理论依据。为此本研究提出了一种基于变分模态分解和门控循环单元神经网络的变压器油中溶解气体预测模型。首先对变压器原始油中溶解气体体积分数时间序列进行变分模态分解,将其分解为各子序列,消除其不平稳性的影响;然后分别建立门控循环单元神经网络预测模型对各子序列进行单步和多步预测;最后将预测得到的各子序列进行叠加重构从而得到对变压器油中溶解气体体积分数的单步和多步预测。算例分析表明,该模型单步预测的平均绝对误差和均方根误差分别为0.0576和0.0684,多步预测的平均绝对误差和均方根误差分别为0.1679和0.2041。相比于其他预测模型,该研究所提出模型在单步和多步预测能力上均有较大提升,为电力变压器监测预警提供了参考。

耦合人工神经网络模型在径流预测中的应用综述

人工神经网络(artificial neural network,ANN)模型耦合其他模型或优化算法在径流预测中的应用逐渐增多。从人工神经网络模型与物理模型的耦合、多人工神经网络模型的耦合、分解技术与机器学习方法的耦合、人工神经网络模型与智能优化算法的耦合4个方面进行系统梳理和总结,阐述提高预测精度的原因及各方法的优势。同时,提出当前研究中存在的问题并进行展望,可为径流预测和水资源管理提供支持。

基于改进门控单元神经网络的语音识别声学模型研究

传统语音识别系统中,基于循环神经网络的语音声学模型对长距离历史信息记忆能力有限,难以利用语音的上下文相关性信息,标准长短时记忆单元参数规模庞大,神经网络训练收敛速度较慢。针对以上问题提出一种基于改进门控循环单元的双向循环神经网络的语音识别声学模型。改进模型使用ReLU函数代替双曲正切激活函数,选取单位正交矩阵作为网络初始化参数,结合批量规范化方法,在维持网络长期依赖关系的同时加快训练收敛速度。在TIMIT和LibriSpeech数据集上的实验结果表明:与基线系统相比,改进的门控循环单元模型有2.8%的绝对音素错误率的下降;与标准长短时记忆单元模型相比,神经网络训练的平均迭代周期减少了16.6%,在识别性能和计算效率上均有提升。

基于门控循环单元和图神经网络的PM2.5预测

PM2.5浓度指数是衡量空气质量的重要指标之一,但由于PM2.5数据的非线性以及受多种气象因素的影响,因此实现精确预测较为困难。本文采用门控循环单元和图神经网络相结合的混合模型预测的方式,并进一步采用改进的门控循环单元提升网络效果。通过对门控循环单元的输入信息与隐藏层信息进行数据交互增强上下文信息联系,使得门控循环单元模块的转移函数依赖于信息上下文。一系列实验结果表明:提出的改进方法相比于现有的方法具有更好的性能以及泛化效果,在中国生态环境部提出的京津冀地区真实数据集上验证了方法的有效性,与现有网络相比预测准确率更高。

基于卷积循环神经网络的混凝土坝变形预报

针对混凝土坝变形量与变形因子之间作用机理的复杂性,本文结合深度学习网络对复杂特征信息挖掘的优势,建立基于CNN-GRU的混凝土坝变形预测模型。采用卷积神经网络对历史变形监测数据进行卷积以提取时间序列的特征,利用门控循环单元生成特征描述,进一步挖掘变形序列变化趋势,实现对混凝土坝的变形预测。基于实际监测数据研究表明:本文所提的方法获得了更高的预测精度,均方根误差达到0.8371,平均绝对误差达到0.6049,平均绝对百分误差达到9.47,在大坝变形监测中具有一定的优越性和实用性。

融合群稀疏与排他性稀疏正则项的神经网络压缩情感分析方法

文本情感分析是目前网络环境下舆情监控、服务评价及满意度分析等领域的重要任务,一些基于深度神经网络的方法已被用于此类任务。规模庞大的深度神经网络模型结构赋予了深度学习模型强大的非线性拟合的能力,大规模的数据资源为训练这样大规模的模型并保证其泛化能力提供了可能性。然而,在实际应用中,深度模型的时间和空间开销仍然制约着这些方法的落地。针对上述问题,提出一种融合群稀疏与排他性稀疏正则项的神经网络压缩情感分析方法,首先分别构建循环-卷积神经网路与卷积-循环神经网络,通过门控单元融合两种网络组成的分析模型,在模型中引入群稀疏与排他性稀疏正则项,剪除冗余神经元或链接,压缩模型规模。在不同数据集上的实验结果验证了本文方法的有效性。

混合神经网络和条件随机场相结合的文本情感分析

针对当前文本情感分析中神经网络模型训练时间长,上下文信息学习不足的问题,该文提出了一种结合混合神经网络和条件随机场(conditional random fields,CRF)的模型。该模型将神经网络作为语言模型,结合了卷积神经网络(convolutional neural networks,CNN)与双向门控循环单元(bidirectional gated recurrent unit,Bi-GRU)两种神经网络获得的语义信息和结构特征,采用条件随机场模型作为分类器,计算情感概率分布,进而能够准确地判断情感类别。该文的模型在NLPCC 2014数据集上进行了测试,准确率为91.74%,与其他分类模型相比,可以获得更好的准确性和F值。

门控递归神经网络处理不规则时间序列数据综述

随着多传感器系统的发展以及非结构化手工数据记录机制的持续使用,不规则时间序列数据越来越普遍。不规则数据和由此产生的缺失值严重限制了对数据进行分析和建模以完成分类和预测任务的能力。通常情况下,用于处理时间序列数据的传统方法会引起偏差,并对底层数据的生成过程进行强假设,这可能会导致较差的模型预测结果。传统的机器学习和深度学习方法虽仍处于数据建模的前沿,但最多只能受到不规则时间序列数据集的影响,无法对不完整时间序列的时间不规则性进行建模。门控递归神经网络(RNN),如LSTM和GRU,在序列建模方面取得了突出的成绩,并在许多应用领域得到了应用,如自然语言处理。这些模型已成为时间序列建模的良好选择,也是处理不规则时间序列数据的重要工具。文中重点介绍了处理不规则时间序列数据的两种常用方法,即在数据预处理阶段输入缺失值以及在学习过程中修改算法从而直接处理缺失值,旨在介绍这一研究分支中出现的有效的技术,以便研究人员创造出进一步处理不规则时间序列数据的新技术。

基于神经网络与注意力机制的中文文本校对方法

中文文本校对是中文自然语言处理方面的关键任务之一,人工校对方式难以满足日常工作的数据量需求,而基于统计的文本校对方法不能灵活的处理语义方面的错误.针对上述问题,提出了一种基于神经网络与注意力机制的中文文本校对方法.利用双向门控循环神经网络层获取文本信息并进行特征提取,并引入注意力机制层增强词间语义逻辑关系的捕获能力.在基于Keras深度学习框架下对模型进行实现,实验结果表明,该方法能够对含语义错误的文本进行校对.

基于SSA-GRU神经网络的超短期风电功率预测

针对风电数据的复杂和不确定性,为了进一步提高输出功率预测的精度和鲁棒性,采用深层神经网络技术,提出了一种基于参数寻优的麻雀搜索算法—门控循环单元(SSA-GRU)超短期混合风电功率预测模型。首先,对复杂的风电数据进行冗余变量清洗,通过多个单一神经网络在风电数据训练集上的预测性能比较,GRU神经网络实现了对输出功率较高精度的预测,同时相较其他预测模型提升了效率;然后,采用SSA对整个模型进行参数最优值搜索,将原有单一模型加入优化迭代组成混合算法模型,改进了模型参数设置不确定性带来的对预测精度的影响,SSA较快的收敛速度也适用于风电类大量样本的训练与预测;最后,基于国外某风电场数据集实例验证了本文所提模型的可行性和有效性。

基于双向GRU神经网络的医学文本PICO成分识别

针对传统机器学习模型在识别PICO(population/problem,intervention,comparison and outcome)成分时存在特征提取不充分的问题,本文提出了一种自动识别医学文本中PICO成分的GRUCM模型,该模型融合了双向门控循环单元(bi-bated recurrent unit,BiGRU)神经网络和条件随机场(conditional random field,CRF)的优点,不仅能改善传统机器学习模型存在的特征抽取不足的问题,而且可以同时抽取出多个成分,避免创建多个模型而造成的资源浪费。该模型在测试数据上P成分的F 1值为88.24%,I成分的F 1值为80.49%,O成分的F 1值为86.62%,与采用长短期记忆网络(long short-term memory,LSTM)和CRF模型的识别效果进行对比,本文提出的GRUCM模型对PICO成分的识别更有效。

基于门控循环网络的海浪波倾角预测研究

海浪的波倾角是一种非线性随机时间序列,对于舰载机的起降和舰载稳定平台的控制具有重要的指导意义。传统的时间序列预测方法诸如自回归滑动平均预测、神经网络预测法等,有时无法提供较高的精度。因此,提出一种基于门控循环网络的海浪模型时间序列预测法。结果表明,在平均绝对百分比误差上分别比BP神经网络、循环神经网络(RNN)、长短期记忆网络(LSTM)下降了85.0%、80.3%、34.4%;在均方根误差上分别下降了27.1%、37.7%和7.5%。与传统方法相比,门控循环网络在处理长依赖时间序列上更有优势,预测精度更高。

基于卷积门控循环单元的波浪发电系统输出功率预测

为高效准确预测波浪输出功率,提出卷积神经网络和门控循环单元混合模型波浪预测算法。采用间接预测方法,搭建直驱式波浪发电系统模型,运用CORREL函数分析不同波浪特征的相关性,结合卷积神经网络提取特征与高维空间中的波高关系,构造特征向量,通过门控循环单元网络进行训练,将全连接层的输出值经反归一化后获得预测波高值,输入所搭建模型,获得波浪输出功率预测值。仿真结果表明,与其他网络模型相比,在多特征输入情况下,混合模型波浪预测算法预测效率更高、精度更准确。

融合隐语义模型与门控循环单元的推荐算法

在传统的推荐算法中,往往缺乏对用户长短期兴趣偏好问题的考虑,而随着深度学习在推荐算法中应用的不断深入,这一问题能够得到很好的解决.本文针对该问题提出一种融合隐语义模型与门控循环单元的长短期推荐算法(recommendation algorithm based on long short-term,RA_LST),以实现对用户长短期偏好的分别捕捉,有效解决了因用户兴趣随时间变化而导致推荐效果下降的问题.最终的实验结果表明,本文提出的算法在不同的数据集上都表现出了推荐准确性的提升.

基于ICEEMDAN和时变权重集成预测模型的变压器油中溶解气体含量预测

为了实现对变压器油中溶解气体体积分数的精确预测,同时克服仅使用单一预测模型导致预测精度及泛化能力不足的局限,提出了一种基于改进完全自适应噪声集合经验模态分解(improved complete ensemble empirical mode decomposition,ICEEMDAN)和灰色关联系数时变权重集成预测模型的变压器油中溶解气体预测方法。首先将溶解气体含量序列模态分解为一系列具有不同时间尺度的子序列。然后,使用门控循环神经网络和麻雀搜索算法优化支持向量机对各子序列进行训练,组合为一个集成预测模型;并比较不同预测方法的预测精度,计算灰色关联系数时变权重,形成各子系列的预测结果。最后将各子序列的预测结果叠加重构,得到最终预测结果。算例分析结果显示:该方法单步预测的均方根误差、平均绝对误差和相关系数分别为0.593、0.422和0.768,相比其他算法在预测精度上有明显提升,同时具有很强的泛化性能,可以为油浸式变压器内部状态监测提供依据。

基于循环神经网络的根本死因推断模型

目的利用循环神经网络探索自动推断根本死因的可行性,为死因监测工作提供自动化工具。方法利用2016—2021年福建省国家级死因监测点经专家审核的死亡报告数据,基于门控循环单元(GRU)构建根本死因推断模型,通过训练、验证和测试确定最终模型;用准确率、加权查准率、加权查全率和F1分数评价模型性能。结果根本死因推断模型的验证集推断准确率达93.5%。测试集推断准确率为87.8%,加权查准率87.3%,加权查全率87.8%,加权F1分数为0.88。结论基于循环神经网络的根本死因推断模型具有较好性能,深度学习相关技术在辅助提升死因监测工作质量上能够发挥作用,降低人工审核压力。