基于循环神经网络的GDP预测研究与分析

GDP(Gross Domestic Product)和人均GDP是一个国家经济实力的标志性指标,反映一个国家经济发展状况。通过世界银行提供各国1976年以来的GDP和人均GDP数据对LSTM(Long Short-Term Memory)网络进行了训练,用训练好的LSTM网络对6个国家的人均GDP进行了预测。通过对预测值和实际值的比较,结果显示LSTM网络对人均GDP的预测效果明显优于传统的统计学方法。

基于循环神经网络的工程专业语义智能分析方法研究

针对传统翻译方法学习能力差、翻译质量较低的问题,提出了一种基于循环神经网络的专业英语机器翻译方法。该方法以编码器-解码器为模型框架,利用改进的循环卷积神经网络对输入数据加以训练。同时编码器使用多头注意力机制对输入数据进行共同训练,进而使算法兼具局部与全局特性。解码器单层则采用三子层结构,分别为多头注意力子层、上下文信息子层及全连接子层,可保证句子翻译的流畅性。在实验测试中,所提算法的BLEU值与其他算法相比提升了2.7;而在专业语料翻译测试中,相较于网络翻译,该算法的准确性和流畅度均更优,由此表明其性能较好,具有一定的工程应用价值。

应用长短期记忆循环神经网络的弱反射信号增强方法

由于沉积环境的特殊性和复杂性,地下介质中不同反射界面的波阻抗差可能差异巨大。如果储层的有效反射信息较弱,在地震数据中极可能被强反射信息掩盖,不易被识别,影响了储层识别效果,因此亟需一种解释性处理技术突出弱反射信息。常规方法一般是先从地震数据中分离出强反射分量,再将它削弱或删除。但如果地震子波提取不准确,减去法中强反射残留会引入虚假信号。文中提出了一种“升弱降强”的新思路,通过构建幂次反射系数映射模型缩小弱反射信号与强反射信号的相对差异。首先计算测井反射系数的幂次反射系数,将弱反射系数相对增大、强反射系数相对减小,得到拟反射系数序列;再用原始反射系数序列和拟反射系数序列分别与地震子波进行褶积运算,得到合成地震记录和拟合成地震记录,生成训练样本集;然后用该样本集训练长短期记忆(LSTM)循环神经网络,建立合成地震记录与拟合成地震记录的映射关系;最后将该网络应用于地震数据,增强了地震弱反射信号。模型和实际数据应用结果表明,该方法能有效增强地层本身引起的弱反射信号,提高地震数据的储层识别能力。

基于长短期记忆神经网络的城市交通速度预测

交通速度预测在智能交通系统中起着重要的作用,准确、快速的交通速度预测有利于及时掌握城市道路交通状况,能够有效实行交通诱导。针对交通速度具有极强的周期性,在工作日和非工作日之间存在较大差异,导致预测精度不高的问题,分别选取公开的工作日和非工作日交通速度数据,构建基于长短期记忆神经网络的城市交通速度预测模型。实验验证采用广州市20条路段的交通数据,结果表明,区分工作日和非工作日的平均绝对百分比误差、平均绝对误差和均方根误差的平均值比不区分均要小,说明区分工作日和非工作日可以有效地提高交通速度的预测精度。

基于双向长短期记忆循环神经网络和条件随机场的钻井工况识别方法

传统钻井作业中,钻井工况主要通过基于机理模型与人工判断的方法进行识别,无法保证钻井工况识别的实时性与精准度。为此,采用近年来热门的人工智能算法,将井深与钻头位置的差、钻头位置、井深、大钩高度、大钩载荷、转速、钻压、扭矩、排量共9项钻井参数作为输入特征项,训练调优并建立了基于双向长短期记忆循环神经网络和条件随机场的钻井工况智能识别模型,对复合钻进、滑动钻进、上提开泵划眼、下放开泵划眼、静止、坐卡、原地循环等共计20种钻机动态进行实时智能识别,训练集、测试集的正确率分别为96.49%、97.23%。该模型的成功建立,验证了人工智能算法的优越性,为人工智能算法在钻井工程领域的后续应用提供了丰富经验。

基于人工神经网络的自然语言处理技术研究

文章探讨了基于人工神经网络的自然语言处理技术,首先,阐述了人工神经网络的定义、结构、工作原理,以及与深度学习的关系。其次,详细研究了基于人工神经网络的自然语言处理技术,包括神经网络模型、词嵌入技术、循环神经网络、长短期记忆网络、转换器模型与自注意力机制等,并分析了这些技术面临的挑战。最后,通过实验设计与结果分析验证了所提出方法的有效性。文章研究内容对于推动自然语言处理技术的发展和应用具有重要意义。

基于长短期记忆循环神经网络的AGC实时控制策略

大量新能源的接入以及电网中冲击负荷数量的剧增,使得电网对自动发电控制(AGC)策略提出了新的要求。简化AGC的一般控制流程,对比不同AGC策略的控制特性,在每个考核周期内选择控制效果更优的控制策略,并充分发挥多种控制策略在各自优势工况下的性能,以得到优秀控制数据集;在此基础上,以长短期记忆(LSTM)循环神经网络为神经元构建AGC策略深度学习模型,并提出一种基于LSTM循环神经网络的数据驱动型AGC实时控制策略。仿真结果表明,基于深度学习的控制策略的整体性能优于任何单一控制策略。

LSTM循环神经网络的高速铁路越区切换算法

在高速铁路列车运行过程中,为了保持不中断通信,列车需要不断地与基站进行越区切换。越区切换作为LTE-R通信的关键技术,对于保障行车安全至关重要。针对下一代高速铁路无线通信LTE-R系统越区切换算法,因迟滞门限参数固定而导致切换成功率低等问题,提出了一种基于长短期记忆循环神经网络的高速铁路越区切换算法。首先,利用长短期记忆神经网络的记忆特性以及高速铁路越区切换重叠区信号时空相关性的特点,构建了基于长短期记忆循环神经网络的越区切换迟滞门限参数动态预测深度学习网络;其次,通过提出的长短期记忆深度学习模型,对越区切换迟滞参数进行线下训练和线上预测来获取未来时刻的切换门限值,实现了对越区切换迟滞参数的自适应预测,克服了迟滞门限参数固定的缺点;最后,通过仿真实验的结果表明,所提基于长短期记忆循环神经网络的高速铁路越区切换算法较其他比较方法能够有效地提高越区切换的成功率,并降低乒乓切换率的影响。

基于Bi-LSTM循环神经网络的风储系统控制策略

“双碳”背景下风电的渗透率不断提高,将对电力系统的形态和运行机制产生深刻影响。本文提出了一种基于双向长短期记忆Bi-LSTM(bidirectional long short-term memory)循环神经网络的风储系统控制策略。采用双向长短时循环神经网络提取控制结果与风电场实际出力以及储能状态间的时序信息,通过构建基于双向长短时记忆循环神经网络的控制模型,使得风电场在多种运行工况下能够快速、准确地得到储能系统调节结果。基于实际风电场数据仿真结果表明,本文所提控制策略能够保证在一定经济效益的前提下,将风储系统控制误差保持在0.50%~1.37%。

基于LSTM神经网络的超市蔬菜类商品收益预测

目前深度学习预测技术已经十分成熟,适用于多种类型的预测任务,可以对时间序列数据进行准确预测。长短期记忆神经网络(LSTM)在循环神经网络(RNN)的基础上解决了梯度消失和梯度爆炸的问题,可用于预测长时间序列数据。文章提出了基于长短期记忆网络的超市蔬菜类商品的收益预测算法。首先利用长短期记忆(LSTM)对蔬菜单品净藕的批发单价、销售单价、销售总量进行预测,在此结果的基础上对花叶类蔬菜进行预测,从结果中可以看出长短期记忆网络(LSTM)对蔬菜类商品的预测效果表现十分出色,最后得到花叶类蔬菜的商品总收益。

一种双向长短时记忆循环神经网络的问句语义关系识别方法

提出一种基于双向长短时记忆循环神经网络的问句语义关系识别方法.利用循环神经网络直接从词学习问句的语义特征表示,不需要自然语言处理工具进行特征抽取,有效避免了误差传递问题.同时,在网络中加入双向结构和长短时记忆模块,有效改善传统循环神经网络在训练过程中的"梯度弥散"问题.加入基于主实体位置的分段最大池化操作,相对于传统单一最大池化,能保留问句文本中的有效语义特征.通过在电力领域真实问题集上实验比较,本方法相对于传统方法能有效提升问句语义关系识别的性能,问句语义关系分类结果F1值提高4.5%.

基于长短期记忆循环神经网络的伊拉克H油田碳酸盐岩储层渗透率测井评价

伊拉克H油田碳酸盐岩储层孔隙结构复杂,孔隙类型多样,给渗透率测井评价工作带来了极大困难。针对这一问题,建立了基于测井序列信息的长短期记忆(LSTM)循环神经网络渗透率预测模型。从测井响应差异以及测井序列信息出发,优选敏感测井曲线,搭建LSTM循环神经网络,训练网络并优化网络参数,建立了基于LSTM循环神经网络的伊拉克H油田碳酸盐岩储层渗透率预测模型。应用该模型对伊拉克H油田进行渗透率测井评价,并将预测结果与灰色系统预测模型GM(0,N)进行对比。结果表明:相对于灰色系统预测模型的结果,基于LSTM循环神经网络的渗透率预测模型的均方根误差降低了29.47%,皮尔逊(Pearson)相关系数提高了6.59%,取得了较好的应用效果。该模型能够充分挖掘测井曲线与渗透率之间关系的信息,提升了储层渗透率评价精度。

基于长短时记忆循环神经网络的北京市糖尿病合并呼吸系统疾病患者入院预测研究

目的:比较广义相加模型(GAM)和长短时记忆循环神经网络(LSTM-RNN)对糖尿病合并呼吸系统疾病患者入院频数的预测效果。方法:收集2014年1月1日至2019年12月31日北京市大气污染物、气象因素和呼吸系统疾病入院数据,基于LSTM-RNN预测糖尿病合并呼吸系统疾病患者入院频数并与GAM对比,模型评价采用五折交叉验证法。结果:与GAM相比,LSTM-RNN具有较低的预测误差[均方根误差(RMSE)分别为21.21±3.30和46.13±7.60,P<0.01;平均绝对误差(MAE)分别为14.64±1.99和36.08±6.20,P<0.01]和较高的拟合优度(R^(2)值分别为0.79±0.06和0.57±0.12,P<0.01)。在性别分层中,预测女性入院频数时,LSTM-RNN三项指标均优于GAM(均P<0.05);预测男性入院频数时,两模型误差评价指标差异无统计学意义(均P>0.05)。在季节分层中,预测温暖季节的入院频数时,LSTM-RNN的RMSE和MAE均低于GAM(均P<0.05),R2值差异无统计学意义(P>0.05);预测寒冷季节入院频数时,两种模型的RMSE、MAE和R2值差异均无统计学意义(均P>0.05)。在功能区分层中,预测首都功能核心区入院频数时,LSTM-RNN的RMSE、MAE和R2值均优于GAM(均P<0.05)。结论:LSTM-RNN预测误差较小,拟合程度优,可作为污染天气提前精准配置医疗资源的预测手段。

基于LSTM循环神经网络的风力预测研究

传统的风力预测模型中有线性预测模型和非线性预测模型,在具有强非线性记录数据的局部风力预测中,绝大部分的非线性预测模型比线性预测模型预测准确度更高.对于短时间内风力大小是非线性、随机性和难以准确预测的特点,该文运用一种基于长短期记忆(long short-term memory neural network,LSTM)循环神经网络的短期局部风速预报技术预测风力.首先建立以LSTM神经网络为基础的短期局部风速预测模型,然后采用TensorFlow深度学习平台进行模型参数调试,在此基础上,结合华东某局部风电场的历史数据作为输入,对模型进行训练和测试.研究结果表明,LSTM循环神经网络预测风速与实际的风速吻合较好,预测效果较好,并且深层神经网络具有强大的拟合能力,在数据预测方面有很强的应用性.

基于长短期记忆循环神经网络的变电站监控系统智能故障推理方法

针对变电站故障推理和分析应用存在人工总结的规则不全面、总结难度大、干扰信号多、故障推理配置可重用性低,以及故障推理往往需要考虑输入信号的时序性等问题,而采用传统机器学习算法无法有效解决此问题,提出一种基于长短期记忆循环神经网络(LSTM-RNN)、自然语言处理技术的变电站智能故障推理方法。分析了故障推理的应用场景,介绍了智能故障推理方法的整体架构、关键技术,并通过实际数据的应用试验进行了测试,验证了不依赖人工规则的智能故障推理方法的可行性,在信号时序可以记忆的场景中LSTM-RNN比其他机器学习算法有更好的适用性。

沥青路面温度预测的长短记忆循环神经网络模型研究

沥青路面的力学特征演化、环境老化与温度直接相关,路面温度的预测是对沥青路面性能评价、研究的基础。首先依路面热传导方程将路面温度场离散为表面热交换、内部热传导两个部分,路面表面热流可以近似表示为气象环境的线性组合,路面温度为路面历史温度与边界热流的线性组合。然后建立与离散路面温度场耦合的双层长短记忆(LSTM)深度神经网络模型,模型采用时间步迭代方式运行,迭代步内神经元能够模拟表面热交换、内部热传导过程。模型时间序列长度48 h,训练时前24小时的数据主要用于模型参数更新,后24小时用于验证训练效果;验证时全部时间序列用于检验模型效果。然后,实测、收集了武汉、广州、唐山、苏州的温度场数据集、气象数据,并将路面温度数据归一化成统一的深度,对路面温度存在锯齿形不光滑的数据做标记剔除短时降雨的影响。然后用武汉、广州训练集训练模型,比选模型的输入气象因素、神经网络神经元个数与层数、学习率、训练时段,遴选出模型架构为4 + 5的双层LSTM神经网络。用唐山、苏州数据评价模型在0、2、4、6、8 cm深度的预测标准差为2.98、2.32、1.95、1.68、1.5℃,剔除降雨标记数据时模型预测标准差为2.0、1.71、1.54、1.25、1.08℃,路面深度越大模型预测效果越好。模型的因素分析表明,气温升高对路面温度的提升效应最明显,太阳辐射提高对白天路面温度有提高效应,气温实际是非独立的路面与环境交互作用的体现者。

循环神经网络在剩余使用寿命预测中的应用综述

准确的剩余使用寿命预测对于提高工业设备及复杂系统的使用价值、降低设备生命周期成本具有重要意义。循环神经网络具有时间维度上的记忆性且能够参数共享,比较适用于剩余使用寿命预测。文章基于循环神经网络对剩余使用寿命预测展开深入的研究,将搜集文献法分为三种:基于单一循环神经网络的预测方法,以循环神经网络为主、以其他神经网络为辅的混合网络预测方法,以及循环神经网络与其他算法相结合的预测方法。最后,文章从鲁棒性研究、泛化性研究和优化预测模型三个方面提出了下一步的研究建议。

基于改进双向循环神经网络的变压器故障诊断模型研究

针对传统神经网络对变压器时序关系挖掘缺失、分类泛化性差、对异构数据分类准确率低的问题,提出了一种基于改进的双向循环神经网络的变压器故障诊断模型。该模型通过双向循环神经网络进行特征提取,将前后时刻的特征进行融合,采用多核学习支持向量机方法对特征数据进行分类,在多核学习支持向量机中进行核融合,从而提高特征数据分类的准确性。数值仿真分析了时序通道对长短时序网络诊断性能的影响,以及多核学习对支持向量机泛化能力和对异构数据处理能力的影响,通过变压器故障数据分类试验验证了基于多核学习支持向量机的双向循环神经网络模型的正确性和有效性。结果表明,基于多核学习支持向量机的双向循环网络诊断性能较好,与几种常用的神经网络相比,模型预测正确率更高。

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态(SOC)预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络(1D CNN)与长短期记忆(LSTM)循环神经网络(RNN)结合的电池SOC预测方法——1D CNNLSTM模型。1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC。首先,通过一层一维卷积层从样本数据中提取出高级数据特征,并充分地利用输入数据的特征信息;其次,使用一层LSTM层保存历史输入信息,从而有效地预防重要信息的丢失;最后,通过一层全连接层输出电池SOC预测结果。使用电池的多次循环充放电实验数据训练提出的模型,分析对比不同超参数设置下1D CNN-LSTM模型的预测效果,并通过训练模型来调节模型的权重系数和偏置参数,从而确定最优的模型设置。实验结果表明,1D CNN-LSTM模型具有准确且稳定的电池SOC预测效果。该模型的平均绝对误差(MAE)、均方误差(MSE)和最大预测误差分别为0.402 7%、0.002 9%和0.99%。

基于LSTM循环神经网络的雷电潜势预测

为探索循环神经网络模型在非线性预测中的应用,进一步提高雷电潜势预测的准确率,构建长短期记忆(LSTM)循环神经网络模型,并以贵阳探空站为例,统计站点周边100 km、12 h范围内的闪电次数,获取23个与雷电活动关联度r>0.8的探空物理量参数,以此作为预测模型的样本特征;分析超参数选取对模型的影响,开展(0,24]h内的雷电潜势预测研究,并对比检验效果。研究结果表明:构建学习率为0.0001、批量样本量为32、输入序列长度为10的LSTM网络模型,有利于提高模型泛化和快速收敛;通过输入前5天的大风指数、修正指数等23个探空物理量参数,发现(0,12]h的雷电潜势预测效果明显优于(12,24]h;采用该模型验证(0,12]h测试数据,得出被试工作特征曲线线下面积(AUC)接近于1,命中率(POD)为93.4%,虚警率(FAR)为17.4%,临界成功指数(CSI)为78.1%,验证了该模型的有效性。