基于长短期记忆神经网络模型的空气质量预测

随着城市化和工业化的快速发展,空气污染问题日益突出,空气质量预测显得尤为重要。当前一些有代表性的研究对空气质量进行实时监测和预报,例如周广强等采用数值预报的方法对中国东部地区的空气质量进行分析,但其实验结果表明该方法难以预测非常重的污染;SANKAR等使用多元线性回归对空气质量进行预测,但其实验结果表明线性模型预测精度低、效率慢;P REZ等使用统计方法对空气质量进行预测,实验结果证明统计方法的预测精度比较低;WANG等采用改进的BP神经网络建立了空气质量指数的预测模型,其实验验证了BP神经网络收敛速度慢、容易陷入局部最优解的问题;YANG等利用相邻网格的空气质量浓度效应,建立了基于随机森林的PM 2.5浓度预测模型,通过实验过程证明网格划分程序削弱了后续空气质量分析的质量和效率。这些方法都难以从时间角度建模,其中预测精度低是比较重要的问题。因为预测精度低可能会导致空气质量预测结果出现较大的误差。针对空气质量研究中预测精度低的问题,提出了基于长短期记忆单元(long short-term memory,LSTM)的神经网络模型。该模型使用MAPE,RMSE,R,IA和MAE等指标来检测LSTM神经网络与对比模型的预测性能。由于Delhi和Houston是空气污染程度比较严重的城市,所以使用的实验数据集来自Delhi的Punjabi Bagh监测站2014—2016年的空气质量数据和Houston的Harris County监测站2010—2016年的空气质量数据。LSTM神经网络与多元线性回归和回归模型(SVR)的比较结果表明,LSTM神经网络适应多个变量或多输入的时间序列预测问题,LSTM神经网络具有预测精度高、速度快和较强的鲁棒性等优点。

基于遗传算法改进的一阶滞后滤波和长短期记忆网络的蓝藻水华预测方法

河湖藻类水华形成过程中所具有的突发性和不确定性,导致对藻类水华爆发预测准确性不高。为解决此问题,以叶绿素a的浓度值作为蓝藻水华演化过程表征指标,提出基于长短期记忆(LSTM)循环神经网络(RNN)蓝藻水华预测模型。首先,用遗传算法改进的一阶滞后滤波(GF)优化算法对数据进行平滑滤波处理;然后,搭建GFLSTM网络的蓝藻水华预测模型,实现对水华发生的精准预测;最后,以太湖水域梅梁湖区域的采样数据为样本,对预测模型进行检验,并与传统的RNN和LSTM网络进行对比。仿真结果表明,提出的GF-LSTM网络模型平均相对误差控制在16%~18%,而RNN模型的预测平均相对误差为28%~32%,LSTM网络模型的平均相对误差为19%~22%,对采用数据的平滑性处理效果较好,预测精度更高,对样本具有更好的适应性,克服了传统RNN模型在长期训练时出现的梯度消失与梯度爆炸缺点。

基于改进长短期记忆网络的短期负荷预测

针对电力系统负荷受天气、季节、工作日、周末和节假日等多种不确定外部因素影响的问题,在考虑这些外部因素的情况下,建立一个高精度的时负荷预测模型。首先,利用卷积神经网络(convolutional neural network,CNN)将负载负荷数据作为输入,构建由一维卷积层、池化层和全连接层组成的卷积神经网络提取反应负荷的高维特征;其次,利用负载序列的自相关系数来确定卷积层的核大小,卷积层通过应用二维卷积核将一维特征转换为多维特征,将二维CNN提取的多维特征作为输入,输入到双向门控循环单元(gated recurrent unit,GRU)和双向长短期记忆网络(long short-term memory,LSTM)单元,并引入注意力机制赋予双向GRU和LSTM隐藏状态不同的权重输入到全连接层,进行逐小时电力负荷预测;最后,通过负荷数据集验证该模型。结果表明:模型具有一定的优越性,是一个可行的负荷预测。

基于最简门单元的循环神经网络分词

为解决长短期记忆(long short-term memory,LSTM)单元循环神经网络结构复杂,训练时间长,标注推理速度慢的问题,结合现有文献分析循环神经网络及其单元结构的理论基础,提出一种基于最简门单元(minimalist gated unit,MGU)的循环神经网络进行中文分词研究。使用MGU单元替换LSTM单元自动提取特征,建立长期依赖信息。在中文分词评测常用语料Bakeoff 2005数据集上进行实验,实验结果表明,MGU网络与LSTM网络精度相当,训练时间减少一半,标注推理速度可提升至3倍。

基于循环神经网络模型的创伤重症患者临床结局的动态预测

目的 探讨基于循环神经网络(RNN)算法构建的动态预测模型用于创伤重症患者临床结局动态预测的价值,并研究动态策略和实时预测模型可行的搭建方案及路径。方法 本研究数据来源于美国重症监护医学信息数据库(MIMIC)-Ⅳ2.0。以创伤重症患者院内结局为预测目标,使用长短时记忆(LSTM)和门控循环单元(GRU)2种RNN算法分别在4、6和8 h时间窗下训练动态预测模型。使用灵敏度、特异度、F1值和AUC值对模型性能进行评价,并分析不同RNN算法和时间窗对模型性能的影响。在8 h时间窗下分别训练隐马尔科夫模型(HMM)、随机森林(RF)模型和logistic模型作为对照,横向比较2种RNN算法模型与对照模型的性能指标,并分析各模型的时间趋势变化。结果 在不同时间窗时,RNN动态模型在灵敏度、特异度、F1值和AUC值等4个性能指标上差异均有统计学意义(均P<0.001),在8 h时间窗时模型的各性能指标均高于6 h和4 h时;不同RNN算法(LSTM和GRU)间仅特异度差异有统计学意义(P=0.036)。横向比较结果显示,2种RNN算法模型和其他模型间各性能指标差异均有统计学意义(均P<0.001),2种RNN算法模型各指标均高于HMM、RF和logistic模型;各算法模型灵敏度、特异度和F1值的ICC均小于0.400(95% CI未包含0),而AUC值的ICC在统计学上证据不足(95% CI包含0)。结论 基于RNN算法的动态模型对创伤重症患者临床结局的预测效果较其他常见模型具有一定优势,且时间窗对模型性能可能存在影响。

基于改进门控单元神经网络的语音识别声学模型研究

传统语音识别系统中,基于循环神经网络的语音声学模型对长距离历史信息记忆能力有限,难以利用语音的上下文相关性信息,标准长短时记忆单元参数规模庞大,神经网络训练收敛速度较慢。针对以上问题提出一种基于改进门控循环单元的双向循环神经网络的语音识别声学模型。改进模型使用ReLU函数代替双曲正切激活函数,选取单位正交矩阵作为网络初始化参数,结合批量规范化方法,在维持网络长期依赖关系的同时加快训练收敛速度。在TIMIT和LibriSpeech数据集上的实验结果表明:与基线系统相比,改进的门控循环单元模型有2.8%的绝对音素错误率的下降;与标准长短时记忆单元模型相比,神经网络训练的平均迭代周期减少了16.6%,在识别性能和计算效率上均有提升。

基于循环门单元和注意力机制的学生学习积极性预测模型

为了挖掘校园无线网络数据中蕴含的学生行为,更好地辅助教学管理,本文提出了基于循环门单元和注意力机制(gated recurrent unit-attention,GRU-Attention)的学生学习积极性预测模型。首先对采集到的学生行为轨迹数据进行预处理和聚类分析,根据学生在校园各个场所的平均逗留时间对学习积极性做出预判断。然后根据无线流量的连接频率及用途对学生行为特征数据进行二次判断,并引入学生学习成绩作为参考标准。最后将数据集输入到GRU信息提取层,并在Attention层进行加权处理,计算得出概率分布。实验结果表明,GRU-Attention模型准确度优于其他常见预测模型,可以更好地帮助辅导员去管理和引导学生树立良好的学习态度。

基于双向门控循环单元模型的机器翻译的研究

循环神经网络(Recurrent Neural Network,RNN)具有记忆特性,在自然语言处理领域中具有很广阔的应用。RNN及其变体网络已经被成功地应用于许多任务,特别是当数据中具有某些时间依赖性的时候。但是,由于RNN往往无法训练,多次循环以后,多数情况下梯度基本接近于消失,仅较少概率会发生梯度爆炸。针对RNN在实践中遇到的困难,出现了长短期记忆(Long Short-Term Memory,LSTM)网络,它因为可以保持信息的持久保存而受到广泛重视,针对LSTM结构的改造工作也相继发生,于是产生门控循环单元(Gated Recurrent Unit,GRU)。对RNN常见变体作了介绍,并以机器翻译为例,采用seq2seq模型,分别来验证RNN、GRU和它们加注意力机制后的性能,在Multi30k数据集上的实验结果证明,GRU性能优于RNN,加入注意力机制后的RNN模型和GRU模型在性能上优于原始RNN模型和GRU模型。

基于长短期记忆网络的公共建筑短期能耗预测模型

为了提高公共建筑短期能耗预测的精度、泛化能力和鲁棒性能,提出一种基于长短期记忆网络的公共建筑短期能耗预测模型。使用长短期记忆网络作为公共建筑能耗特征提取器,在不断迭代的过程中保留有价值的能耗历史数据,通过自主学习与自组织调整不同时序的输出,并引入灰色系统,减少所需样本数据数量和缩小误差。采用最小乘二法计算输出权值,获得长短期记忆网络下的预测值,将经反归一函数处理后的结果累减计算,得到建筑能耗短期预测值。实验结果证明:本文方法能耗预测能力优秀,可以有效地用于公共建筑能耗预测。

一种跨层连接的循环神经网络门结构设计

针对循环神经网络(RNN)结构在深层网络中收敛较慢和训练效果较差的问题,分析了长短期记忆(LSTM)和Highway网络的门结构特征,提出了一种将层间信息进行跨层连接的门结构单元(CIGU)。结合循环神经网络时间扩展的特点,通过设计层间门结构,使CIGU模型在空间上反向梯度下降时能够像LSTM在时间上传播一样具有长短期记忆能力,从而加强循环神经网络在空间上的深度学习能力。将设计的结构应用到LSTM中,并通过PTB语言数据集对不同的门结构进行训练和测试。结果表明:随着模型层数的加深,CIGU的训练收敛速度和测试结果比传统LSTM和基于Highway网络结构的LSTM显著提高。

基于LSTM循环神经网络的短期电力负荷预测

为了保障电网安全稳定和电力市场高效运行,电网调度人员和电力市场参与者对电力负荷预测准确度提出了更高要求,分布式电源和间歇性负荷是影响负荷精准预测的关键因素。针对传统负荷预测方法无法同时对负荷本身变化规律及其影响因素进行建模的问题,提出基于长短期记忆单元(LSTM)的负荷预测方法。利用具备时序记忆功能的LSTM构建深度循环神经网络(RNN),综合考虑历史负荷和各类负荷影响因素建立负荷预测模型。该方法利用神经网络的特征提取能力和LSTM的时序记忆能力,能在更长的历史时间范围内辨识负荷内在变化规律及各类影响因素对负荷的非线性影响。基于实际负荷数据对不同历史时间窗口、不同网络架构的负荷预测性能进行验证,并与其他负荷预测算法进行比较,结果表明所提方法能有效提升负荷预测准确性。

最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。

融合注意力机制的CNN-GRU-LSTM电力系统短期负荷混合预测模型

在电力系统运行过程中,准确预测短期电力负荷是确保电力系统安全经济运行的重要条件。传统单一负荷模型无法完全捕捉复杂系统的变化和非线性关系,预测精度较低。为此,提出一种融合注意力机制的卷积神经网络、门控循环单元和长短期记忆网络的CNN-GRU-LSTM-attention混合预测模型。利用CNN对多维数据特征进行提取,引入注意机制增强GRU和LSTM在序列数据处理中对长期依赖关系的建模能力,进一步提高模型预测精度。结合实际算例进行对比分析实验,结果表明:CNN-GRU-LSTM-attention混合预测模型较LSTM、CNN-LSTM和CNN-GRU-LSTM等模型的预测精度均有较大提升,验证了其有效性和优越性。

耦合人工神经网络模型在径流预测中的应用综述

人工神经网络(artificial neural network,ANN)模型耦合其他模型或优化算法在径流预测中的应用逐渐增多。从人工神经网络模型与物理模型的耦合、多人工神经网络模型的耦合、分解技术与机器学习方法的耦合、人工神经网络模型与智能优化算法的耦合4个方面进行系统梳理和总结,阐述提高预测精度的原因及各方法的优势。同时,提出当前研究中存在的问题并进行展望,可为径流预测和水资源管理提供支持。

基于门控循环单元的图像描述方法

为了使图像描述更快地生成语句和更高效地利用计算机资源,提出一种基于门控循环单元的图像描述方法。该方法通过门控循环单元优化RNN子网内部结构和运算过程,降低了RNN子网的时间复杂度和空间复杂度。实验结果表明,该方法生成语句的时间显著减少,其中CPU模式下RNN子网平均生成语句的时间减少0.03 s(相当于减少3.15%);GPU模式下RNN子网平均生成语句的时间减少0.01 s(相当于减少2.5%);RNN子网的参数大约减少了77万个,所占内存降低了25%。

融合长短期记忆和循环神经网络的语言自动化校验模型构建

为了提高语言模型在法语领域中的语义识别精度和识别速度,研究对广泛应用于语言模型中的循环神经网络(Recurrent Neural Network,RNN)以及长短期记忆网络(Long Short-Term Memory,LSTM)进行优化,首先提出了融合LSTM和RNN的法语语义分析框架,其次构建了改进注意力机制和Bi-LSTM的法语语义分析模型。模型性能检测结果表明,融合注意力机制的Bi-LSTM模型迭代至22代开始收敛,收敛效果好,速度快。在训练数据集中的精确率、召回率、F1值分别为94.6%、92.1%、96.2%,其各项性能表现均优于另外两种传统模型。综上,此次研究所提出的法语语义分析模型能够取得较好的语义分析结果,提高法语翻译准确度。

基于LSTM循环神经网络的故障时间序列预测

有效地预测使用阶段的故障数据对于合理制定可靠性计划以及开展可靠性维护活动等具有重要的指导意义。从复杂系统的历史故障数据出发,提出了一种基于长短期记忆(LSTM)循环神经网络的故障时间序列预测方法,包括网络结构设计、网络训练和预测过程实现算法等,进一步以预测误差最小为目标,提出了一种基于多层网格搜索的LSTM预测模型参数优选算法,通过与多种典型时间序列预测模型的实验对比,验证了所提出的LSTM预测模型及其参数优选算法在故障时间序列分析中具有很强的适用性和更高的准确性。

基于循环神经网络算法的水库调度模拟

为探索深度学习算法在水库调度领域的应用,利用网络爬虫技术,收集了溪洛渡水电站的调度运行数据,基于RNN、LSTM、GRU3种循环神经网络,学习电站现有调度规则,构建了溪洛渡水库的出流量预测模型,并探究不同参数设定对模型精度和计算速度的影响,对比了3种模型的模拟性能,分析了影响水库调度的主要因素。研究结果表明,隐层数、训练批量、迭代次数、隐层节点数和批量值是影响模型精度和计算速度的主要参数;3种模型具备良好的学习能力,能够根据水库的历史调度数据,学习应对不同场景的调度规则,生成出流方案,可为调度决策方案的制定提供参考依据。

基于强化学习和组合式深度学习模型的超短期光伏功率预测

超短期光伏功率预测对光伏并网系统的安全运行有着重要意义。针对传统单一预测模型在进行光伏功率预测时受到功率随机波动性的影响导致预测精度往往不理想的问题,提出了组合式深度学习预测模型。首先,采用小波包分解对原始光伏功率序列进行分解,初步降低了原始光伏功率的非稳定性。其次,在此基础上分别采用长短时记忆网络、门控循环单元与循环神经网络3个单一模型对光伏功率进行预测得到3个预测结果并加权组合。最后,利用强化学习的Q学习算法对组合权重进行优化,进而最大化组合模型的预测性能。以某地光伏电站实测数据进行实验,结果表明文中所提出的组合预测模型优于其他预测模型,并验证了所提模型的有效性。

基于CEEMD-SE的CNN&LSTM-GRU短期风电功率预测

为进一步提升短期风电功率的预测精度,提出了一种基于互补集合经验模态分解-样本熵(complementary ensemble empirical mode decomposition-sample entropy,CEEMD-SE)的卷积神经网络(convolutional neural network,CNN)和长短期记忆-门控循环单元(longshorttermmemory-gatedrecurrentunit,LSTM-GRU)的短期风电功率预测模型。首先,利用互补集合经验模态分解将原始风电功率序列分解为若干本征模态函数(intrinsic mode function,IMF)分量和一个残差(residual,RES)分量,利用样本熵算法将相近的分量进行重构;其次,搭建卷积神经网络和长短期记忆网络的并行网络结构,提取数据的局部特征和时序特征,并将特征融合后输入门控循环单元网络中进行学习预测;最后,通过算例进行验证,结果表明采用该模型后预测精度得到了有效提升,其均方根误差降低了15.06%、平均绝对误差降低了15.22%、决定系数提高了1.91%。