最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。

基于最小窥视孔长短期记忆神经网络的电力系统短期负荷预测模型

长短期记忆(long short-term memory,LSTM)模型可以克服循环神经网络(recurrent neural networks,RNN)在短期负荷预测中存在的梯度消失和梯度爆炸等问题,但LSTM模型的门控单元结构复杂,参数较多,模型训练较为困难。为此,提出一种采用改进粒子群优化(particle swarm optimization,PSO)算法优化的最小窥视孔长短期记忆(min peephole long short-term memory,MP-LSTM)模型。与经典LSTM模型相比,MP-LSTM模型舍弃了输入门和输出门,只保留遗忘门,模型包括1个sigmoid网络层和1个tanh网络层,减少了模型参数,优化了模型结构。对RNN模型、经典LSTM模型、MP-LSTM模型进行对比仿真分析,结果表明MP-LSTM模型可有效提高负荷预测精度,缩短收敛时间。

基于深度学习的复合材料开孔板拉伸失效行为预测

为研究复合材料开孔板在拉伸载荷下的失效行为,基于开孔板的拉伸试验建立了高精度的有限元仿真模型,并批量生成了拉伸载荷-位移曲线的数据集。提出了一种双长短时记忆(Long short-term memory,LSTM)神经网络模型用于预测载荷-位移曲线,其中第1个LSTM模型进行输入特征的提取,第2个LSTM模型直接给出载荷-位移曲线的预测。结果表明:这一模型能够高效、准确地预测开孔板的拉伸载荷-位移曲线,在测试集上的决定系数R2可以达到0.9755,关键特征如初始刚度E0的预测误差仅为1.85%,极限载荷Fmax的预测误差仅为2.16%。

RF-MIP-LSTM股价预测模型

长短时记忆(LSTM)神经网络在预测股价波动这类复杂的非线性系统中展现了较好的性能,然而LSTM模型没有考虑三个门控机制的耦合关系和长时记忆对模型输入的影响。通过增加输入门控的长时记忆窥视和耦合了三个门控机制的唯一门机制,增强了长时记忆信息传递和模型的稳定性,构建了基于随机森林特征选择的RF-MIP-LSTM模型,并推导了模型的前向与反向传播算法。通过对中国农业银行、盐田港、格力电器三只股票价格和上证指数的预测和比较,表明RF-MIP-LSTM模型的收敛速度和预测精度均优于LSTM模型。

基于多元混沌时间序列PS-LSTM污染物预测模型

应用神经网络算法对环境状况进行研究是当前计算科学的热点。对于生态环境的预测方法而言,目前传统依靠单变量控制的方法不能满足受多因素影响的环境系统预测要求。根据多变量预测模式改进长短期记忆(LSTM)循环神经网络LSTM模型,通过增加窥视孔的方式,提出相空间(PS)-LSTM预测模型。选取流域生态系统中重金属污染物作为预测对象,结合温度、日径流等因素共同构建多元混沌相空间,较为真实地还原出流域环境重金属含量实际状态。最后,应用PS-LSTM模型对其进行预测。实验结果表明:改进后的模型能提高类似流域复杂生态系统的预测精度。

基于改进Bagging算法与模糊MP-LSTM融合的短期负荷预测模型

为提高负荷预测精度,提出一种基于改进Bagging算法与模糊最小窥视孔长短期记忆(Min peephole long short-term memory,MP-LSTM)融合的短期负荷预测模型。MP-LSTM模型相较于传统长短期记忆网络(Long short-term memory,LSTM)模型舍弃了输入门和输出门,只保留遗忘门,模型包括一个sigmoid网络层和一个tanh网络层,减少了模型参数,优化了模型结构。通过将温度进行模糊化处理,减小温度波动对负荷的影响。采用改进Bagging算法对MP-LSTM模型集成处理来提高模型预测的精度。以某地区的实际负荷数据进行算例仿真,并与传统LSTM神经网络预测法、MP-LSTM神经网络法和模糊MP-LSTM神经网络法进行对比,仿真结果表明文中所提模型具有较好的预测精度。

基于LSTM的动态网络异常行为检测方法

针对传统动态网络异常行为检测方法对不同种类的入侵行为检测率低、检测速度慢的问题,提出一种基于长短时记忆模型(LSTM)的异常行为检测方法。该方法首先通过对动态网络结构的变化特征进行分析,总结出图结构距离特征,用来表示动态网络的变化趋势;其次,使用增量并行式算法(DPADS)通过最小长度原理(MDL)压缩图结构,并计算图结构之间的差异度,以减少内存消耗,提高检测效率;最后使用LSTM算法对数据集进行训练,完成异常行为检测。通过使用IDS2018数据集进行仿真实验,验证方法的有效性。实验结果表明,基于LSTM的动态网络异常行为检测方法与其他传统的异常检测方法相比,准确率提高了7%,召回率提高了5%以上,检测效果良好。