基于长短时记忆神经网络的Multi-GNSS卫星钟差建模预报

针对卫星钟差预报中二次多项式模型存在易受噪声干扰、预报精度不高的问题,构建一种基于长短时记忆神经网络的multi-GNSS卫星钟差预报模型,并分析不同卫星系统、不同钟类型基于不同建模方案的模型精度。为验证该模型的有效性和可行性,利用LSTM模型、QP模型、QP-LSTM模型分别基于12 h和24 h钟差序列进行建模,预报1 h、3 h、6 h、12 h钟差。结果表明,LSTM模型建模24 h、预报1 h精度最高。multi-GNSS卫星钟差LSTM预报模型中Galileo系统精度最高,其次为BDS-2系统和GPS系统,GLONASS系统精度最低,精度分别为0.018 ns、0.069 ns、0.133 ns、0.242 ns。不同原子钟预报精度不同,氢原子钟预报精度优于铷原子钟、铯原子钟。LSTM神经网络模型预报精度相较于QP-LSTM模型提升27%,相较于QP模型提升36%。

基于长短时记忆算法的火电厂过热气温控制系统参数优化方法研究

旨在通过长短时记忆(long short term memory, LSTM)算法改进过热气温控制系统。研究方法包括数据采集与分析、LSTM模型的建立以及控制系统的参数调整。通过监测和分析历史数据,建立了LSTM模型,能够精确预测过热气温的变化趋势。通过LSTM算法的应用,系统可以更灵活地应对气温波动,降低异常温度的风险,从而减少维护与修理成本。可为火电厂提供一种控制系统,有效降低运营风险,提高经济效益,延长设备寿命,同时减少对环境的不利影响,对于现代工业的可持续发展和清洁能源生产具有重要意义。

基于串联长短时记忆网络的振动台子结构试验模拟

振动台子结构试验具有试验测试与数值模拟的双重优势,可实现大尺度甚至足尺模型结构的地震作用复现;振动台子结构试验中数值子结构的实时求解是影响试验精度和系统稳定性、决定试验能否顺利实现的关键因素之一。为提升数值子结构的求解性能,将长短时记忆(long short-term memoryk, LSTM)网络引入到振动台子结构试验中,分别构建了用于模拟试验子结构和数值子结构的神经网络模型,并且在训练数据中引入时滞以模拟系统延迟带来的影响。选择5层钢框架模型结构对神经网络模型进行验证,结果显示,所构建的神经网络模型具有良好的精度、稳定性和时滞补偿能力,计算效率可满足实时控制要求;所提出的神经网络模型可用于振动台子结构试验的数值子结构实时求解。

长短时记忆脉冲神经网络手语识别模型

手语识别是人机交互领域中的重要问题之一。随着人工智能技术的发展,越来越多的机器学习和深度学习方法被应用在手语识别任务上。文章设计一种轻量级的长短时记忆脉冲神经网络(long short-term memory-spiking neural network,LSTM-SNN)手语识别模型用于识别常用手语。首先提出自适应脉冲编码,将手语信号转化为脉冲信号;接着将脉冲信号输入到改进的带泄漏整合发放(leaky integrate-and-fire,LIF)神经元模型,以时间驱动的方式进行信息传导,完成网络训练。在收集到的101个手语手势数据集上的实验结果表明,该模型准确率达到95.37%,表明该文提出的模型优于其他深度学习和机器学习模型。

基于长短时记忆的船舶涡轮增压器运行状态趋势预测

为解决传统涡轮增压器状态趋势预测方法存在的预测精度低和主观依赖度高的问题,提出一种基于长短时记忆(Long Short-Term Memory,LSTM)的涡轮增压器运行状态趋势预测方法。将涡轮转速作为涡轮增压器运行状态评价指标,建立增压器状态数据筛选原则,降低工况和外部因素变化对涡轮增压器运行状态变化特征的影响;利用LSTM隐含层内的循环节点,通过时序相似性搜索对涡轮增压器的状态趋势进行预测。实测结果表明,该基于LSTM的涡轮增压器运行状态趋势预测方法相比传统的基于最小二乘法的涡轮增压器状态趋势预测方法具有更好的预测效果,误差大幅减小,且趋势跟随性更强。

长短时记忆网络在风电短期功率预测中的应用与效果评估

本研究致力于研究风电场短期功率预测,这是应对可再生能源变化性的关键问题之一。短期功率预测在电力系统调度和可再生能源管理中将起到重要作用。为了提高预测准确性,我们采用了深度学习模型中的长短时记忆网络(LSTM)以及其改进方法。本研究将详细分析LSTM的原理和结构,并利用山东某风电场半年的历史数据作为实际案例,评估了模型在实际风电场预测中的性能。实验结果显示,改进的LSTM模型在风电场短期功率预测中表现出更高的准确性,尤其在夏季高温季节的准确率提升明显。这些结果强调了深度学习技术在解决风电功率预测问题中的巨大潜力,有望提高电力系统的可靠性和可再生能源资源的利用率。

基于长短时记忆网络(LSTM)的上证指数预测

在第四代科技革命,即新信息技术高速发展的背景下,人工智能技术在股票市场中也得以广泛应用。股价综合指数可视为股票市场整体趋势的一种量化描述,对综合指数的变化趋势分析有助于了解股票市场的演化方向。因此,我们利用建立了一个含有200个隐藏神经元的长短时记忆网络以分析上证指数的变化趋势,该模型实现了基于前7个交易日的历史数据的一步预测。由于ADAM具有高效性的优势,我们将其用ADAM与模型训练,并利用正则化方法提高模型的泛化能力。通过仿真实验证明,LSTM模型较好地对上证指数运动的趋势进行了预测,为上证指数预测提供了一个新的研究方向。

PVsiRNAPred-LSTM:基于长短时记忆神经网络预测植物病毒衍生的小干扰RNA

植物病毒衍生的小干扰RNA(Virus-derived siRNAs, vsiRNAs)能够调节多种生物学过程,在抗病毒免疫中发挥着非常重要的作用。因此,植物vsiRNAs的识别有助于了解其生物发生机制,对研究抗病毒植物具有重要意义。虽然,现在已有多种实验方法通过检测RNA来寻找vsiRNAs,但是实验测试费时费力费钱。在本文中,我们从PVsiRNAdb数据库中提取植物vsiRNAs序列,基于长短时记忆神经网络(Long Short-Term Memory neural network, LSTM)与vsiRNAs序列,开发了一种深度学习算法——PVsiRNAPred-LSTM,用于预测植物vsiRNAs。PVsiRNAPred-LSTM可以自动学习并选择与预测任务相关的重要特征。为了防止模型过拟合,我们使用了五折交叉检验来训练模型。在五折交叉检验测试中,该模型的准确率为64.38%,灵敏度(Sn)为66.44%,精确度(Pr)为60.51%,F1值为0.64,特异性(Sp)为56.63%,马修斯相关系数(MCC)为0.23,AUCROC为0.67。以上结果表明PVsiRNAPred-LSTM取得了良好的预测效果,我们希望通过PVsiRNAPred-LSTM这一生物信息学算法来预测植物vsiRNAs,帮助找到新的植物vsiRNAs。

冬季高速公路逐时路表温度LSTM预测模型

为提高冬季路表温度的预测精度,提出一种基于多维长短时记忆(LSTM)神经网络的冬季路表温度逐时预测模型,以小时路表温度为模型输出,综合考虑多维气象因素的累积影响和路表温度的周期性,采用滑动窗口构造输入特征矩阵;构建路表温度LSTM逐时预测模型,通过深度学习高效逼近具有复杂非线性和不确定性的路表温度,并以江苏省宁宿徐高速公路、云南省麻昭高速公路为实例进行验证。结果表明:与随机森林(RF)模型和BP神经网络相比,LSTM路表温度逐时预测模型的准确率得到显著提高,在宁宿徐高速、麻昭高速的平均绝对误差(MAE)、均方误差(MSE)和均方根误差(RMSE)分别为0.303、0.295、0.543和0.581、0.694、0.833,预测值与观测值绝对误差位于[0,1)℃之间的占比为93%和89%。LSTM模型能准确捕捉路表温度的周期性和不确定性,在阴雨天和晴朗天的预测值与实测值基本一致,模型鲁棒性较好。

基于长短时记忆网络的人才培养模型设计

长短时记忆LSTM神经网络的工作原理虽有记载,但究其物理过程很多资料都未解释清楚,该文以学校人才培养为例,将LSTM网络类比为通过多年办学的吐故纳新,将成功的经验长期继承下来,而把逐年的新贡献又增加上去,如此循环,就把多级LSTM的级联展现在读者面前。

基于Transformer-LSTM的闽南语唇语识别

针对端到端句子级闽南语唇语识别的问题,提出一种基于Transformer和长短时记忆网络(LSTM)的编解码模型.编码器采用时空卷积神经网络及Transformer编码器用于提取唇读序列时空特征,解码器采用长短时记忆网络并结合交叉注意力机制用于文本序列预测.最后,在自建闽南语唇语数据集上进行实验.实验结果表明:模型能有效地提高唇语识别的准确率.

基于SDP和MCNN-LSTM的齿轮箱故障诊断方法

齿轮箱在长期使用过程中,不可避免地会产生齿轮故障和轴承故障,严重影响传动精度和设备运行安全。基于此,针对齿轮箱常见故障类型,研究多通道对称点图案(symmetrized dot pattern, SDP)数据处理方法,并利用最小能量误差法实现SDP关键参数的选取。结合多尺度卷积神经网络(multi-scale convolutional neural network, MCNN)的空间处理优势、长短时记忆网络(long short term memory, LSTM)的时间处理优势及其良好的抗噪性和鲁棒性,提出了一种基于SDP和MCNN-LSTM的齿轮箱故障诊断模型。同时利用东南大学齿轮箱数据集,验证了基于SDP和MCNN-LSTM的齿轮箱故障诊断方法对齿轮和轴承常见故障类型特征提取的有效性,并与现有其他故障诊断方法进行对比,结果表明了所提方法具有更高的精度。

基于多变量LSTM的GPS坐标时间序列预测模型

针对全球定位系统(GPS)坐标时间序列预测中存在精度不足的问题,提出一种基于多变量长短时记忆(LSTM)的GPS坐标时间序列预测模型。利用灰色关联度方法对同一地区不同观测站的GPS坐标时间序列数据进行关联度分析,找出与待预测数据(佘山站U向历史数据)关联度较强的数据。将待预测数据和与之关联度较强的其它数据作为多变量预测模型的输入,利用LSTM能够将现有的输入信息与历史输入信息相结合的特性,建立多变量LSTM模型。通过与ARIMA、单变量LSTM模型预测结果比较,证明该方法有更好的预测效果。

双向长短时记忆模型训练中的空间平滑正则化方法研究

双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构。但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的识别效果。在实际应用中,通常会使用一些技巧来缓解过拟合问题,例如在待优化的目标函数中加入L2正则项就是常用的方法之一。该文提出一种空间平滑的方法,把BLSTM模型激活值的向量重组成一个2维图,通过滤波变换得到它的空间信息,并将平滑该空间信息作为辅助优化目标,与传统的损失函数一起,作为优化神经网络参数的学习准则。实验表明,在电话交谈语音识别任务上,这种方法相比于基线模型取得了相对4%的词错误率(WER)下降。进一步探索了L2范数正则技术和空间平滑方法的互补性,实验结果表明,同时应用这2种算法,能够取得相对8.6%的WER下降。

基于实体嵌入和长短时记忆网络的入侵检测方法

针对网络入侵检测过程中无法有效处理入侵数据中分类变量的表示,导致网络入侵检测准确率低、漏报率高等问题,提出一种基于实体嵌入和长短时记忆网络(long short-term memory network,LSTM)相结合的网络入侵检测方法。首先,在数据预处理时,将表示网络特征数据中的数值型变量和分类型变量数据分开,通过实体嵌入方法将分类型变量数据映射在一个欧几里得空间,得到一个向量表示,再将这个向量嵌入到数值型数据后面得到输入数据。然后,通过把数据输入到长短时记忆网络中去训练,通过时间反向传播更新参数,得到最优嵌入向量作为输入特征的同时,也得到一个相对最优的LSTM网络的检测模型。在数据集NSL-KDD上进行实验验证,结果表明实体嵌入是一种有效处理网络入侵数据中分类变量的方法,它和LSTM网络相结合组成的模型能够有效提高入侵检测率。在数据预处理时对分类变量的处理中,实体嵌入方法与传统的One-Hot编码方法相比,检测的准确率提高1.44个百分点,漏报率降低2.99个百分点。

基于变分模态分解和复合变量选取的短期负荷预测

精准的短期负荷预测是实现电网精益化运行和管理重要保障,但存在短期负荷波动性强、负荷预测关键影响因素选取困难等精准预测难题。利用变分模态分解将原始电力负荷数据分解为多个子序列,挖掘短期负荷波动特征的同时避免模态混叠问题,提出复合变量选取算法分析筛选影响负荷波动的关键因素,有效去除预测干扰信息并进一步简化预测模型的复杂度,通过兼顾数据短期依赖和长期依赖的长短时记忆神经网络对各子序列进行预测,并将各子序列预测结果进行叠加实现最终的短期负荷预测,据此建立基于变分模态分解和复合变量选取的短期负荷预测方法。选取2019年整年长沙市实际数据验证结果表明,提出算法在复杂外部影响因素下,能准确筛选负荷预测的关键影响因素,相比传统预测模型,提出模型结构更简单、预测精度更高。

基于KF-LSTM的轮轴横向力间接测量方法研究

轮轴横向力作为评价列车运行安全性的重要指标,对其进行服役状态下的在线监测尤为重要。结合卡尔曼滤波和长短时记忆网络算法(Kalman filter&long short-term memory, KF-LSTM)发展了轮轴横向力间接测量模型。首先利用17自由度车辆横向动力学方程建立卡尔曼滤波算法的过程和观测方程,其次构建最优观测变量集进行间接测量,然后采用长短时记忆网络算法对列车测量效果较差位置处的横向力测量公式进行修正补偿,通过数值仿真与现场试验证明了提出KF-LSTM模型的有效性。结果表明:基于KF-LSTM方法可准确测量0~20 Hz频域范围内轮轴横向力,仿真线路中轮轴横向力序列预测值与仿真真实值的相关系数约0.85,平均绝对误差值约4.82 kN;现场试验中轮轴横向力序列预测值与测力轮对实测值的相关系数约0.84,平均绝对误差值约2.99 kN,并依据该测量方法设置该车辆在该条线路运行时轮轴横向力的预警标准,为工程设计和实践提供依据。

基于多变量LSTM的工业传感器时序数据预测

传感器时序数据预测作为工业自动化和智能化的关键过程,对于自动化生产监督、风险预防和技术改进等具有重要意义。考虑到传统基于统计学的时序分析方法通用性弱、普通循环神经网络模型存在长期依赖的不足,针对工业设备温度、压力和电流强度等时序数据预测问题,提出了一种基于多变量分析的长短时记忆神经网络时序预测方法,该方法利用数据的远距离信息和多变量相关性,有效地提高了工业传感器时序数据预测的准确性。实验选取瑞典某公司的机械装载传感器数据用于训练和测试,通过与单变量长短时记忆模型以及其它主流时序预测算法比较,证明了该方法具备较好的预测性能和通用性。

基于CNN-LSTM-AM神经网络的多维长序列物流需求预测

物流需求预测是物流管理中的关键环节,但是在现实生活中,物流需求可能受到诸如天气、经济状况、特殊事件等多方面因素的影响,这使得问题呈现出多维度、长序列的特征。随着深度学习和神经网络的发展,越来越多的研究开始尝试使用神经网络模型进行物流需求预测,但是单一的神经网络模型在处理多维度、长时间序列的预测任务时常常表现欠佳。由此文章提出了一种基于CNN-LSTM-AM的神经网络模型,用于多维长序列物流需求预测。通过消融实验与其他模型的对比,结果表明,其平均绝对误差(MAE)、均方根误差(RMSE)、决定系数(R2)均值分别为1.56、1.63和0.981,均优于其他6种神经网络模型,为物流企业提供了一个有效的参考来更好地规划资源和降低成本。

基于长短时记忆神经网络的葡萄叶面积指数高光谱反演

针对高光谱数据众多波段间的多重共线性导致的维数灾难问题,为提升葡萄叶面积指数(leaf area index,LAI)的估算精度,提出一种基于敏感波段选择的长短时记忆神经网络(long short term memory,LSTM)估算模型。首先,采用无信息变量消除算法(uninformative variable elimination,UVE)剔除无关信息,以消除光谱波段间的多重共线性,降低光谱维度,提取葡萄LAI敏感波段;其次,采用TensorFlow深度学习框架构建LSTM神经网络模型。应用于陕西泾阳葡萄冠层光谱的LAI估算。结果表明:利用敏感波段构建的LSTM模型各项指标均优于偏最小二乘和支持向量机,其决定系数(R~2)、均方根误差(RMSE)和希尔不等系数(TIC)分别为0.963 5、0.074 5和0.025 4;基于原始光谱的LSTM模型的R~2、RMSE和TIC分别为0.881 0、0.117 0和0.039 8。UVE波段优选能够提升LSTM神经网络模型估算葡萄LAI的精度,对其他作物理化参量反演具有一定的指导意义。