双向长短期记忆网络的时间序列预测方法

时间序列预测即利用历史时间序列数据,预测未来一段时间内的数据信息,以便提前制定相应策略。目前,时间序列的类别复杂繁多,而现有的时间序列预测模型面对多种类型数据时无法取得稳定预测的结果,进而难以同时满足对现实中多种复杂的时序数据预测的应用需求。针对上述问题,提出了一种基于时间注意力机制双向长短期记忆网络的时间序列预测方法。笔者提出的网络模型采用改进的正向和反向传播机制提取时序信息并通过自适应权重分配策略推理未来的时序信息。具体来说,设计了一个改进的双向长短期记忆网络,通过结合双向长短期记忆和长短期记忆网络提取深度时间序列特征,挖掘上下文的时序依赖关系。在此基础上,融合所提出的时间注意力机制,实现对深度时间序列特征进行自适应加权,提升深度时序特征的显著性表达能力。通过与同类代表性方法在多个不同类别数据集上的客观定量对比,实验结果表明,该方法能够在多种类别的复杂时间序列数据上更优的预测性能。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于长短期记忆网络的授时欺骗检测方法

时空信息安全是国家关键基础设施安全的基础,时间系统被阻断或受到干扰会对国家经济带来巨大损失,甚至对国防安全造成重大威胁.现有授时欺骗检测方法主要对接收机时钟模型变化特点建立模型,对欺骗进行检测.由于攻击方式的不确定性和建立的接收机时钟模型计算拟合过程中自身存在的系统误差,时钟模型参数准确拟合难度较大.环境适应能力较低.基于此,本文提出一种基于长短期记忆网络(long short-term memory,LSTM)的授时欺骗检测方法.该方法无需考虑授时欺骗的攻击方式,泛化能力强.根据授时欺骗前后接收机钟差变化的特点,利用LSTM优异的时间序列预测能力对接收机钟差变化趋势进行准确跟踪,实现对授时欺骗干扰的有效检测.最后使用TEXBAT(texas spoofing test battery)授时欺骗场景数据进行实验与分析,将LSTM与多层感知机(multilayer perceptron,MLP)进行实验对比.结果表明:LSTM授时欺骗检测的性能优于MLP.

基于卷积和长短期记忆网络的地浸开采铀浓度预测研究

文章通过集成经验模态分解(Empirical Mode Decomposition,EMD)、卷积神经网络(Convolutional Neural Networks,CNN)、长短期记忆网络(Long Short-Term Memory,LSTM)、傅里叶变换,提出了一种新型地浸单元浸出液铀浓度预测方法。该方法将浸出液铀浓度监测值时间序列使用EMD进行分解,分解为趋势项、周期项和随机项。通过构建CNN+LSTM网络,并结合傅里叶变换和多项式拟合对铀浓度趋势项、周期项和随机项进行预测,3者预测之和作为铀浓度预测结果。实证结果表明:EMD能够有效分解铀浓度时间序列,模型拟合度比未进行EMD分解的模型提升超50%;基于EMD、CNN+LSTM和傅里叶变换的集成方法预测精度良好,预测的平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)为0.348,与LSTM、反向传播(Back Propagation,BP)和门控循环网络(Gate Recurrent Unit,GRU)等模型相比最高提升超80%。文章提出的集成方法能够准确预测浸采单元铀浓度变化,解决了原有方法和模型无法对非线性、非平稳铀浓度序列进行准确预测的问题,从而为地浸矿山生产规划提供技术支持,并有助于提升中国铀矿山的数字化、信息化程度。

基于密度聚类模态分解的卷积神经网络和长短期记忆网络短期风电功率预测

近年来,随着碳达峰和碳中和“双碳”战略目标的提出,风力发电已成为可再生能源发电的关键部分。为提高风电功率短期预测的准确度,提出基于密度聚类与自适应噪声完备集成经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和卷积神经网络与长短期记忆网络结合的短期风电功率预测方法。首先,利用密度聚类将风电功率与天气特征分成不同类别的数据集,通过自适应噪声完备集成经验模态分解算法将不同类别的数据进行频域分解得到子序列分量。以此为基础,将不同的子序列分量与天气特征进行特征选择,输入到卷积神经网络与长短期记忆网络的预测模型。最后,将不同的预测结果进行叠加得到最终的预测结果。整个预测过程通过聚类、分解和特征选择,有效提高了短期风电功率预测的准确度。

基于互信息粒子群优化-长短期记忆神经网络医疗设备运行质量预测模型的慢性呼吸系统疾病诊疗设备智能管理研究

目的:基于互信息粒子群优化(PSO)-长短期记忆(LSTM)神经网络构建医疗设备运行质量预测模型,辅助慢性呼吸系统疾病诊疗设备智能管理。方法:采集设备基本数据、使用数据、维修数据和性能数据进行去噪和标准化处理,构建基于PSO-LSTM神经网络医疗设备运行质量预测模型(简称PSO-LSTM模型),制定设备使用、维护、维修及报废的智能管理方案。选取2019年8月至2023年7月新疆维吾尔自治区人民医院呼吸科临床在用的139台医疗设备,将2019年8月至2021年7月的67台设备采用经验管理模式,2021年8月至2023年7月的72台设备采用智能管理模式。计算传统循环神经网络(RNN)、LSTM神经网络模型训练集和测试集与PSO-LSTM神经网络模型的预测准确性,对比两种管理模式设备管理质量和设备使用操作与技术保障人员以及患者或家属对两种管理模式的管理满意度。结果:PSO-LSTM模型训练集预测准确性的平均绝对百分比误差(MAPE)值和均方根差(RMSE)值分别为0.014和0.008,测试集分别为0.032和0.018,均低于RNN和LSTM模型。采用智能管理模式的设备平均故障频次、平均开机率、管理成本平均增幅、平均维护执行率及平均报废合规率分别为(0.99±0.85)次/年、(95.74±2.16)%、(1.72±1.28)%、(96.49±1.97)%和(97.59±1.49)%,平均故障频次和管理成本平均增幅低于经验管理模式,平均开机率、平均维护执行率和平均报废合规率高于经验管理模式,差异有统计学意义(t=3.297、3.469、2.394、4.187、3.503,P<0.05);设备使用操作与技术保障人员及患者或家属对采用智能管理模式的设备性能、运行质量、管理方式、管理成本以及诊疗效果满意度评分分别为(94.73±1.85)分、(93.38±3.15)分、(93.48±2.02)分、(94.35±2.34)分和(95.14±2.07)分,均高于经验管理模式,差异有统计学意义(t=4.131、3.827、5.716、3.430、3.173,P<0.05)。结论:基于PSO-LSTM神经网络医疗设备运行质量预测模型能更准确地评估设备运行状况,提高医疗设备临床运行质量,改善临床服务满意度。

卷积与长短期记忆网络在火灾源强实时预测中的应用

针对火灾场景中火源位置及强度实时、准确识别困难的问题,利用卷积神经网络(Convolutional Neural Networks,CNN)与长短期记忆(Long Short-Term Memory,LSTM)网络的算法优势,构建一种火灾源强实时预测模型,该模型通过建筑内温度传感器接收的序列数据,实时、准确地预测火灾场景中的火源位置及强度信息。采用火灾动力学模拟软件(Fire Dynamics Simulator,FDS)模拟火灾场景,获得温度传感器实时接收的序列数据,建立火灾场景数据库,进行火灾场景数据分析并对火灾源强实时预测模型完成训练,通过实例验证该模型的准确性、及时性和鲁棒性。结果表明,该模型能够通过较短长度样本数据实时、准确预测火灾场景中火源位置及强度,预测准确率为99.18%,在温度传感器间隔损坏且损坏率不高于70%时,预测准确率仍可达到95.10%以上。

基于长短期记忆神经网络的在线学习眼动认知层次智能识别模型

学习者对于所学知识的认知水平与其在线学习的体验和效果密切相关,衡量在线学习者的认知水平具有重要意义。本研究基于布鲁姆的认知理论将学习者的认知水平划分为低、中、高三个层次,追踪学生在线学习过程中产生的眼动数据,采用主成分分析法聚合相关性高的特征指标,达到保留有效信息且维度下降的效果,接着运用长短期记忆神经网络构建在线学习认知层次智能识别模型,并与其他6种机器学习方法进行了比较。研究结果表明,学习者的眼动指标和认知层次显著相关。同时,在模型性能方面,长短期记忆神经网络模型的性能显著高于其他模型,具有较高的测试准确率和F1分数,证明其在在线学习认知水平评估领域的有效性。本研究不仅丰富了在线学习认知领域的理论和实践,而且为在线课程设计、在线学习评价、学习资源优化等提供了强有力的支持。

基于形变长短期记忆网络的换道意图预测

混行交通下的自动驾驶车辆需具备换道意图预测能力来保障行驶安全。为尽早预测车辆换道意图,提出一种基于形变长短期记忆(mogrifier long short-term memory,M-LSTM)网络的换道意图预测模型。首先采用S-G(Savitzky-Golay)滤波器对自然驾驶数据集NGSIM(next generation simulation)进行降噪筛选,按向左换道、向右换道、直线行驶对不同时间长度的轨迹序列标注,选取车辆运动信息与环境信息输入模型,最后采用softmax函数进行意图分类。试验结果表明,在不同预判时间下,模型准确率均高于支持向量机(support vector machine,SVM)、LSTM模型,且越接近换道点预测准确率越高,在1.0、2.5 s时预测准确率分别为93.83%与81.30%。提出的模型具有良好的准确性与预判性,能为自动驾驶车辆尽早识别换道意图提供技术支持。

基于注意力机制的双向长短期记忆网络的在线工程实践评价框架

在虚拟学习环境下,工程实践课程通常以小组方式在线协同完成一个实践项目,但现有在线教学平台缺少基于学习行为数据的深度挖掘,教师难以像线下实践那样感知学习者的学习状态,从而无法进行十分客观公正的评价。为此,提出基于注意力机制的双向长短期记忆网络的在线工程实践评价框架,通过在线实践行为数据构建注意力机制的双向长短期记忆网络模型(GEP-BiLSTM)预测学生能否通过未来的实践考核。实践表明,所提方法可在学生出现学业预警前进行更有针对性的帮扶,从而提升工程实践的教学效果。

基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。

基于长短期记忆网络的英语标题自动生成

为实现英文文本标题的自动化生成,研究一套基于长短期记忆网络的句子级LSTM编码策略,并在标题生成模型中引入注意力机制来获取英文文本的上下文向量,保留文本中的重要信息。在此基础上,通过负对数似然函数来对模型加以训练。最后通过Byte Cup 2018数据集对本文提出的英语标题自动生成算法进行实验,并通过过ROUGE-N指标对标题生成质量加以评价。实验研究发现,所提出的句子级LSTM编码方案在英文文本标题生成准确性方面相比于其他常规摘要生成模型来说具有显著优势。

基于鲸鱼优化算法的长短期记忆模型水库洪水预报

洪涝灾害是世界主要自然灾害之一,优化洪水预报方案对防洪决策至关重要,然而传统水文模型存在参数多、调参受人为因素影响,泛化能力弱等问题。针对上述问题,本文提出基于改进的鲸鱼优化算法和长短期记忆网络构建自动优化参数的WOA-LSTM模型,通过优化神经网络结构进一步增强该模型的稳定性和精确度,并且建立不同预见期下的洪水预报模型来分析讨论神经网络结构与预报期之间的关系。以横锦水库流域1986-1997年洪水资料为例,其中以流域7个雨量站点的降雨以及横锦站水文资料为输入,不同预见期下洪水过程作为输出,以1986-1993年作为模型的率定期,1994-1997年作为模型的检验期,研究结果表明:(1)以峰现时差、确定性系数、径流深误差和洪峰流量误差作为评价指标,相比较于LSTM模型和新安江模型对检验期的模拟结果表明WOA-LSTM模型拥有更高的精度、预报结果更稳定;(2)结合置换特征值和SHAP法分析模型特征值重要性,增强了神经网络模型的可解释性;(3)通过改变神经网络结构在一定程度避免由于预见期增加和数据关联性下降而导致的模型预报精度下降的问题,最终实验表明该模型在预见期1~6 h下都可以满足横锦水库的洪水预报要求,可以为当地的防洪决策提供依据。

基于长短期记忆网络-模糊控制的光伏最大功率点跟踪算法

光伏阵列具有非线性特点且其最大功率点会随环境变化而产生偏移现象。尽管最大功率点跟踪算法被广泛地应用于跟踪和预测光伏系统的最大功率点,但仍然面临着模糊控制的动态品质低、控制精度不佳等挑战。为解决前述问题,提出了一种集成长短期记忆网络与模糊控制的光伏最大功率点跟踪算法。首先,采用长短期记忆网络以时间序列法预测最大功率点电压。其次,将该预测电压与光伏阵列电压间偏差及其导数作为模糊控制的输入,然后直接调节Boost变换器的占空比。再者,为防止开关管常通,预先设置了变换器的最大、最小占空比。最后,在四种可变大气条件下,利用MATLAB/Simulink对所提算法进行仿真验证。实验结果表明:与长短期记忆网络、电导增量法和遗传算法相比,所提出的算法具有良好的跟踪性能、稳定精度及效率,并且具有波形更平滑、振幅较小的优点。

基于双向长短期记忆网络含间接健康指标的锂电池SOH估计

快速准确地对锂离子电池进行全寿命周期的健康状态(SOH)估计有助于提高储能设备的安全可靠性。提出一种基于间接健康指标(IHI)和鲸鱼优化算法(WOA)优化的双向长短期记忆(BiLSTM)网络相结合的锂电池SOH估计模型,该模型考虑了未来状态对当前SOH的影响。首先,对锂电池恒流恒压(CC-CV)充放电过程进行分析,提取出多个随充放电循环动态变化的电压、电流、温度的时间特征作为IHI,并加入放电负载电压下降时间这一指标;然后,通过相关性分析,从各IHI中筛选出和容量关联度高的IHI作为输入特征;最后,建立基于WOA优化的BiLSTM网络的电池SOH估计模型,并利用美国国家航天航空局锂电池数据集对2个不同工况下的电池SOH进行估计。结果表明,所提方法可有效提高SOH的估计精度。

基于改进长短期记忆网络的电力系统暂态稳定评估方法研究

现代电力系统海量量测数据为电力系统暂态稳定评估提供可靠的数据基础,与此同时,数据信息挖掘成为研究焦点,暂态稳定分析中不平衡故障样本以及多特征电气量时间序列数据中所蕴藏的信息仍有待深入挖掘。为此,该文提出一种结合注意力机制的长短期记忆网络(long short term memory network with attention,LSTMA)方法,用以深入挖掘暂态稳定评估样本中所蕴藏的信息。在离线训练环节,以长短期记忆网络为基础分类器,引入Attention注意力机制引导模型学习样本中关键特征,并对损失函数进行改进,以此强化对不平衡样本的学习能力;在线应用环节,在目标域小样本条件下采用迁移学习方法更新成型的离线LSTMA模型,并对比不同迁移学习策略对模型性能影响,经过迁移学习建立的新运行点下的改进LSTMA模型评估精度有效提高,训练时间大幅减少,所得出的迁移学习策略确定方法有利于实际应用环节快速决策。研究在IEEE39节点和IEEE300节点系统上进行实验,验证了所提方法的有效性。

基于混沌理论、变分模态分解和长短期记忆网络的地磁变化预测方法

针对地磁变化场的非平稳性、非线性以及物理模型难以预测的特点,提出了一种改进的长短期记忆网络预测方法并进行了验证。首先应用变分模态分解方法对地磁台站数据进行去噪,再根据地磁变化的混沌特性引入混沌理论对样本集进行优化,最终以长短期记忆网络预测地磁变化并对改进前后的方法进行了对比。结果显示,优化方法的预测效果较稳定,平均绝对误差小于2 nT,相关指数R~2超过0.8,预测值与实测值的拟合度较高,有效预测时长可达2.5天,且在中国大陆的泛用性较好。

鲸鱼优化算法-双向长短期记忆神经网络用于断路器机械剩余寿命的预测研究

低压断路器的安全可靠是电力系统能否稳定运行的关键一环,因此对断路器进行退化趋势预测和剩余寿命评估具有重要意义。基于鲸鱼优化算法(whale optimization algorithm,WOA)和双向长短期记忆神经网络(bidirectional long short-term memory,BiLSTM)提出了一种断路器操动机构剩余寿命的预测方法,首先采用Pearson相关系数法对获得的原始监测数据进行筛选,选择与断路器开断次数相关度较高的数据作为关键退化特征量,基于主成分分析法进行数据融合获得能够综合表征断路器运行状态的健康指数;随后使用滑动时间窗的方法对健康指数时间序列进行重构,再通过WOA-Bi LSTM寻优获得的最佳模型对健康指数进行时间序列预测,从而获得断路器未来多步的退化趋势;最后再根据设定的失效阈值,确定断路器操动机构的剩余寿命。实例验证表明,该文提出的混合预测模型预测精度最高可达96.43%,相比于其他传统预测模型显著提高,对于断路器的实际运维工作具有一定的指导意义。

基于长短期记忆网络的新冠防疫资源调度方法

为解决新型冠状病毒肺炎防控过程中存在的资源利用率低的问题,提出一种基于长短期记忆网络的新冠防疫资源调度方法。模型通过应用程序接口采集新型冠状病毒肺炎防疫的检测阳性患者、防疫人力资源、物资数据;采用长短期记忆网络,实现了日、周、月多时间尺度的新冠疫情新型冠状病毒肺炎情况的预测;在此基础上,计及新型冠状病毒肺炎防疫的人力、物资资源约束条件,根据新型冠状病毒肺炎蔓延趋势预测情况对新型冠状病毒肺炎防疫资源进行调度。在某城市进行了仿真验证,其新冠疫情新型冠状病毒肺炎防疫资源利用率为87.8%,说明所提方法能有效提高新型冠状病毒肺炎防疫资源利用率。