基于LSTM长短期记忆网络的樟子松木材气干密度NIRS模型预测

【目的】木材密度不仅与木材的各种材性密切相关,而且是衡量木材质量与价值的重要指标。采用近红外光谱(Near infrared spectroscopy,NIRS)分析技术能够快速、高效地预测木材密度,避免了传统试验中繁琐的检测步骤。长短期记忆网络(Long short-term memory network,LSTM)作为循环神经网络(Recurrent neural network,RNN)的变体,不仅可以学习序列数据之间的高阶特征信息,而且克服了RNN中的长距离依赖、梯度爆炸与梯度消失等问题。将LSTM与NIRS结合,提出一种能够准确预测樟子松木材气干密度的无损检测技术,为提高NIRS模型预测木材气干密度精度提供理论依据。【方法】该研究以樟子松木材样本为研究对象,用近红外光谱仪获得106个樟子松样本的光谱数据,并在恒温(20±2℃)恒湿(65%±3%)的环境下测定样本的气干密度。通过对比多组预处理方法和特征选择方法,采用Savitzky-Golay卷积平滑(Savitzky-Golay smoothing,SGS)等方法进行预处理,采用竞争性自适应加权算法(Competitive adaptive reweighted sampling,CARS)进行波段选择,剔除NIRS数据中的高频噪声与冗余信息,提升光谱数据质量、建模速度与精度。为验证LSTM模型预测能力,将其与偏最小二乘回归(Partial least squares regression,PSLR)、卷积神经网络(Convolution neural network,CNN)等建模算法对比分析。上述3种算法被分别应用于建立樟子松木材气干密度近红外预测模型。【结果】基于上述3种建模方法建立的NIRS模型均可实现樟子松气干密度的有效预测。且LSTM模型的预测精度与回归拟合度均优于PLSR与CNN模型。其中SGS+CARS处理后的LSTM模型的预测精度最高、泛化性能最强、拟合效果最好(R^(2)=0.959,RMSEP=0.005,RPD=5.033)。【结论】通过对樟子松木材光谱数据与气干密度的采集,建立了一种新型的基于NIRS分析技术与LSTM的木材气干密度检测方法。LSTM预测模型相较于传统的回归模型,模型的预测精度更高,回归效果更好,鲁棒性更强。该检测方法既可保证木材的完整性,又可以提高气干密度的预测精度,实现了对樟子松木材气干密度的快速无损检测,为木材近红外光谱分析提供了可参考的模型与理论依据。

基于LSTM长短期记忆网络的超短期风速预测

大风天气容易导致高速列车发生脱轨、翻车等事故,因此对于风速的超短期预测对于高铁安全行驶具有重要的意义。提出一种基于长短期记忆(LSTM)网络的预测模型,对WindLog风速传感器采集得到的每分钟最大风速数据进行分组预处理,设置合理的步长参数,建立双层LSTM网络结构,采用北京市海淀区的风速数据进行训练,并对超前1、5、10 min的风速进行超前预测,超前1 min的预测值平均误差为0.467 m/s,正确率达100%;超前5 min的预测值平均误差为0.543 m/s,正确率达99.6%;超前10 min的预测值平均误差为0.627 m/s,正确率达98.8%。实验结果表明,该预测模型具有较好的适应性和较高的预测精度。

拉曼光谱结合LSTM长短期记忆网络的樱桃产地鉴别研究

现在樱桃市场上存在着大量以次充好的不良现象,严重损害了名牌樱桃的品牌经济效益,所以亟需一种能对不同产地樱桃实现快速无损鉴别的技术。拉曼光谱溯源技术作为光谱溯源技术的一种,由于具有快速、高效、无污染、无损分析等优点,逐渐得到相关研究者的重视。长短期记忆(LSTM)网络是一种具有记忆性的反馈神经网络,它是循环神经网络的一种变体。LSTM网络克服了循环神经网络中梯度消失的缺点,适合处理序列敏感的问题和任务,目前被广泛应用在语音识别、图像识别和手写识别等领域,但LSTM网络在产地溯源方面的应用还有待研究。基于此,提出了一种LSTM网络与拉曼光谱技术结合的能对不同产地樱桃实现快速无损鉴别的技术。将来自美国、山东和四川的369个樱桃作为研究样本,用拉曼光谱仪在785 nm激光下获得了不同产地樱桃的光谱数据。并且以每条经过基线校正后的拉曼光谱数据作为网络输入数据,基于LSTM网络构建了能对不同产地樱桃实现快速鉴别的判别模型,并且以样本判别准确率A、样本精确率P、样本召回率R和样本F值作为评价指标,探究了不同预处理方法对LSTM网络判别模型性能的影响。结果表明:当样本训练集和测试集的比例为85∶38时,直接采用原始拉曼光谱数据的LSTM网络模型的产地鉴别能力不高,鉴别准确率为79.87%。但当使用预处理过后的拉曼光谱数据,模型的鉴别准确率维持在92%以上。并且光谱经过SG+MSC预处理后模型的鉴别准确度最好,鉴别准确率达99.12%。同时在采用SG+MSC预处理的方法下,LSTM网络鉴别模型的精确率、召回率、F值均较高,表明了所提出的LSTM网络模型有较好的性能可实现对不同产地樱桃的鉴别,为樱桃的产地溯源提供了一种新的思路。

基于长短期记忆神经网络的多级涡轮过渡态叶尖间隙预测

为了解决多级涡轮模型在高维度变量的复杂空间耦合效应下向高效、高精度过渡态叶尖间隙预测提出的挑战,本文搭建了基于贝叶斯优化和多任务学习算法的长短期记忆神经网络(BO-MTLLSTM)多级涡轮过渡态叶尖间隙智能预测模型,以实现过渡态叶尖间隙高效、高精度预测。在BOMTL-LSTM模型中,通过高效的长短期记忆神经网络(Long Short-Term Memory,LSTM)模型对基于有限元分析方法得到的高精度过渡态叶尖间隙时序信息进行学习,并在LSTM模型的基础上,引入多任务学习(Multi-Task Learning,MTL)用于多个叶尖间隙预测任务之间的信息共享,以缓解高维度变量复杂空间耦合作用的影响。同时,结合贝叶斯优化(Bayesian Optimization,BO)对神经网络模型超参数进行全局自动优化,提升预测精度与训练效率。结果表明,相比于传统计算模型,BO-MTL-LSTM模型在同等预测精度下,能够在秒量级时间内完成一个完整发动机历程的多级涡轮过渡态叶尖间隙的预测。此外,相比常规的BO-LSTM模型,BO-MTL-LSTM模型的均方根误差和平均绝对误差分别降低了84.39%和89.21%,模型训练时间缩短了30%,该模型可以实现多级叶尖间隙的高效、精准预测。

基于长短期记忆网络与射线声学的浅海声速剖面反演方法

针对水声多途信道环境下的水下声速剖面反演问题,将深度学习与射线声学理论结合,提出了一种基于长短期记忆网络(LSTM)的反演方法。该方法根据有序线阵等距的特点,将到达时间差、到达角度等多模态数据融合组成的感知矩阵作为输入,利用LSTM网络处理时序数据的能力挖掘空间上有序分布的接收阵元之间的关联信息,从而实现声速剖面反演。在此基础上,还提出了基于互相关函数的硬阈值估计方法,通过降低感知矩阵的测量误差提高模型的抗多途性能。通过数值仿真验证了该反演方法的可行性和准确性,与传统优化算法相比,所提算法能够更好地捕捉声速剖面的非线性特征,具有更高的反演精度和较强的抗噪能力。

基于卷积双向长短期记忆网络的微网继电保护故障诊断技术

分布式电源种类和容量不断提升的微网运行方式复杂、故障特征微弱,现有的继电保护装置故障诊断方法无法满足保护需求。提出一种基于卷积双向长短期记忆网络的微网继电保护故障诊断技术。首先,分析多能源互补微网系统架构,对采集的三相电流数据进行预处理,提高后续模型对数据的学习效率;然后,融合卷积神经网络和双向长短期记忆网络提出卷积双向长短期记忆网络的微网继电保护故障诊断方法,提取三相电流数据长序列和局部序列特征实现故障分类、故障定位,融合注意力机制,重点关注对故障诊断有影响的特征,提高故障诊断准确率;最后经过RTDS实时仿真系统进行验证,实验结果表明,所提方法故障诊断精度高、计算时间短,同卷积神经网络、长短期记忆网络、人工神经网络相比,故障分类准确率分别提升8.53%、9.62%、11.45%,故障定位准确率分别提升7.47%、10.61%、10.85%,验证所提方法的有效性与先进性。

基于多目标浣熊优化算法的双向长短期记忆神经网络预测

为了提高双向长短期记忆神经网络的预测性能,针对BiLSTM存在的预测精度低、预测结果不稳定的问题,提出了一种新的多目标浣熊优化算法;在浣熊优化算法的基础上,通过改进探索与开发算子,结合快速非支配排序与拥挤度距离计算方法建立精英浣熊保留策略,实现单目标到多目标的改进;基于所提算法,以预测均方误差及预测误差方差为目标函数对BiLSTM超参数进行优化,并建立MOCOA-BiLSTM预测模型,最终实现精确稳定预测;将所提MOCOA-BiLSTM预测模型在变电工程造价数据集上进行了仿真测试,并与其他3种主流算法优化后的模型进行了对比;结果表明,所提MOCOA-BiLSTM的平均百分比误差相比与MOSSA-BiLSTM、NSGAIII-BiLSTM、MOMVO-BiLSTM分别降低了69.59%、58.43%、56.67%。

使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络预测盾构隧道施工引起的地面沉降

[目的]地铁盾构隧道施工会引起周围地面沉降,影响周围环境。传统地面沉降预测方法难以综合考虑沉降影响因素,对此,为提高地面沉降的预测精度,使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络,对盾构隧道施工引起的地面沉降进行预测。[方法]以某地铁施工区间地面沉降监测数据为研究对象,使用CNN对影响参数(压缩模量、黏聚力、内摩擦角、泊松比、土层厚度、隧道埋深和施工参数)与地面沉降监测值进行连接,使用LSTM神经网络对地面沉降进行分析,建立了基于CNN-LSTM联合神经网络的地面沉降预测模型,探讨了同时考虑多个因素对地面沉降预测值的影响。[结果及结论]使用CNN对地面沉降相关的影响参数特征提取效果较好;所建CNN-LSTM模型的准确率比单独使用LSTM模型的准确率提高了3%、比传统BP(反向传播)神经网络模型准确率提高了9%;所建CNN-LSTM模型,对单测点短时间地面沉降预测准确率达到93%,预测值与监测值吻合较好。

基于LSTM-DNN(长短期记忆-深度神经网络)融合模型的土压平衡盾构土仓压力预测方法

[目的]土仓压力是土压平衡盾构施工安全评估的关键参数,准确预测土仓压力有助于施工技术人员及时采取管控措施,进而保障地铁隧道的建设安全性。因此,有必要对土压平衡盾构土仓压力预测方法进行研究。[方法]提出一种多分支的LSTM(长短期记忆)-DNN(深度神经网络)融合模型。LSTM分支通过回溯历史数据提取其时序演变特征,DNN分支提取掘进状态特征,将两者组合后通过全连接层进行融合,实现对土仓压力的预测。依托济南轨道交通1号线实际盾构隧道数据对模型进行验证,并与LSTM模型、DNN模型进行了对比分析。[结果及结论]基于LSTM-DNN融合算法建立的土仓压力预测模型可以高效收敛,且所提模型在训练集和验证集上的预测效果良好。在后续的100步测试中,由LSTM-DNN融合模型得出的土仓压力预测值较好地反映了真实值的变化趋势,其平均偏差为7.65 kPa,相对误差为6.09%,预测精度较高。

长短期记忆神经网络(LSTM)对风暴潮数值模拟的优化应用

利用长短期记忆神经网络和数值模式相结合的方法,设计了两套针对粤东遮浪海洋站点台风风暴潮增水的预报优化方案。与实测资料对比结果显示,长短期记忆神经网络方法可以显著改善数值模式模拟结果的准确性,最大增水和主振过程中增水后报结果的平均绝对误差、平均相对误差和平均改善幅度分别为7.1 cm、8.2%、74%和16.1 cm、34.7%、33%。进一步分析表明,利用台风信息预测数值模拟结果的订正值可以有效改善神经网络方法的不稳定性,比直接预测风暴潮增水值更加准确、可靠。

基于前后文关联的长短期记忆网络模型Contextual LSTM的交通流数据预测

为改善交通拥堵情况,提升交通网络效率,提出了基于前后文关联的长短期记忆网络模型Contextual LSTM。首先,针对长短期记忆网络模型面对突发情况识别不及时的问题,将输入和隐藏状态建立关联关系,提升前后时刻数据的关联,从而提升模型应对突发情况的能力。此外,采用英国的交通数据集对模型进行训练与测试,并与传统LSTM模型、GRU模型进行预测效果对比实验。验证结果表明,改进后的长短期记忆网络模型在交通流数据的预测上更具优势。

基于密度聚类模态分解的卷积神经网络和长短期记忆网络短期风电功率预测

近年来,随着碳达峰和碳中和“双碳”战略目标的提出,风力发电已成为可再生能源发电的关键部分。为提高风电功率短期预测的准确度,提出基于密度聚类与自适应噪声完备集成经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和卷积神经网络与长短期记忆网络结合的短期风电功率预测方法。首先,利用密度聚类将风电功率与天气特征分成不同类别的数据集,通过自适应噪声完备集成经验模态分解算法将不同类别的数据进行频域分解得到子序列分量。以此为基础,将不同的子序列分量与天气特征进行特征选择,输入到卷积神经网络与长短期记忆网络的预测模型。最后,将不同的预测结果进行叠加得到最终的预测结果。整个预测过程通过聚类、分解和特征选择,有效提高了短期风电功率预测的准确度。

基于长短期记忆网络的授时欺骗检测方法

时空信息安全是国家关键基础设施安全的基础,时间系统被阻断或受到干扰会对国家经济带来巨大损失,甚至对国防安全造成重大威胁.现有授时欺骗检测方法主要对接收机时钟模型变化特点建立模型,对欺骗进行检测.由于攻击方式的不确定性和建立的接收机时钟模型计算拟合过程中自身存在的系统误差,时钟模型参数准确拟合难度较大.环境适应能力较低.基于此,本文提出一种基于长短期记忆网络(long short-term memory,LSTM)的授时欺骗检测方法.该方法无需考虑授时欺骗的攻击方式,泛化能力强.根据授时欺骗前后接收机钟差变化的特点,利用LSTM优异的时间序列预测能力对接收机钟差变化趋势进行准确跟踪,实现对授时欺骗干扰的有效检测.最后使用TEXBAT(texas spoofing test battery)授时欺骗场景数据进行实验与分析,将LSTM与多层感知机(multilayer perceptron,MLP)进行实验对比.结果表明:LSTM授时欺骗检测的性能优于MLP.

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

双向长短期记忆网络的时间序列预测方法

时间序列预测即利用历史时间序列数据,预测未来一段时间内的数据信息,以便提前制定相应策略。目前,时间序列的类别复杂繁多,而现有的时间序列预测模型面对多种类型数据时无法取得稳定预测的结果,进而难以同时满足对现实中多种复杂的时序数据预测的应用需求。针对上述问题,提出了一种基于时间注意力机制双向长短期记忆网络的时间序列预测方法。笔者提出的网络模型采用改进的正向和反向传播机制提取时序信息并通过自适应权重分配策略推理未来的时序信息。具体来说,设计了一个改进的双向长短期记忆网络,通过结合双向长短期记忆和长短期记忆网络提取深度时间序列特征,挖掘上下文的时序依赖关系。在此基础上,融合所提出的时间注意力机制,实现对深度时间序列特征进行自适应加权,提升深度时序特征的显著性表达能力。通过与同类代表性方法在多个不同类别数据集上的客观定量对比,实验结果表明,该方法能够在多种类别的复杂时间序列数据上更优的预测性能。

基于双向长短期记忆网络与稀疏自注意力的票据文本识别方法

提出了一种基于双向长短期记忆网络(BiLSTM)与稀疏自注意力机制的票据文本识别方法。针对票据文本识别中面临的复杂布局、多变字体及背景噪声干扰等挑战,采用深度卷积神经网络进行预处理,准确提取文本区域,并将图像数据转换为序列数据输入到BiLSTM模型中。BiLSTM通过其双向结构,能够同时捕捉文本序列中的前向和后向信息,有效提高了文本理解的准确性。为了进一步提升识别性能,引入了稀疏自注意力机制,通过计算序列中不同位置之间的相关性得分,形成稀疏的注意力矩阵,从而捕捉文本中的长距离依赖关系。这种机制不仅降低了计算复杂度,还提高了模型对关键信息的关注度。实验结果表明,所提出的票据文本识别方法在处理复杂票据文本时表现出色,具有较高的识别精度和效率。与传统方法相比,所提方法能够更好地适应票据文本的多样性和复杂性,并在实际应用中展现出良好的鲁棒性和泛化能力。

基于卷积和长短期记忆网络的地浸开采铀浓度预测研究

文章通过集成经验模态分解(Empirical Mode Decomposition,EMD)、卷积神经网络(Convolutional Neural Networks,CNN)、长短期记忆网络(Long Short-Term Memory,LSTM)、傅里叶变换,提出了一种新型地浸单元浸出液铀浓度预测方法。该方法将浸出液铀浓度监测值时间序列使用EMD进行分解,分解为趋势项、周期项和随机项。通过构建CNN+LSTM网络,并结合傅里叶变换和多项式拟合对铀浓度趋势项、周期项和随机项进行预测,3者预测之和作为铀浓度预测结果。实证结果表明:EMD能够有效分解铀浓度时间序列,模型拟合度比未进行EMD分解的模型提升超50%;基于EMD、CNN+LSTM和傅里叶变换的集成方法预测精度良好,预测的平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)为0.348,与LSTM、反向传播(Back Propagation,BP)和门控循环网络(Gate Recurrent Unit,GRU)等模型相比最高提升超80%。文章提出的集成方法能够准确预测浸采单元铀浓度变化,解决了原有方法和模型无法对非线性、非平稳铀浓度序列进行准确预测的问题,从而为地浸矿山生产规划提供技术支持,并有助于提升中国铀矿山的数字化、信息化程度。

基于互信息粒子群优化-长短期记忆神经网络医疗设备运行质量预测模型的慢性呼吸系统疾病诊疗设备智能管理研究

目的:基于互信息粒子群优化(PSO)-长短期记忆(LSTM)神经网络构建医疗设备运行质量预测模型,辅助慢性呼吸系统疾病诊疗设备智能管理。方法:采集设备基本数据、使用数据、维修数据和性能数据进行去噪和标准化处理,构建基于PSO-LSTM神经网络医疗设备运行质量预测模型(简称PSO-LSTM模型),制定设备使用、维护、维修及报废的智能管理方案。选取2019年8月至2023年7月新疆维吾尔自治区人民医院呼吸科临床在用的139台医疗设备,将2019年8月至2021年7月的67台设备采用经验管理模式,2021年8月至2023年7月的72台设备采用智能管理模式。计算传统循环神经网络(RNN)、LSTM神经网络模型训练集和测试集与PSO-LSTM神经网络模型的预测准确性,对比两种管理模式设备管理质量和设备使用操作与技术保障人员以及患者或家属对两种管理模式的管理满意度。结果:PSO-LSTM模型训练集预测准确性的平均绝对百分比误差(MAPE)值和均方根差(RMSE)值分别为0.014和0.008,测试集分别为0.032和0.018,均低于RNN和LSTM模型。采用智能管理模式的设备平均故障频次、平均开机率、管理成本平均增幅、平均维护执行率及平均报废合规率分别为(0.99±0.85)次/年、(95.74±2.16)%、(1.72±1.28)%、(96.49±1.97)%和(97.59±1.49)%,平均故障频次和管理成本平均增幅低于经验管理模式,平均开机率、平均维护执行率和平均报废合规率高于经验管理模式,差异有统计学意义(t=3.297、3.469、2.394、4.187、3.503,P<0.05);设备使用操作与技术保障人员及患者或家属对采用智能管理模式的设备性能、运行质量、管理方式、管理成本以及诊疗效果满意度评分分别为(94.73±1.85)分、(93.38±3.15)分、(93.48±2.02)分、(94.35±2.34)分和(95.14±2.07)分,均高于经验管理模式,差异有统计学意义(t=4.131、3.827、5.716、3.430、3.173,P<0.05)。结论:基于PSO-LSTM神经网络医疗设备运行质量预测模型能更准确地评估设备运行状况,提高医疗设备临床运行质量,改善临床服务满意度。

基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。