基于LSTM-Informer模型的液压支架压力时空多步长预测

目前多步液压支架压力预测大多为单步液压支架压力的累计预测,单步累计次数越多,累计误差就越大,影响预测精度。针对该问题,提出了一种基于长短时记忆(LSTM)-Informer模型的液压支架压力时空多步长预测方法。采用卡尔曼滤波消除液压支架压力数据中的振动噪声后,在工作面端部和中部各选取相邻的5台液压支架压力数据建立2个时空数据集(数据集1和数据集2),并对时空数据进行标准化预处理。将时空数据输入LSTM模型提取时空特征,并将提取的时空特征输入Informer模型的编码器,经过位置编码后利用多头概率稀疏自注意力来关注压力序列的变化特征,经过最大池化和一维卷积消除最终输出特征图的冗余组合。利用多头概率稀疏自注意力来关注压力序列的变化特征,将Informer模型的解码器改为全连接层,得到液压支架压力的预测结果。实验结果表明:与基于门控循环单元(GRU)、LSTM和Informer模型的预测方法相比,基于LSTM-Informer模型的预测方法在预测6,12,24步长液压支架压力时的均方根误差(RMSE)和平均绝对误差(MAE)均最小;其中基于数据集1预测的6步长液压支架压力的RMSE分别降低了41.63%,49.74%,11.85%,MAE分别降低了41.75%,50.00%,12.00%;基于数据集2预测的6步长液压支架压力的RMSE分别降低了48.15%,59.86%,19.88%,MAE分别降低了49.87%,54.90%,13.16%。

基于多源信息融合和WOA-CNN-LSTM的外脚手架隐患分类预警研究

面对施工现场外脚手架隐患信息的多样性,传统的基于传感器监测的单一信号预警研究存在容错力不佳、含有信息有限等问题。针对施工现场外脚手架“图像+监测”数据,提出一种基于数据层和特征层信息融合的脚手架隐患分类预警方法。首先,利用Revit三维建模软件建立外脚手架实体模型,对不同初始隐患下的外脚手架进行有限元分析,划分隐患预警等级;其次,利用无迹卡尔曼滤波算法(Unscented Kalman Filter,UKF)及卷积长短时记忆网络(Convolutional Neural Network-Long Short Term Memory Network,CNN-LSTM)实现脚手架同类信息数据层融合及异类信息特征层融合;最后,通过实时收集西安市某在建项目落地式双排扣件式钢管脚手架隐患信息,对其进行分类预警,并使用鲸鱼优化算法(Whale Optimization Algorithm,WOA)对CNN-LSTM网络进行参数优化,发现隐藏节点个数为30、学习率为0.0072、正则化系数为1×10^(-4)时分类效果最佳,优化后预警精度达到了91.4526%。通过可视化WOA-CNN-LSTM、CNN-LSTM、CNN-SVM(Support Vector Machine,支持向量机)及CNN-GRU(Gate Recurrent Unit,门控循环单元)分类预警结果,证实了优化后的CNN-LSTM网络在脚手架分类预警方面的优越性。

LSTM 智能导向的电子信息实践教改探索

针对传统电子信息专业教学中存在的问题,提出融合AI技术的针对性LSTM智能导向实践教学模型,构建了因材施教的人才培养体系。结合AI技术构建融合平台,包括结合深度学习技术在电子信息基础理论与实践课程中有针对性地推荐课程;借鉴强化学习思想和组内竞争思想助力学生竞赛创新;采用LSTM对学生个体进行建模,用以准确评估学生的自身能力,以便教师对他们进行因材施教。该教改方案实施以来,实验班相比对照班在获奖门类和数量上都有显著提高,验证了所提教改方案的有效性。

基于改进BNN-LSTM的风电功率概率预测

针对确定性的风电功率预测难以提供预测结果的波动区间和支撑风险决策的问题,以贝叶斯网络为基础,通过将先验分布置于LSTM网络层权重参数之上,构建了贝叶斯LSTM神经网络(BNN-LSTM)。以时间卷积神经网络(TCNN)处理风电功率预测的历史时序数据,提取时序数据的关联特征。使用互信息熵方法分析了风电功率的气象数据集,剔除关联性小的变量,对气象数据集进行降维处理。并采用嵌入(embedding)结构学习风电功率时间分类特征。随后将TCNN处理后的时序数据、降维后的气象数据以及时间分类特征数据一起送入BNN-LSTM预测模型,通过在某风电数据集不同算法的概率预测指标pinball损失和Winkler评分的对比验证,可知,本文所提方法能从可对风电功率波动做出较为准确的响应,预测效果更好。

基于特征构建及CAE-LSTM的短期电量预测方法

线损率能够反映企业的管理水平和经济效益,而供售电不同期会导致线损统计存在误差,因此需要进行短期电量预测。针对现有方法未能充分挖掘电量影响因素的问题,提出基于特征构建及CAE-LSTM的短期电量预测方法。通过数据分析构建特征,并使用MIC进行筛选;使用ARIMA预测电量值,并与特征进行数据重构;通过CAE-LSTM对数据进行特征提取,得到预测结果。实验结果表明,提出的方法能够更有效地提取数据特征,实现更高的预测精度。

基于Informer算法的病毒传播预测研究

新冠肺炎病毒等疫情受多种复杂现实因素的影响,因此疫情的发展存在不确定性。为了解决基于传染病仓室模型受自身诸多理想假设条件的限制而导致疫情预测结果误差较大的问题,采用基于深度学习的时序预测模型对疫情发展进行预测,建立了一种基于Transformer模型的Informer模型,并将注意力机制和蒸馏机制应用到疫情数据的时序预测中。以门限自回归(Threshold AutoRegressive, TAR)模型和多种主流的循环神经类时序预测模型作为对比模型,通过仿真实验,对中国、美国和英国的疫情数据当前尚存感染人数进行短期预测,并以均方根误差(RMSE)和平均绝对误差(MAE)为评价指标,选择最佳模型进行了中长期的预测。结果表明,无论是RMSE还是MAE,Informer模型的指标值都是最优的,表明Informer模型对中国、美国和英国疫情的预测精度比其他对比模型高。最后,使用Informer模型对中国、美国和英国的疫情发展进行了中长期预测。

基于Informer模型的开都河流域径流预测

为提高径流预测的准确性,本文通过应用长短期记忆(Long Short-Term Memory,LSTM)和Informer模型,对开都河流域察汗乌苏水文站2010年6月至2023年6月的逐日径流数据进行模拟。结果表明Informer模型的模拟性能最优,验证期的NSE达到0.96,而LSTM模型在径流峰值处的模拟存在低估。因此,基于Informer模型建立了开都河流域的单变量和多变量径流预测模型。结果表明,Informer模型在开都河流域察汗乌苏水文站具有较好的适用性。单变量和多变量预测模型在预测步长为1-3d时精度最高,R2>0.9,RMSE<15,MAE<10。对比单变量预测模型与考虑降水和气温的多变量预测模型的预测结果,结果表明,随着预见期逐渐增加,单变量预测模型性能更好。研究结果验证了Informer模型在径流预测领域的有效性,为研究区的水资源管理和防洪减灾等决策部门提供了一定参考。

基于改进LSTM的电力调度数据预测模型设计与仿真

为了提高新型电力系统下负荷数据的预测精度,文中对基于融合信息的深度学习网络展开了研究。通过将电力负荷的预测抽象为时间序列处理问题,并以长短期记忆单元(LSTM)替代传统的神经元结构,进而提升了网络的记忆能力和长序列处理能力。由于所提网络以气象及能源交易信息等多源数据为训练集,因此引入了一种Attention机制。该机制在增强有用信息权重的同时还能降低LSTM网络对次要信息的关注力,从而提升网络的特征提取能力。为验证算法的改进效果,以采集到的负荷、电价与气象数据等为基础建立了训练、验证和测试数据集。仿真结果表明,改进LSTM算法的负荷预测结果更接近于实际情况,且算法的性能指标均有明显改善,其中MAE和RMSE分别下降了24.13%及23.13%。

基于改进信息熵和LSTM网络的轴承故障诊断

针对传统的时频域故障诊断方法无法对故障实现自适应识别和分类,且准确率较低的问题,提出一种基于改进信息熵(improved information entropy,IIE)的长短时记忆网络(long-short time memory network,LSTM)方法。首先对原始信号分别进行集合经验模态分解(ensemble empirical mode decomposition,EEMD)和变分模态分解(variational mode decomposition,VMD);将包含故障信息的所有本征模式分量(intrinsic mode functions,IMF)进行信息熵的求取;通过信息熵反映IMF的信息量和峭度指标对描述冲击成分的优势改进信息熵,构成特征向量;最后结合LSTM处理非线性数据的优势,利用组合特征训练LSTM网络建立诊断模型。实验结果表明:该方法能准确、高效地识别多种故障,准确率要比单一的EEMD-LSTM、VMD-LSTM、人工神经网络等传统方法更高。

基于改进GCN-sbuLSTM模型的高速公路交通量预测方法

为解决现有高速公路交通量预测方法在捕捉动态时空依赖关系方面的不足,提出了一种融合信息几何方法与注意力机制的新型高速路网交通量预测模型。首先,利用信息几何方法量化ETC门架之间的动态数据分布差异。然后,利用注意力机制来捕获交通的动态空间依赖关系。最后,结合一种堆叠的双向递归层结构,提出了一种长时间跨度的并行子模型算法,即基于信息几何方法(Information Geometry)和注意力机制(Attention Mechanism)优化的图卷积神经网络(GCN)结合堆叠双向单向长短期记忆神经网络(sbuLSTM)的组合模型—IGAGCN-sbuLSTM。采用该模型对100多条路段、3000多处门架近7亿条高速公路ETC门架系统数据进行分析,结果显示:与LSTM、GCN、GCN-LSTM、ASTGCN等现有4种模型相比,在10 min时间尺度下,IGAGCN-sbuLSTM组合模型的平均绝对误差(MAE)分别降低了2.39,3.72,1.02,1.46,均方根误差(RMSE)分别降低了3.25,4.32,2.05,5.65,平均绝对百分比误差(MAPE)分别降低了5.49%,12.54%,1.56%,0.5%。研究表明,IGAGCN-sbuLSTM模型在预测精度和不同时间间隔的预测性能上均优于现有的单一捕获特性模型及其他常用的组合模型,可广泛应用于高速公路收费、车速等数据的预测分析。

电力市场中基于Attention-LSTM的短期负荷预测模型

电力市场环境下,精准的短期负荷预测可以保障电网安全稳定运行,但电价的实时波动增加了负荷变化的复杂性,加大了预测难度。针对这一问题,采用最大信息系数法分析电价及历史负荷与当前时刻负荷的相关性,为预测模型输入特征的确定提供依据。在此基础上,提出了基于Attention-LSTM (attention long short-term memory,Attention-LSTM)网络的短期负荷预测模型。该模型充分利用负荷的时序特性,并采用Attention机制突出对负荷预测起到关键作用的输入特征。以澳大利亚某地区真实数据为算例,分别应用Attention-LSTM模型与其他模型进行仿真实验。结果表明,所提方法在预测精度和算法鲁棒性方面均优于其他模型。

基于双向LSTM网络的不确定和否定作用范围识别

不确定和否定信息抽取,是自然语言处理领域中的重要任务和研究热点.针对不确定和否定作用范围识别任务,提出一种基于两层双向LSTM神经网络的作用范围识别方法.首先,对于从线索词到达词语的句法路径,使用第1层双向LSTM神经网络从中学习到有用特征;接着,将词法特征与句法路径特征一起组成当前词语的特征表示;最后,将作用范围识别问题看作序列标注任务,利用第2层双向LSTM神经网络界定当前线索词的作用范围.实验结果表明,所提出的模型优于其他神经网络模型,并在BioScope生物医学语料上取得了良好性能.其中,在Abstracts子语料上的不确定和否定作用范围识别精确率分别达到86.20%和80.28%.

基于双向LSTM的误植域名滥用检测方法

当前,误植域名检测主要以计算域名对之间的编辑距离为基础,未能充分挖掘域名的上下文信息,且对短域名的检测易产生大量的假阳性结果。采集域名相关信息进行判定虽然有助于提高检测效果,却会引入较大的额外开销.本文采用了基于域名字符串的轻量级检测策略,并引入双向长短时记忆模型(LSTM,Long Short-Term Memory)来充分利用域名上下文,提升检测效果.本文还设计了面向域名的局部敏感哈希函数,以提高在大规模域名集合上进行误植域名检测的速度.在大量真实数据集上的实验结果表明,本文的工作改进了基于编辑距离检测方法的不足,能够有效地进行误植域名滥用检测.

基于惯性传感器和LSTM神经网络的人体运动识别方法

面向人体惯性运动捕捉系统,提出一种基于长短期记忆网络(LSTM)的人体运动模式识别方法。设计1个包含2层LSTM层的深度学习神经网络对人体三维加速度信息进行自动特征提取并对多类运动模式进行时序建模,从而实现对运动模式的快速实时识别。实验基于WISDM公开数据集,对人体右腿前口袋部位的三维加速度信息进行分析,验证模型识别人体慢跑、步行、坐、站、上楼、下楼运动过程的准确率为97.5%,并通过对比实验验证了该方法的有效性。为基于移动设备及可穿戴设备的人体运动识别研究提供了一个可行的方法。

基于注意力机制的LSTM的语义关系抽取

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM(long short-term memory)模型与注意力机制相结合的关系抽取方法。将文本信息向量化,提取文本局部特征,再将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在Sem Eval-2010 task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。

基于互信息变量选择与LSTM的电站锅炉NOx排放动态预测

电站锅炉NO_x排放是大气污染物的重要来源,建立有效的预测模型是降低NO_x排放的基础。NO_x的排放特性受多个热工变量的影响,针对变量间的相关性和强耦合性,提出一种基于互信息变量选择和长短期记忆神经网络的预测模型,实现对NO_x排放的动态预测。以互信息"最小冗余最大相关"为准则对特征变量进行重要性排序和变量选择。在变量筛选过程中采用序列前向选择方法,以模型预测精度为目标确定最优输入特征集和最佳模型参数。将筛选出来的特征变量集作为LSTM预测模型的输入,并采用多层网格搜索算法优化网络超参数,建立了NO_x排放动态预测模型。基于某660 MW超超临界燃煤机组的运行数据对模型进行验证,实验结果表明该方法能够有效地减少模型输入变量的数目,降低变量间的信息冗余,同时提高了预测模型的精度和鲁棒性。

基于层级残差连接LSTM的命名实体识别

针对命名实体识别任务中现有的LSTM提取特征向量存在对短期信息特征表达能力不足的问题,提出一个基于层级残差连接的LSTM网络.通过添加残差块堆叠LSTM网络深度,增强短期信息特征非线性拟合能力;利用全局信息编码动态选择激活函数,在加强网络计算能力的同时降低了参数量;通过注意力机制,对输入动态调整残差连接的层数加强模型拟合能力.给出了残差网络和Dynamic ReLU激活函数,建立了基于层级残差连接的LSTM命名实体识别整体框架,定义了残差连接模块、Dynamic ReLU模块、注意力机制模块.对比了所提出方法与FLAT、Lattice LSTM等相关算法,在Weibo和Resume数据集上进行试验.结果表明,基于层级残差连接的LSTM在Weibo上达到了最好的效果,在Resume上效果仅次于FLAT,F_(1)分别为0.7001、0.9586.

基于概念性水文模型与长短时记忆模型耦合的汉江上游流域径流模拟

为了探究概念性水文模型(GR4J)与长短时记忆模型(LSTM)耦合过程中物理模型参数反馈机制以及考虑土壤含水量作为中间变量对物理引导机器学习(PIML)模型径流模拟的影响,本研究构建了PIML模型并设置考虑参数反馈、考虑中间变量和两者同时考虑的3种方案(依次简称为H1、H2、H3),以安康站为控制站的汉江上游流域开展实例研究。结果表明:(1)3种PIML模型径流模拟效果均优于LSTM模型,其中验证期纳什系数(NSE)平均提升10.6%,而PIML-H1与PIML-H3模型径流模拟效果优于GR4J模型,验证期NSE平均提升4.2%,其中PIML-H3模型在3种PIML模型中表现最佳,表明基于LSTM和GR4J模型构建的PIML模型对径流模拟效果有所改善,且同时考虑中间变量和参数反馈因素时对径流模拟效果改善最佳;(2)3种PIML模型对低水流量的模拟效果均优于GR4J和LSTM模型,且PIML-H3模型效果最佳,而对于高水流量,3种PIML模型均表现不佳,说明PIML模型往往在模拟低流量事件中更占优势;(3)3种PIML模型的径流模拟效果均表现出较强的季节性变化,PIML-H2和PIML-H3模型相较于PIML-H1模型受到的季节性变化影响更为明显,说明PIML模型模拟径流结果的季节性变化受到中间变量的影响。研究可为汉江上游流域径流模拟预报提供技术支撑。

基于3σ-CEEMDAN-LSTM的空间负荷预测方法

为有效利用从配电网采集的海量数据以及改善空间负荷预测效果,提出一种基于3σ准则、自适应噪声完备集合经验模态分解(CEEMDAN)和长短期记忆神经网络(LSTM)的空间负荷预测方法。基于3σ准则对每个Ⅰ类元胞的实测负荷数据进行奇异值检测和处理;运用CEEMDAN技术将处理后的Ⅰ类元胞负荷数据分解为若干个频率和幅值均不同的本征模态函数(IMF);分别对每个IMF分量构建LSTM模型进行预测;将所有IMF分量预测结果进行线性叠加,得到目标年基于Ⅰ类元胞的空间负荷预测结果,在此基础上使用空间电力负荷网格化技术求得基于Ⅱ类元胞的空间负荷预测结果。算例分析结果验证了所提方法的正确性和有效性。

改进Bi-LSTM的文本相似度计算方法

为提高自然语言处理任务中文本相似度检测的准确率,提出一种改进双向长短期记忆网络(Bi-LSTM)的文本相似度计算方法。将输入的句子转换成多个单词向量,通过Bi-LSTM提取出每个单词向量的最佳词特征,引入注意力机制,减小非关键因素的影响;采用多层相似加权对两个句子分别从词与词、句子与句子、词与句子3个层面进行多层比较,加权得到其最终的相似度;基于SMTeuroparl、MSRvid和MSRpar这3个数据集对所提方法的性能进行评估。实验结果表明,相比于其它方法,所提方法的文本相似度计算更佳,适用于处理复杂的长文本。