基于字词向量融合的民航智慧监管短文本分类

为解决民航监管事项所产生的检查记录仅依靠人工进行分类分析导致效率低的问题,提出一种基于数据增强与字词向量融合的双通道特征提取的短文本分类模型,探讨民航监管事项的分类,包括与人、设备设施环境、制度程序和机构职责等相关问题。为解决类别不平衡问题,采用数据增强算法在原始文本上进行变换,生成新的样本,使各个类别的样本数量更加均衡。将字向量和词向量按字融合拼接,得到具有词特征信息的字向量。将字词融合的向量分别送入到文本卷积神经网络(TextCNN)和双向长短期记忆(BiLSTM)模型中进行不同维度的特征提取,从局部的角度和全局的角度分别提取特征,并在民航监管事项检查记录数据集上进行试验。结果表明:该模型准确率为0.9837,F 1值为0.9836。与一些字嵌入模型和词嵌入模型相对比,准确率提升0.4%。和一些常用的单通道模型相比,准确率提升3%,验证了双通道模型提取的特征具有全面性和有效性。

助行康复机器人自适应步态控制方法研究

为了提高助行康复机器人在不同坡度上的稳定性,合理的步态控制方法显得尤为重要。这里以助行康复机器人为研究对象,提出了一种将长短期记忆网络和动态运动基元结合的步行康复机器人自适应步态控制方法。将传感器采集信息与动态运动基元中步态控制项相结合,对参考步态进行调整。同时通过更改动态运动基元的时间项和空间项对步态进行二次调整以适应不同的坡度。通过试验对该控制方法的可用性进行验证。结果表明,该方法可以在(0~20)°斜坡进行自适应步态变换,具有一定的实用价值。

基于改进麻雀搜索算法优化LSTM的滚动轴承故障诊断

为了对滚动轴承的工作状态及故障类别进行准确的诊断,本文采用长短时记忆(LSTM)神经网络作为分类器对滚动轴承数据集进行分类诊断。首先,从滚动轴承原始运行振动信号中提取时域和频域特征参数,组成具有高维特征参数的数据集;使用核主成分分析(KPCA)方法对高维特征集进行降维处理,选取重要性程度高的特征构成输入特征向量。然后,针对LSTM神经网络在滚动轴承故障诊断中存在的超参数难以确定的问题,提出一种基于自适应t分布策略的麻雀搜索算法优化LSTM神经网络的故障诊断方法(tSSA–LSTM)。最后,使用凯斯西储大学滚动轴承数据中心的数据进行故障诊断精度测试、泛化性能测试及噪声环境下故障诊断性能测试等多个仿真实验,并将本文提出的诊断模型与麻雀搜索算法优化长短时记忆神经网络(SSA–LSTM)、遗传算法优化长短时记忆神经网络(GA–LSTM)、粒子群算法优化长短时记忆神经网络(PSO–LSTM)及传统LSTM诊断模型进行对比。结果表明:tSSA可以更有效地对LSTM的隐含层神经元数量、周期次数、学习率等超参数进行合理优化;所提方法的平均诊断准确率达到98.86%,交叉验证平均诊断结果为98.57%;所提方法在噪声干扰下的故障诊断准确率也优于对比方法。因此,本文提出的tSSA–LSTM模型不仅可以更精准地诊断滚动轴承故障状态,而且具有更强的泛化能力及抗干扰能力,有效地提高了滚动轴承故障诊断的性能。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

结合太阳辐射量计算与CNN-LSTM组合的光伏功率预测方法研究

为了提高模型预测性能,提出一种综合太阳辐射模型及深度学习的光伏功率预测模型。首先,利用太阳辐射机理建立太阳辐射模型(SRM),估算出水平面上总辐射值,再由斜面辐照度转换方法计算出光伏组件所接收的斜面辐射值。其次,通过皮尔逊相关分析法筛选出对光伏功率影响较大的主要因素,将斜面辐射计算值及主要影响因素作为输入,采用卷积神经网络(CNN)和长短期记忆网络(LSTM)建立光伏功率SRM-CNN-LSTM预测模型。分别利用春夏秋冬四季典型日的数据开展对比实验,结果表明:与几种其他方法相比,该文方法具有更好的预测效果。

融合多源异构气象数据的光伏功率预测模型

高精度光伏功率预测对提高电力系统运行效率具有重要意义。光伏功率受多种因素影响,其中云层的变化是最主要的不确定因素。传统光伏功率预测方法没有充分考虑云的3维结构和气象要素对光伏功率的影响。因此,该文提出一种融合多源异构气象数据的多源变量光伏功率预测模型(MPPM)。MPPM的核心包括时空条件扩散模型(STCDM)、注意力堆叠LSTM网络(ASLSTM)和多维特征融合模块(MFFM)。STCDM模型通过对2维卫星云图进行精确预测,消除了云层边界处的模糊现象。ASLSTM模型则提取了3维天气研究与预报模式(WRF)气象要素特征。MFFM模块将2维卫星云图特征和3维WRF气象要素特征进行融合,以得到未来1 h光伏功率预测结果。该文分别利用STCDM模型和MPPM模型开展卫星云图预测实验和光伏功率预测实验。实验结果显示,STCDM模型预测1 h内卫星云图的结构相似性指数(SSIM)达到0.914,MPPM模型预测1 h内光伏功率的相关系数(CORR)达到0.949,优于所有对比算法。

面向喷染车间的挥发性有机物质量浓度预测方法及应用研究

以喷染车间挥发性有机物为研究对象,对喷染车间挥发性有机物(Volatile Organic Compounds, VOCs)质量浓度预测方法进行研究。首先,使用随机森林(Random Forest, RF)算法对影响喷染车间挥发性有机物质量浓度的特征变量进行权重分析。同时,构建基于长短期记忆神经网络(Long-Term and Short-Term Memory Neural Network, LSTM)的挥发性有机物质量浓度预测模型,并在此基础上引入麻雀搜索算法(Sparrow Search Algorithm, SSA)进行参数优化选择。最后,以浙江省杭州市某汽车喷染车间7月29日—10月28日的数据为样本,将温度、相对湿度、室内大气压、室外大气压作为模型输入变量,并与LSTM模型、随机森林-长短期记忆神经网络(Random Forest-Long Short-Term Memory neural network, RF-LSTM)模型、随机森林-反向传播神经网络(Random Forest-BP neural network, RF-BP)模型进行对比试验。结果显示,基于随机森林-麻雀搜索算法-长短期记忆神经网络(Random Forest-Sparrow Search Algorithm-Long Short-Term Memory neural network, RF-SSA-LSTM)模型的预测效果最佳,平均绝对误差、均方根误差和决定系数分别为2.812 2、3.457 4、0.988。同时,为验证RF-SSA-LSTM模型性能,通过不同时间步长实现对喷染车间VOCs质量浓度预测,结果显示预测误差较小,在可接受范围内。RF-SSA-LSTM预测模型提高了挥发性有机物质量浓度的预测精度,为减少挥发性有机物排放提供科学依据。

基于CEEMD-SE的CNN&LSTM-GRU短期风电功率预测

为进一步提升短期风电功率的预测精度,提出了一种基于互补集合经验模态分解-样本熵(complementary ensemble empirical mode decomposition-sample entropy,CEEMD-SE)的卷积神经网络(convolutional neural network,CNN)和长短期记忆-门控循环单元(longshorttermmemory-gatedrecurrentunit,LSTM-GRU)的短期风电功率预测模型。首先,利用互补集合经验模态分解将原始风电功率序列分解为若干本征模态函数(intrinsic mode function,IMF)分量和一个残差(residual,RES)分量,利用样本熵算法将相近的分量进行重构;其次,搭建卷积神经网络和长短期记忆网络的并行网络结构,提取数据的局部特征和时序特征,并将特征融合后输入门控循环单元网络中进行学习预测;最后,通过算例进行验证,结果表明采用该模型后预测精度得到了有效提升,其均方根误差降低了15.06%、平均绝对误差降低了15.22%、决定系数提高了1.91%。

基于VMD-SE的电力负荷分量的多特征短期预测

为提高电力负荷的预测精度,提出一种基于VMD-SE的电力负荷分量的多特征短期预测方法。首先采用变分模态分解(VMD)将原始负荷分解为一系列模态分量与残差,VMD的分解层数由样本熵值(sample entropy,SE)确定;然后对比原始负荷与模态分量的SE值,重构为平稳分量和波动分量,来降低运算规模;同时利用皮尔逊相关系数来筛选特征变量,删除特征冗余,建立灰狼算法优化后的支持向量回归模型(GWO-SVR)和长短期记忆神经网络(LSTM)分别对平稳分量和波动分量预测;最后以某地区2018—2020年用电负荷为例进行实验。实验证明:此模型精准度高达94.7%,平均绝对百分误差降低到2.98%,具有更好的精准性和适用性。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于LSTM的机场飞行区活动目标潜在冲突预测

针对机场飞行区冲突不断的问题,提出一种基于长短期记忆(LSTM)网络预测机场飞行区活动目标潜在冲突的方法。根据复杂网络理论,以航空器和车辆2类活动目标为研究对象,建立飞行区活动目标网络,设置网络动态演化模型,输入运行数据计算多个网络特征指标,对指标时间序列进行主成分分析,拟合成潜在冲突指数;利用Keras框架搭建LSTM网络模型,将指标时间序列输入LSTM网络进行训练和预测,并与其他预测方法对比;用西安咸阳机场实际运行数据进行实验,将预测值与真实值进行对比,各项指标预测均方误差分别为1.608%、13.126%、0.072%、0.004%、0.014%。结果表明:通过建立飞行区活动目标网络模型,可以用网络特征指标从不同角度刻画潜在冲突;LSTM网络可以有效预测飞行区活动目标网络的潜在冲突,提醒相关人员预防冲突发生,降低冲突概率。

基于FMCW雷达的人体生命体征信号预测算法

将FMCW雷达检测到的人体生命体征信号,用于预测未来一段时间内人体生命体征信号是否异常,具有明显的应用价值。该方向当前研究主要针对如何进一步降低重构误差、提升生命体征信号的预测精度。为此,本文提出一种自适应变分模态分解-长短期记忆神经网络的生命体征信号预测方法。针对静止状态下的人体,通过雷达采集到的生命体征信号,采用粒子群算法优化变分模态分解VMD的模态分量个数K和惩罚系数α的值,实现自适应选取后用于VMD分解,再将分解后的模态分量进行叠加重构。采用粒子群算法优化长短期记忆网络模型中的网络层数、学习率、正则化系数等3个参数,自适应选取合适的参数组合,将重构后的信号通过优化后的LSTM网络进行预测。实验结果显示本文所提预测方法在10位志愿者的预测结果与原始数据的均方根误差平均值为0.017 188 9,平均绝对误差的平均值为0.007 158,相较于当前其他研究,预测精度上有明显提升。

基于神经网络模型的水平井破裂压力预测方法

破裂压力是井身结构设计的基础依据,也是水力压裂设备选型和方案设计的基础参数,通常采用测井解释获取破裂压力剖面,但其存在参数准确获取难、计算过程繁琐、普适性较差、计算精度低等问题,机器学习提供了一种解决这些问题的新方法。为此,以测井数据作为输入参数,采用4种不同的神经网络模型,建立水平井测井数据与破裂压力间的非线性关系,通过测试集预测结果的对比分析,优选出最佳的神经网络模型,并优化模型网络结构和超参数,实现水平井破裂压力的直接预测。研究结果表明:1)破裂压力与井斜角、横波时差和纵波时差表现为极强相关性,与井深、岩性密度和补偿中子表现为强相关性,与井径和自然伽马表现为弱相关性;2)不同组合的测井参数对模型预测结果具有显著影响,最优输入参数为井斜角、横波时差、纵波时差、井深、岩性密度和补偿中子;3)对比多层感知机、深度神经网络、循环神经网络和长短期记忆神经网络(LSTM)模型,发现LSTM模型的预测效果最佳;4)优化了LSTM模型的网络结构及超参数,优化后破裂压力预测的平均绝对百分比误差为0.106%、决定系数为0.996。LSTM模型能够有效构建水平井测井参数与破裂压力之间的非线性关系,可以实现水平井破裂压力的准确预测,对于准确预测破裂压力、简化破裂压力计算过程、推广机器学习在石油工程领域的应用具有重要的作用。

融合Mar-GLSTM的流程生产工艺质量预测算法

针对流程生产连续性强、时序耦合复杂等特点,传统神经网络不具备长期记忆能力,且在深层次网络训练时易出现训练参数灾难、梯度爆炸等问题,提出基于马尔可夫优化的融合门控循环单元(GRU)与长短期记忆网络(LSTM)的组合预测模型(Mar-G LSTM)。首先在循环神经网络结构中融入门控机制构建深度LSTM神经网络模型,对流程生产时序数据信息进行选择性记忆,学习时序数据序列的信息依赖,进而解决训练过程中的梯度爆炸问题;同时结合马尔可夫链对GRU-LSTM模型的预测结果进行修正优化,在降低模型的复杂度的情况下进一步提高了模型的预测精度。最后,结合某流程生产线的工艺数据进行分析验证,结果表明,Mar-G LSTM算法在预测精度上较随机森林模型、门控循环单元神经网络模型(GRU)、长短期记忆神经网络模型(LSTM)和卷积神经网络与门控循环单元网络组合模型(CNN-GRU)分别提高了37.42%、21.32%、17.91%和12.56%,所提Mar-G LSTM算法可实现流程生产质量的准确预测,为降低工艺参数调控任务的完成时间提供了思路和实现途径。

基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于注意力机制LSTM的电离层TEC预测

电离层总电子含量(Total Electron Content,TEC)的监测与预报是空间环境研究的重要内容,对卫星通讯和导航定位等有重要意义.TEC值影响因素较多,很难确定精确物理模型来对其进行预测.本文设计了基于注意力机制的LSTM模型(Att-LSTM),采用过去24小时TEC观测数据对未来TEC进行预测.选择北半球东经100°上,每2.5°纬度选择一个位置,共计36个位置来验证本文提出模型的性能,并与主流的深度学习模型如DNN、RNN、LSTM进行对比实验.取得了如下成果:(1)在选定的36个地区未来2小时单点预测上,基于本文的Att-LSTM模型的TEC预测性能明显优于其他对比模型;(2)讨论了纬度对Att-LSTM预测未来2小时TEC值时性能的影响,发现在北纬0°到60°之间,Att-LSTM预测性能随着纬度的升高而略有降低,在北纬62.5°~87.5°之间,模型预测性能出现扰动,预测效果略差;(3)讨论了磁暴期和磁静期模型的预测性能,发现无论是磁暴期还是磁静期,本文模型预测性能均较好;(4)还讨论了对未来多时点预测效果,实验结果表明,本文所提出的模型对未来2、4个小时的预测拟合度R-Square均超过0.95,预测结果比较可靠,对未来6、8、10个小时预测拟合度最高为0.7934,预测拟合度R-Square下降迅速,预测结果不可靠.

双向长短期记忆网络的时间序列预测方法

时间序列预测即利用历史时间序列数据,预测未来一段时间内的数据信息,以便提前制定相应策略。目前,时间序列的类别复杂繁多,而现有的时间序列预测模型面对多种类型数据时无法取得稳定预测的结果,进而难以同时满足对现实中多种复杂的时序数据预测的应用需求。针对上述问题,提出了一种基于时间注意力机制双向长短期记忆网络的时间序列预测方法。笔者提出的网络模型采用改进的正向和反向传播机制提取时序信息并通过自适应权重分配策略推理未来的时序信息。具体来说,设计了一个改进的双向长短期记忆网络,通过结合双向长短期记忆和长短期记忆网络提取深度时间序列特征,挖掘上下文的时序依赖关系。在此基础上,融合所提出的时间注意力机制,实现对深度时间序列特征进行自适应加权,提升深度时序特征的显著性表达能力。通过与同类代表性方法在多个不同类别数据集上的客观定量对比,实验结果表明,该方法能够在多种类别的复杂时间序列数据上更优的预测性能。

基于ResNet-LSTM的航空发动机性能异常检测方法

为了实现数据驱动的航空发动机性能异常的智能检测,提出了一种基于残差网络(ResNet)-长短期记忆网络(LSTM)的发动机性能异常检测方法。采用发动机性能数据图像化方法,在数据降维的同时,完备保留数据的关联特征和时序特征;以残差单元构建发动机性能异常检测模型,在加深网络结构的同时,消除深层网络梯度消失问题,提高发动机性能图像空间关联特征的提取能力。同时,引入LSTM,提出基于ResNet-LSTM的发动机性能异常检测模型,通过ResNet与LSTM的融合,强化异常检测模型对时序特征的提取,提升发动机性能异常检测的准确率;通过发动机运行数据进行验证。结果表明:在训练集上,该方法的异常检测准确率为94.95%,比基于ResNet18、ResNet34、ResNet50异常检测模型的分别提高10.87%、8.00%、3.23%;在测试集上,该方法的异常检测准确率为92.15%,比基于ResNet18、ResNet34、ResNet50异常检测模型的分别提高11.81%、9.45%、3.78%。

基于改进金豺算法的短期负荷预测

针对电力负荷序列波动性和预测精度不高的问题,提出一种基于变分模态分解、排列熵和改进金豺算法优化双向长短期记忆网络的预测模型。首先,利用变分模态分解重构原始负荷序列,再采用排列熵理论对分解后的子序列进行熵值重组;然后,利用改进金豺算法对双向长短期记忆网络的参数进行优化,并对每个子序列建立预测模型;最后,组合各模型结果得到最终预测值。实验结果表明,本文模型预测精度更高,与真实值拟合度更好。

Prophet-LSTM组合模型在运输航空征候预测中的应用

为准确预测中国运输航空征候万时率,提出了一种将时间序列模型和神经网络模型组合的预测方法。首先,利用2008年1月—2020年12月的运输航空征候万时率数据建立Prophet模型,使用RStudio软件进行模型拟合,获取运输航空征候万时率的线性部分;其次,利用长短期记忆网络(Long Short-Term Memory,LSTM)建模,获取运输航空征候万时率的非线性部分;最后,利用方差倒数法建立Prophet-LSTM组合模型,使用建立的组合模型对2021年1—12月运输航空征候万时率进行预测,将预测结果与实际值进行对比验证。结果表明,Prophet-LSTM组合模型的EMA、EMAP、ERMS分别为0.0973、16.1285%、0.1287。相较于已有的自回归移动平均(Auto Regression Integrated Moving Average,ARIMA)+反向传播神经网络(Back Propagation Neural Network,BPNN)组合模型和GM(1,1)+ARIMA+LSTM组合模型,Prophet-LSTM组合模型的EMA、EMAP、ERMS分别减小了0.0259、10.4874百分点、0.0143和0.0128、2.0599百分点、0.0086,验证了Prophet-LSTM组合模型的预测精度更高,性能更优良。