基于长短时记忆神经网络的Multi-GNSS卫星钟差建模预报

针对卫星钟差预报中二次多项式模型存在易受噪声干扰、预报精度不高的问题,构建一种基于长短时记忆神经网络的multi-GNSS卫星钟差预报模型,并分析不同卫星系统、不同钟类型基于不同建模方案的模型精度。为验证该模型的有效性和可行性,利用LSTM模型、QP模型、QP-LSTM模型分别基于12 h和24 h钟差序列进行建模,预报1 h、3 h、6 h、12 h钟差。结果表明,LSTM模型建模24 h、预报1 h精度最高。multi-GNSS卫星钟差LSTM预报模型中Galileo系统精度最高,其次为BDS-2系统和GPS系统,GLONASS系统精度最低,精度分别为0.018 ns、0.069 ns、0.133 ns、0.242 ns。不同原子钟预报精度不同,氢原子钟预报精度优于铷原子钟、铯原子钟。LSTM神经网络模型预报精度相较于QP-LSTM模型提升27%,相较于QP模型提升36%。

模型误差影响下基于CNN+BiLSTM神经网络的非圆信号目标直接跟踪算法

针对运动观测阵列状态误差与接收频率抖动同时影响下的非圆信号无源跟踪问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)+双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiL⁃STM)的直接跟踪算法.该算法首先利用多运动观测阵列信号各频带间的相关性与辐射源信号的非圆特性,建立模型误差影响下的扩展多站观测矢量;接着利用多个观测时隙内扩展多站观测矢量的信号子空间构造空时特征输入序列;然后设计基于CNN与BiLSTM混合神经网络的直接跟踪模型,通过训练实现对非圆目标的轨迹矢量直接估计.本文算法是从原始数据信号子空间中估计轨迹矢量的直接跟踪模式,相比传统“观测参数估计+滤波轨迹跟踪”的两步估计模式,具有更高的估计精度.由于本文算法在神经网络训练过程中学习到模型误差的信息,因此能够实现对多种误差的校正.仿真结果表明,本文算法较传统两步跟踪算法与现有直接跟踪算法均具有更高的轨迹估计精度,能够明显提升模型误差影响下多站协同跟踪的鲁棒性.

基于EEMD-NGO-LSTM神经网络耦合的月径流预测模型及应用

为了提高径流序列的稳定度和精度,减小参数优化不当导致的非线性误差,研究将长短期记忆神经网络(LSTM)、集成经验模态分解(EEMD)和北方苍鹰优化算法(NGO)相结合,构建了EEMD-NGO-LSTM耦合预测模型。将此预测模型应用于模拟东辽河中下游的控制总站——王奔水文站2012年~2021年逐月径流过程,并与鲸鱼算法(WOA)以及灰狼算法(GWO)优化的长短期记忆神经网络进行模型比较。结果表明,EEMD-NGO-LSTM耦合预测模型的超参数迭代速度最快,精度最高,预测结果最接近实测值,其决定系数R^(2)为0.8643。而后采用CMIP6气候模式(SSP126情景)下的2030年的降水、气温数据输入模型进行预测,在气温上升1℃,降水不变的情景下,年径流量将增加6.61%;在降水升高5%,气温不变的情景下,年径流量将增加6.95%;在气温上升1℃、降水升高5%的情境下,年径流量将增加22.16%。

基于CNN-LSTM混合神经网络的高速铁路地震响应预测

为了更好地挖掘高速铁路在地震时的响应信息,提高光纤光栅监测的效率及预测精度,该文针对地震响应数据的时序性及非线性的特点,提出卷积神经网络(CNN)和长短期记忆(LSTM)网络的混合神经网络模型预测方法.通过在高速铁路简支梁桥上布设准分布式光纤光栅采集地震时轨道板、钢轨、底座板、箱梁的响应数据,在每根光纤上布置7个光栅,利用两边光栅的响应数据预测中间点的光栅响应,将采集位置、历史数据及地震波形等信息作为特征图输入.利用CNN提取特征,再将提前提取出来的特征数据以时序方式作为LSTM网络的输入数据,最后LSTM网络进行地震应变响应预测.实验结果表明,LSTM网络在3层时效果最好,CNN-LSTM方法具有较高的预测精度,根均平方误差(R_(RMSE))、平均绝对误差(R_(MAE))、决定系数(R^(2))分别达到了0.3753、0.2968、0.9371.

基于卷积神经网络与长短期记忆神经网络的弹丸轨迹预测

针对弹丸非线性轨迹预测问题,提出一种基于卷积神经网络(CNN)与长短期记忆(LSTM)神经网络的混合轨迹预测模型。通过建立6自由度弹丸运动模型,并使用4阶龙格库塔法外弹道仿真,得到大量轨迹数据样本;提出CNN-LSTM神经网络的混合轨迹预测模型,并利用滑动窗口法和差分法构造输入输出的轨迹数据对,将预测问题转化为有监督的学习问题;将所提模型与LSTM神经网络模型、门控循环单元(GRU)神经网络模型和反向传播(BP)神经网络模型在同一数据集下进行仿真实验。研究结果表明,CNN-LSTM神经网络模型预测3 s后的平均累积预测误差在x轴方向约为14.83 m,y轴方向约为20.77 m,z轴方向约为0.75 m,且轨迹预测精度优于单一模型,为弹丸轨迹预测研究提供了一定的参考。

基于非负绞杀与长短期记忆神经网络的动态软测量算法

现代工业过程建模中,生产过程的多变量、非线性及动态性会导致模型复杂度增高且建模精度降低.针对这一问题,将非负绞杀算法(NNG)嵌入长短期记忆(LSTM)神经网络,提出一种基于LSTM神经网络及其输入变量选择的动态软测量算法.首先,通过参数优化生成训练好的LSTM神经网络,利用其出色的历史信息记忆能力处理工业过程中的动态、时滞等问题;其次,采用NNG算法对LSTM网络输入权重进行压缩,剔除冗余变量,提高模型精度,并采用网格搜索法与分块交叉验证对其超参数寻优;最后,将算法应用于某火电厂脱硫过程排放烟气SO_(2)浓度软测量建模,并与其它先进算法进行性能比较.实验结果表明所提算法能有效剔除冗余变量,降低模型复杂度并提高其预测性能.

基于人工神经网络的自然语言处理技术研究

文章探讨了基于人工神经网络的自然语言处理技术,首先,阐述了人工神经网络的定义、结构、工作原理,以及与深度学习的关系。其次,详细研究了基于人工神经网络的自然语言处理技术,包括神经网络模型、词嵌入技术、循环神经网络、长短期记忆网络、转换器模型与自注意力机制等,并分析了这些技术面临的挑战。最后,通过实验设计与结果分析验证了所提出方法的有效性。文章研究内容对于推动自然语言处理技术的发展和应用具有重要意义。

基于长短期记忆神经网络模型的空气质量预测

随着城市化和工业化的快速发展,空气污染问题日益突出,空气质量预测显得尤为重要。当前一些有代表性的研究对空气质量进行实时监测和预报,例如周广强等采用数值预报的方法对中国东部地区的空气质量进行分析,但其实验结果表明该方法难以预测非常重的污染;SANKAR等使用多元线性回归对空气质量进行预测,但其实验结果表明线性模型预测精度低、效率慢;P REZ等使用统计方法对空气质量进行预测,实验结果证明统计方法的预测精度比较低;WANG等采用改进的BP神经网络建立了空气质量指数的预测模型,其实验验证了BP神经网络收敛速度慢、容易陷入局部最优解的问题;YANG等利用相邻网格的空气质量浓度效应,建立了基于随机森林的PM 2.5浓度预测模型,通过实验过程证明网格划分程序削弱了后续空气质量分析的质量和效率。这些方法都难以从时间角度建模,其中预测精度低是比较重要的问题。因为预测精度低可能会导致空气质量预测结果出现较大的误差。针对空气质量研究中预测精度低的问题,提出了基于长短期记忆单元(long short-term memory,LSTM)的神经网络模型。该模型使用MAPE,RMSE,R,IA和MAE等指标来检测LSTM神经网络与对比模型的预测性能。由于Delhi和Houston是空气污染程度比较严重的城市,所以使用的实验数据集来自Delhi的Punjabi Bagh监测站2014—2016年的空气质量数据和Houston的Harris County监测站2010—2016年的空气质量数据。LSTM神经网络与多元线性回归和回归模型(SVR)的比较结果表明,LSTM神经网络适应多个变量或多输入的时间序列预测问题,LSTM神经网络具有预测精度高、速度快和较强的鲁棒性等优点。

基于LSTM人工神经网络的电力系统负荷预测方法

针对电力市场环境下短期电力系统负荷预测准确性较低的问题,提出了一种基于LSTM人工神经网络的组合预测模型。分析了LSTM神经网络和其变体GRU神经网络在进行负荷预测时学习时序特征的独特优势,并以卷积神经网络作为负荷数据的特征提取层,结合GRU网络构建了组合模型,通过建立残差预测模型对结果进行修正。仿真结果表明,具有记忆功能的神经网络预测效果要优于ANN和SVM模型,且所提出残差预测模型的负荷预测平均相对误差约为1.79%,其准确性高于单一算法的负荷预测模型。

基于双向长短时记忆单元和卷积神经网络的多语种文本分类方法

针对日渐丰富的多语种文本数据,为了实现对同一类别体系下不同语种的文本分类,充分发挥多语种文本信息的价值,提出一种结合双向长短时记忆单元和卷积神经网络的多语种文本分类模型BiLSTM-CNN模型。针对每个语种,利用双向长短时记忆神经网络提取文本特征,并引入卷积神经网络进行特征优化,获得各语种更深层次的文本表示,最后将各语种的文本表示级联输入到softmax函数预测类别。在中英朝科技文献平行数据集上进行了实验验证,结果表明,该方法相比于基准方法分类正确率提高了4%,且对任一语种文本均能正确分类,具有良好的扩展性。

基于迁移学习的长短时记忆神经网络水文模型

针对无/缺水文资料地区水文建模的难题,提出了基于迁移学习的长短时记忆神经网络(LSTM)水文模型。以嘉陵江、乌江和岷江流域为例,基于实测水文气象数据,采用K-最近邻算法与土壤和水评价模型(SWAT)模拟生成气象和径流数据,并构建实测和模拟样本集;然后构建不同的网络迁移微调策略和网络学习情景,分析迁移网络的可能性和性能。结果表明,固定网络的细胞层并微调网络其他层时,迁移学习的效果较好;同流域和跨流域进行网络迁移时,迁移后的网络更稳定且精度更高;跨流域迁移时,源流域和目标流域的相似度越高,迁移网络的难度更小,精度更高。该模型为无/缺水文资料地区构建水文模型提供了新的思路。

基于长短期记忆神经网络的深水钻井工况实时智能判别模型

深水钻井具有高投入、高风险等特点,其工况实时判别是提高钻井时效、减少复杂事故的基础和前提。传统深水钻井作业中,钻井工况主要通过基于编程方式的物理模型与经验模型进行判别,难以保证时效性和正确率。为此,创新性地将机器学习引入深水钻井工况判别全流程,考虑综合录井数据的长时间序列特征,基于长短期记忆神经网络建立了深水钻井工况实时智能判别机器学习模型。通过对29856140行深水综合录井数据预处理,选取钻头深度、井深、大钩高度、钻压、悬重、扭矩、转速、立管压力,共计8个综合录井参数作为输入特征,建立了20隐藏层×70节点的长短期记忆神经网络模型,实现了旋转钻进、滑动钻进、接单根、静止、循环、向下洗井、划眼、向上洗井、倒划眼、起钻、下钻及“其他”,共计12种常见深水钻井工况的实时智能判别,测试集上正确率高达94.09%,满足深水现场作业需求。该模型可实时智能地判别钻井工况,充分验证了长短期记忆神经网络用于钻井工况实时智能判别的可行性与时效性,为钻井时效分析和复杂事故预警提供了机器学习模型基础,并将进一步拓展机器学习在石油工程领域的应用范围。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.

长短期记忆神经网络(LSTM)模型在低能见度预报中的应用

利用浙江省义乌市2015—2019年逐小时气象观测数据(相对湿度、风速、地气温差、能见度)和空气质量指数(Air Quality Index,AQI)数据,分析了义乌地区低能见度天气(观测能见度<10 km)的分布特征和气象要素条件。利用长短期记忆神经网络(Long Short Term Memory Neural Network,LSTM)模型对逐小时能见度进行模拟,分别对比了观测能见度作为输入变量与否的模拟效果;根据义乌地区低能见度天气条件的特征,将模拟时段分为三个时期(11月至翌年2月,3—6月,7—10月),对比了分时期模拟的效果;以及评估了模型的预报步长。结果表明:高湿、高污染、气温高于地温和低风速是义乌地区低能见度天气的主要特征。LSTM模型对单站能见度有较好的模拟效果,当输入参数中加入历史观测能见度时,能大幅提高模拟准确度,日均能见度模拟结果均方根误差RMSE=0.63 km,平均绝对误差MAE=0.51 km,拟合优度R^(2)=0.99;分时期进行模拟能得到更精准的模拟结果。本研究中选用的输入要素在冬季(11月至翌年2月)模拟效果最好,RMSE=2.35 km,MAE=1.46 km,低能见度均方根误差RMSE_10 km=1.81 km,低能见度平均绝对误差MAE_10 km=1.13 km,R^(2)=0.83;3—6月的模拟中,输入变量中不加AQI模拟效果更好,这意味着3—6月义乌地区的低能见度天气以雾天气为主导,加入过多变量并不一定能提高模型准确度;随着预报步长增大,模型预报效果变差,预测步长等于3 h,R^(2)=0.71,预测结果已不具备实际应用意义。

基于非稳态调和分析和长短时记忆神经网络的河口潮位短期预报混合模型

河口潮汐过程受上游径流、外海潮波等因素影响,动力机制复杂,潮位预报难度大。本文提出了一种基于非稳态调和分析(NS.TIDE)和长短时记忆(LSTM)神经网络的混合模型,对河口潮位进行12-48 h短期预报。该模型首先对河口实测潮汐数据进行非稳态调和分析,通过与实测资料对比得到分析误差的时序序列,并以此作为LSTM神经网络的输入数据,通过网络学习并预测未来12~48 h潮位预报误差,据此对NS_TIDE的预测结果进行实时校正。利用该模型对2020年长江口潮位过程进行了预报检验,结果表明混合模型12 h、24 h、36 h和48 h短期水位预报的均方根误差(RMSE)相比NS_TIDE模型至多分别降低了0.16 m、0.15 m、0.14 m和0.12 m;针对2020年南京站最高水位预测,NS.TIDE模型预报误差为0.64 m,而混合模型预报误差仅为0.10 m。

基于神经网络模型的锅炉主蒸汽温度预测控制

为解决传统控制方法在火力发电机组蒸汽温度控制过程中存在的强非线性、大迟延的难题,提出了一种基于长短期记忆(LSTM)神经网络在线估计和粒子群(PSO)滚动优化的预测控制算法。该方法将常规串级控制系统的主回路控制器用预测控制器替代,采用LSTM神经网络建立主蒸汽温度控制系统的过程模型,通过多步预测实现了对复杂非线性系统模型的精确预测。利用PSO算法在线求解主蒸汽温度控制系统的最优预测控制律,避免了传统递推方法无法直接求解非线性优化问题。仿真结果表明:与传统主蒸汽温度串级控制策略相比,该控制算法明显改善了控制系统的快速性,抗扰能力较强,对主蒸汽温度这类具有非线性及模型不精确的被控对象有一定的参考价值。

基于长短期记忆神经网络的罗非鱼生长预测模型

【目的】通过测定吉富罗非鱼生长指标,建立其生长的长短期记忆神经网络(Long Short-term Memory neural network model,LSTM)模型,分析模型的拟合度和准确度,为罗非鱼的育种和养殖提供参考。【方法】以罗非鱼生长阶段的生长时间、投喂量及水槽编号3个指标数据作为输入量,通过Dropout和one-hot的方法建立LSTM模型。【结果】模型在训练开始后迅速下降,100次迭代左右,误差下降速度开始逐步减缓,在1000次迭代后,误差开始收敛,数值趋于稳定,稳定值误差在0.0036左右。训练完成的模型对测试集的预测结果相对误差随真实值变大而逐渐变小,真实值较大且稳定时,相对误差较小,整体拟合程度较好。【建议】生长预测模型满足基本生产需求的同时,需增加样本数据的记录采集,建立生长数据库;结合信息平台等技术获取多影响影子数据,增加输入变量,使模型更加完善合理;选择合适的模型,结合预测数据与生产,合理规划上市时间及安排投饲方案等,使养殖利益最大化。

基于1D-CNN-LSTM混合神经网络模型的双桥并联励磁功率单元故障诊断

针对双桥并联励磁功率单元的晶闸管开路故障,提出一种基于一维卷积神经网络(1D-convolutional neural networks,1D-CNN)和长短期记忆网络(long short-term memory,LSTM)混合模型的故障诊断方法。将1号整流桥共阴极侧、共阳极侧电流和AB相线电压构造时序特征向量作为输入,利用1D-CNN提取并重构样本空间特征;考虑到输入量本身是时间序列数据,采用LSTM网络进一步提取特征。根据特征向量与故障类别对应关系实现故障诊断。仿真结果表明,该模型能够有效地实现双桥并联励磁功率单元故障诊断,具有良好的抗噪能力。

基于AE-LSTM混合神经网络模型的NO_(x)排放预测

通过建立有效的NO_(x)浓度预测模型,可降低垃圾焚烧厂产生的NO_(x)排放. NO_(x)浓度受多个过程变量的影响,针对变量的时序特征和空间特征,提出了一种基于自动编码器(AE)和长短期记忆(LSTM)神经网络的NO_(x)浓度预测方法.自动编码器用于提取原始数据的深层次多维信息特征,并将其转换为低维数据特征.这样可以保留原始数据的大量信息,同时降低网络预测的复杂性.长短期记忆神经网络则用于建立NO_(x)浓度预测模型,该模型可以自动识别数据中的时序特征和空间特征,并用于训练和优化LSTM网络参数.该研究以重庆市某垃圾焚烧厂某锅炉的燃烧数据作为研究对象,并使用数据挖掘技术对原数据进行处理.接着,使用自动编码器(AE)提取数据的深层次多维信息特征,并将其输入到LSTM网络中进行建模.通过标准化工况数据进行训练和优化LSTM网络参数,最终建立了改进的AE-LSTM的NO_(x)浓度预测模型.实验结果表明,该改进模型相较于LSTM模型,预测准确率提高了5.4%且均方根误差降低了0.128,证明了该研究所采用的方法具有很好的应用价值,可以有效降低垃圾焚烧厂产生的NO_(x)排放.

基于长短期记忆神经网络的吸收塔pH值预测模型

火电厂石灰石-石膏湿法脱硫系统中,吸收塔循环浆液的pH值是影响脱硫系统性能的重要参数。因此建立有效的吸收塔pH值预测模型是提高脱硫效率的基础。针对吸收塔系统具有变量多、数据量庞大和变量相关性强的特点,首先对电厂厂级信息监测系统(SIS)数据库数据进行特征提取,进行皮尔逊系数相关性分析;然后将提取的特征作为长短期记忆(LSTM)神经网络的输入,得到脱硫吸收塔pH值预测模型。将该模型应用于某超临界330 MW机组燃煤电厂脱硫系统进行吸收塔pH值预测。结果表明提出的LSTM神经网络模型预测均方根误差(RMSE)为0.004,平均绝对误差(MAE)为0.003;测试显示LSTM神经网络模型数据跟踪效果预测结果波动较小,误差较低且模型稳定性较高。