基于长短时记忆神经网络的Multi-GNSS卫星钟差建模预报

针对卫星钟差预报中二次多项式模型存在易受噪声干扰、预报精度不高的问题,构建一种基于长短时记忆神经网络的multi-GNSS卫星钟差预报模型,并分析不同卫星系统、不同钟类型基于不同建模方案的模型精度。为验证该模型的有效性和可行性,利用LSTM模型、QP模型、QP-LSTM模型分别基于12 h和24 h钟差序列进行建模,预报1 h、3 h、6 h、12 h钟差。结果表明,LSTM模型建模24 h、预报1 h精度最高。multi-GNSS卫星钟差LSTM预报模型中Galileo系统精度最高,其次为BDS-2系统和GPS系统,GLONASS系统精度最低,精度分别为0.018 ns、0.069 ns、0.133 ns、0.242 ns。不同原子钟预报精度不同,氢原子钟预报精度优于铷原子钟、铯原子钟。LSTM神经网络模型预报精度相较于QP-LSTM模型提升27%,相较于QP模型提升36%。

模型误差影响下基于CNN+BiLSTM神经网络的非圆信号目标直接跟踪算法

针对运动观测阵列状态误差与接收频率抖动同时影响下的非圆信号无源跟踪问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)+双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiL⁃STM)的直接跟踪算法.该算法首先利用多运动观测阵列信号各频带间的相关性与辐射源信号的非圆特性,建立模型误差影响下的扩展多站观测矢量;接着利用多个观测时隙内扩展多站观测矢量的信号子空间构造空时特征输入序列;然后设计基于CNN与BiLSTM混合神经网络的直接跟踪模型,通过训练实现对非圆目标的轨迹矢量直接估计.本文算法是从原始数据信号子空间中估计轨迹矢量的直接跟踪模式,相比传统“观测参数估计+滤波轨迹跟踪”的两步估计模式,具有更高的估计精度.由于本文算法在神经网络训练过程中学习到模型误差的信息,因此能够实现对多种误差的校正.仿真结果表明,本文算法较传统两步跟踪算法与现有直接跟踪算法均具有更高的轨迹估计精度,能够明显提升模型误差影响下多站协同跟踪的鲁棒性.

基于非负绞杀与长短期记忆神经网络的动态软测量算法

现代工业过程建模中,生产过程的多变量、非线性及动态性会导致模型复杂度增高且建模精度降低.针对这一问题,将非负绞杀算法(NNG)嵌入长短期记忆(LSTM)神经网络,提出一种基于LSTM神经网络及其输入变量选择的动态软测量算法.首先,通过参数优化生成训练好的LSTM神经网络,利用其出色的历史信息记忆能力处理工业过程中的动态、时滞等问题;其次,采用NNG算法对LSTM网络输入权重进行压缩,剔除冗余变量,提高模型精度,并采用网格搜索法与分块交叉验证对其超参数寻优;最后,将算法应用于某火电厂脱硫过程排放烟气SO_(2)浓度软测量建模,并与其它先进算法进行性能比较.实验结果表明所提算法能有效剔除冗余变量,降低模型复杂度并提高其预测性能.

基于迁移学习的长短时记忆神经网络水文模型

针对无/缺水文资料地区水文建模的难题,提出了基于迁移学习的长短时记忆神经网络(LSTM)水文模型。以嘉陵江、乌江和岷江流域为例,基于实测水文气象数据,采用K-最近邻算法与土壤和水评价模型(SWAT)模拟生成气象和径流数据,并构建实测和模拟样本集;然后构建不同的网络迁移微调策略和网络学习情景,分析迁移网络的可能性和性能。结果表明,固定网络的细胞层并微调网络其他层时,迁移学习的效果较好;同流域和跨流域进行网络迁移时,迁移后的网络更稳定且精度更高;跨流域迁移时,源流域和目标流域的相似度越高,迁移网络的难度更小,精度更高。该模型为无/缺水文资料地区构建水文模型提供了新的思路。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.

基于非稳态调和分析和长短时记忆神经网络的河口潮位短期预报混合模型

河口潮汐过程受上游径流、外海潮波等因素影响,动力机制复杂,潮位预报难度大。本文提出了一种基于非稳态调和分析(NS.TIDE)和长短时记忆(LSTM)神经网络的混合模型,对河口潮位进行12-48 h短期预报。该模型首先对河口实测潮汐数据进行非稳态调和分析,通过与实测资料对比得到分析误差的时序序列,并以此作为LSTM神经网络的输入数据,通过网络学习并预测未来12~48 h潮位预报误差,据此对NS_TIDE的预测结果进行实时校正。利用该模型对2020年长江口潮位过程进行了预报检验,结果表明混合模型12 h、24 h、36 h和48 h短期水位预报的均方根误差(RMSE)相比NS_TIDE模型至多分别降低了0.16 m、0.15 m、0.14 m和0.12 m;针对2020年南京站最高水位预测,NS.TIDE模型预报误差为0.64 m,而混合模型预报误差仅为0.10 m。

基于长短时记忆循环神经网络的北京市糖尿病合并呼吸系统疾病患者入院预测研究

目的:比较广义相加模型(GAM)和长短时记忆循环神经网络(LSTM-RNN)对糖尿病合并呼吸系统疾病患者入院频数的预测效果。方法:收集2014年1月1日至2019年12月31日北京市大气污染物、气象因素和呼吸系统疾病入院数据,基于LSTM-RNN预测糖尿病合并呼吸系统疾病患者入院频数并与GAM对比,模型评价采用五折交叉验证法。结果:与GAM相比,LSTM-RNN具有较低的预测误差[均方根误差(RMSE)分别为21.21±3.30和46.13±7.60,P<0.01;平均绝对误差(MAE)分别为14.64±1.99和36.08±6.20,P<0.01]和较高的拟合优度(R^(2)值分别为0.79±0.06和0.57±0.12,P<0.01)。在性别分层中,预测女性入院频数时,LSTM-RNN三项指标均优于GAM(均P<0.05);预测男性入院频数时,两模型误差评价指标差异无统计学意义(均P>0.05)。在季节分层中,预测温暖季节的入院频数时,LSTM-RNN的RMSE和MAE均低于GAM(均P<0.05),R2值差异无统计学意义(P>0.05);预测寒冷季节入院频数时,两种模型的RMSE、MAE和R2值差异均无统计学意义(均P>0.05)。在功能区分层中,预测首都功能核心区入院频数时,LSTM-RNN的RMSE、MAE和R2值均优于GAM(均P<0.05)。结论:LSTM-RNN预测误差较小,拟合程度优,可作为污染天气提前精准配置医疗资源的预测手段。

面向预测的长短时神经网络记忆增强机制

基于时序数据建模的长短时神经网络(LSTM)可用于预测类问题。现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没。针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力。实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型。预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差(RMSE/MAE)较原模型分别降低了26.98%与35.85%。

基于长短时记忆神经网络的葡萄叶面积指数高光谱反演

针对高光谱数据众多波段间的多重共线性导致的维数灾难问题,为提升葡萄叶面积指数(leaf area index,LAI)的估算精度,提出一种基于敏感波段选择的长短时记忆神经网络(long short term memory,LSTM)估算模型。首先,采用无信息变量消除算法(uninformative variable elimination,UVE)剔除无关信息,以消除光谱波段间的多重共线性,降低光谱维度,提取葡萄LAI敏感波段;其次,采用TensorFlow深度学习框架构建LSTM神经网络模型。应用于陕西泾阳葡萄冠层光谱的LAI估算。结果表明:利用敏感波段构建的LSTM模型各项指标均优于偏最小二乘和支持向量机,其决定系数(R~2)、均方根误差(RMSE)和希尔不等系数(TIC)分别为0.963 5、0.074 5和0.025 4;基于原始光谱的LSTM模型的R~2、RMSE和TIC分别为0.881 0、0.117 0和0.039 8。UVE波段优选能够提升LSTM神经网络模型估算葡萄LAI的精度,对其他作物理化参量反演具有一定的指导意义。

基于神经网络需求预测的供应链管理优化模型

为了实现供应链管理系统利益最大化,提高供应链系统管理水平,以顾客需求驱动为前提,运用卷积神经网络和长短期记忆网络模型预测顾客需求,将供应商的供货量和加工厂的分销量作为决策变量,建立了一个基于报童模型的非线性0-1混合整数规划模型,并提出了一种改进的粒子群算法求解。在数值案例中预测结果的平均绝对百分比误差为1.7634%,并采取多种预测方法验证预测结果的准确性。最后结合实际数值案例验证模型和算法的可行性,结果计算得到各参数下误差不超过0.9%,对实际生活中企业对供应链的管理提供了一项可行方案。

辅助给水系统神经网络模型预测控制方案设计

为优化“华龙一号”核电机组辅助给水系统控制性能,对辅助给水控制方案进行了研究,设计了一种基于长短时记忆(LSTM)网络的辅助给水系统神经网络模型预测控制方案。通过仿真验证平台进行数据采集后,利用LSTM神经网络训练出蒸汽发生器液位预测器,以反应控制过程的动态特性。应用模型预测控制方案,根据蒸汽发生器液位估计值实时优化控制变量。验证结果表明,与手动控制/核电厂自动控制方案相比,模型预测控制方案可实现更快、更准确的设定点跟踪功能,同时需要的控制工作量更少,可达到有效减少对系统部件的磨损、延长系统部件使用寿命的作用。此外,所提方案可被应用于其他需要精确和有效控制的复杂工业过程。

基于神经网络语言模型的时间序列趋势预测方法

对于时序数据的预测,传统方法多数通过分析历史数据预测出后面的一个或者多个具体值,但预测的具体数值准确率较低。为此,提出一种新的时间序列短期趋势预测方法。通过对时序数据进行离散化,用字符表示各个时间段数据的范围,并利用神经网络语言模型预测得到下一个字符,即下一段数据的范围。实验结果表明,与支持向量机、循环神经网络、随机森林等算法相比,在预测结果分为5个区间的情况下,该算法平均预测准确率为 56.7 %,具有较高的可行性,且由于字符表示带有语义信息,所得预测结果可以反映数据趋势以及趋势变化程度。

基于迁移学习和Bi-LSTM神经网络的桥梁温度-应变映射建模方法

为快速构建并准确预测温度作用引起的斜拉桥主梁应变用于结构状态评估,基于某大跨度斜拉桥主梁超过1年的温度和应变监测数据,提出了一种基于迁移学习和双向长短时记忆(bi-directional long short-term memory,Bi-LSTM)神经网络的斜拉桥温度-应变映射模型建立方法。首先,利用解析模态分解(analytical mode decomposition,AMD)去噪应变数据,得到仅由温度引起的应变响应;其次,选择温度和某一测点应变数据构成数据集,采用Bi-LSTM神经网络训练该数据集,并通过网络结构和超参数优化建立温度-应变Bi-LSTM基准模型;最后,利用迁移学习方法,将已训练好的基准模型中部分参数迁移到其他温度-应变数据集,建立相应的温度-应变映射被迁移模型,并与未采用迁移学习的神经网络训练方法进行对比。研究结果表明,相比直接建立的温度-应变Bi-LSTM神经网络映射模型,采用迁移学习方法建立的被迁移模型,其拟合精度均高于所用的基准模型,且训练时间短,预测误差小。

基于LSTM深度神经网络的MEMS-IMU误差模型及标定方法

针对微惯性传感器受热、力学等环境的影响显著,传统的多项式误差模型补偿效果不理想的问题,建立一种基于长短时记忆(LSTM)深度神经网络的MEMS-IMU误差模型。模型输入信息为MEMS-IMU输出的角速度、加速度、温度,输出为角速度误差、加速度误差。同时,设计了基于长短时记忆神经网络的MEMS-IMU误差模型标定流程,构建了MEMS-IMU热、线运动、角运动等多维误差因素的综合激励训练集,对长短时记忆神经网络模型进行训练。对训练得到的模型进行验证,结果表明,相对于传统方法,采用所提出的模型对加速度和角速度进行误差补偿后残差均值减小约70%,均方差分别减小39%和64%,补偿效果更好。

基于多变量神经网络模型的菜品销量预测

随着互联网技术的发展,人们进入了数字化和智能化的“互联网共享”时代。餐饮企业越来越重视利用数据指引企业理性发展,而餐饮业菜品库存过多或过少会直接影响企业的成本与净利润,因此能够精准预测菜品销量有利于降低餐饮企业的生产成本和提高净利润。为了减少采购菜品的浪费和保持菜品的新鲜度,提出了多变量神经网络模型,并利用该模型预测陕西省某餐饮企业近两年的销量数据。结果表明,多变量长短时记忆神经网络模型(Multi-variable Long Short-Term Memory,Multi-LSTM)的预测精度明显优于季节性差分自回归滑动平均模型(Seasonal Autoregressive Integrated Moving Average,SARIMA)和时间序列与神经网络组合模型,且略优于单变量长短时记忆神经网络模型(Single-variable Long Short-Term Memory,Single-LSTM)。

改进时间卷积网络和长短时记忆网络的泸水河流域月径流量预测模型

为提升水文模型预测精度和计算效率,解决传统方法难以浓缩多源水文特征,以及长时间跨度下数据量纲、值域不同造成的特征冗杂问题,提出基于改进时间卷积网络(TCN)和长短时记忆网络(LSTM)的月径流量预测模型。通过构造多卷积核并行网,以提取多源时序特征,并保持原因果卷积特性。引入扩张卷积抽取高阶水文特征,提升长时间跨度记忆单元处理效率。利用残差链接方式跨层传输底层完整特征,丰富特征结果,同时优化整体网络学习过程,并以泸水河流域为例进行验证。实验结果表明,该模型在计算效率、精度、网络结构上均优于其他对比模型,从而验证了其在该流域水文预测的有效性。

结合全局向量特征的神经网络依存句法分析模型

利用时序型长短时记忆(LSTM,long short term memory)网络和分片池化的卷积神经网络(CNN,convolutional neural network),分别提取词向量特征和全局向量特征,将2类特征结合输入前馈网络中进行训练;模型训练中,采用基于概率的训练方法。与改进前的模型相比,该模型能够更多地关注句子的全局特征;相较于最大化间隔训练算法,所提训练方法更充分地利用所有可能的依存句法树进行参数更新。为了验证该模型的性能,在宾州中文树库(CTB5,Chinese Penn Treebank 5)上进行实验,结果表明,与已有的仅使用LSTM或CNN的句法分析模型相比,该模型在保证一定效率的同时,能够有效提升依存分析准确率。

基于Statistical Process Control风险等级判定及神经网络模型构建珠海市传染病指数

目的建立珠海市传染病指数预报模型,为传染病风险预测预报提供思路。方法利用统计过程控制(SPC)的控制下限、中线和控制上限划分全市2014—2017年以周次为时间计量单位的流感样病例比例、手足口病及其他感染性腹泻发病率的风险等级(布雷图指数采用5、10、20判定)。运用长短时记忆神经网络模型(LSTM)和自回归移动平均模型(ARIMA)对2018年15~19周数据进行预测。计算传染病指数并将预测值与实际值对比进而评估预测一致性。结果珠海市手足口病发病率LSTM模型中,测试集MSE为9.0441,RMSE为3.0073,训练集MSE为1.1812,RMSE为1.0868。其余模型在训练集和测试集均表现良好,没有出现过拟合现象。风险指数等级预测与实际值对比,预测一致率为96.0%。结论利用SPC划分风险等级,运用LSTM等构建传染病指数预测模型可行。

基于神经网络算法的驾驶员制动需求预测研究

由于线控制动系统在结构上的解耦关系,驾驶员的制动需求识别成为线控制动系统研究中的焦点。本文建立了一种基于动态时间规整DTW (Dynamic Time Warping)算法和长短时记忆模型LSTM (Long-Short-Term Memory)融合的驾驶员制动需求识别模型。该模型主要包括数据收集、数据处理、分类匹配、需求预测四个模块。在搭建的线控底盘实验台上进行了实验,采集了大量的驾驶员制动数据,数据经过处理后首先利用动态时间规整算法进行驾驶员制动习惯分类匹配,然后将分类后的数据分别用长短时记忆模型进行训练,在完成训练后对模型性能进行了测试。同时我们还将本文所建立的模型与其它方法进行了对比实验,结果表明,本文所提出的模型能够准确地对不同驾驶习惯的驾驶员实现高准确度的制动需求预测。

基于改进时空残差卷积神经网络的城市路网短时交通流预测

城市路网交通流预测受到历史交通流和相邻路口交通流的影响,具有复杂的时空关联性。针对传统时空残差模型缺乏对交通流数据进行相关性分析、捕获微小变化而容易忽略长期时间特征等问题,提出一种基于改进时空残差卷积神经网络(CNN)的城市路网短时交通流预测模型。该模型将原始交通流数据转化成交通栅格数据,利用皮尔逊相关系数(PCC)对交通栅格数据进行相关性分析,确定相关性高的周期序列和邻近序列;同时,建立周期序列模型和邻近序列模型,并引入长短时记忆(LSTM)网络作为混合模型提取时间特征以及捕获两种序列的长期时间特征。利用成都市出租车数据集对模型进行验证,结果表明该模型预测结果优于LSTM、CNN和传统残差模型等基准模型,以均方根误差(RMSE)为评价指标时,所提模型将测试集中交通路网的平均预测精度分别提高了25.6%、13.3%和3.2%。