融合Mar-GLSTM的流程生产工艺质量预测算法

针对流程生产连续性强、时序耦合复杂等特点,传统神经网络不具备长期记忆能力,且在深层次网络训练时易出现训练参数灾难、梯度爆炸等问题,提出基于马尔可夫优化的融合门控循环单元(GRU)与长短期记忆网络(LSTM)的组合预测模型(Mar-G LSTM)。首先在循环神经网络结构中融入门控机制构建深度LSTM神经网络模型,对流程生产时序数据信息进行选择性记忆,学习时序数据序列的信息依赖,进而解决训练过程中的梯度爆炸问题;同时结合马尔可夫链对GRU-LSTM模型的预测结果进行修正优化,在降低模型的复杂度的情况下进一步提高了模型的预测精度。最后,结合某流程生产线的工艺数据进行分析验证,结果表明,Mar-G LSTM算法在预测精度上较随机森林模型、门控循环单元神经网络模型(GRU)、长短期记忆神经网络模型(LSTM)和卷积神经网络与门控循环单元网络组合模型(CNN-GRU)分别提高了37.42%、21.32%、17.91%和12.56%,所提Mar-G LSTM算法可实现流程生产质量的准确预测,为降低工艺参数调控任务的完成时间提供了思路和实现途径。

基于CEEMD-SE的CNN&LSTM-GRU短期风电功率预测

为进一步提升短期风电功率的预测精度,提出了一种基于互补集合经验模态分解-样本熵(complementary ensemble empirical mode decomposition-sample entropy,CEEMD-SE)的卷积神经网络(convolutional neural network,CNN)和长短期记忆-门控循环单元(longshorttermmemory-gatedrecurrentunit,LSTM-GRU)的短期风电功率预测模型。首先,利用互补集合经验模态分解将原始风电功率序列分解为若干本征模态函数(intrinsic mode function,IMF)分量和一个残差(residual,RES)分量,利用样本熵算法将相近的分量进行重构;其次,搭建卷积神经网络和长短期记忆网络的并行网络结构,提取数据的局部特征和时序特征,并将特征融合后输入门控循环单元网络中进行学习预测;最后,通过算例进行验证,结果表明采用该模型后预测精度得到了有效提升,其均方根误差降低了15.06%、平均绝对误差降低了15.22%、决定系数提高了1.91%。

GPU异构计算环境中长短时记忆网络模型的应用及优化

随着深度学习的广泛应用及算力资源的异构化,在GPU异构计算环境下的深度学习加速成为又一研究热点。文章探讨了在GPU异构计算环境中如何应用长短时记忆网络模型,并通过优化策略提高其性能。首先,介绍了长短时记忆网络模型的基本结构(包括门控循环单元、丢弃法、Adam与双向长短时记忆网络等);其次,提出了在GPU上执行的一系列优化方法,如CuDNN库的应用及并行计算的设计等。最终,通过实验分析了以上优化方法在训练时间、验证集性能、测试集性能、超参数和硬件资源使用等方面的差异。

面向文本识别的CRNN模型的改进

复杂场景下文本识别因阴影、残缺、模糊、虚化等因素会出现识别精度下降问题。鉴于此,提出一种基于特征融合与双向简化门结构的CRNN模型。首先引入特征融合机制改进卷积神经网络(CNN)模型,利用特征金字塔结构,多加一条自底向上的路径,将低层特征与高层特征融合在一起,以保留更多低层细节特征,提高场景文本识别精度;其次通过合并遗忘门与输入门,得到结构更简单、计算量和参数量更少的简化门结构替换长短期记忆(LSTM)网络改进循环神经网络(RNN)模型部分;最后设计消融实验验证改进后模型的有效性。三个数据集的测试结果表明:在ResNet50做主干网络时,与原始模型相比,改进后模型准确率提升了1.5%以上;在MobileNetV3做主干网络时,准确率提升了1.4%以上。

面向语法加权图文本的方面情感三元组抽取

方面情感三元组抽取包括方面抽取、意见抽取和方面情感分类3项任务,以管道方式解决该任务的研究方法无法利用元素之间的交互信息,同时也会造成错误传播和冗余训练。基于此,提出一种基于门控注意力和加权图文本的方面情感三元组抽取方法。采用双向长短时记忆网络学习句子的序列特征表示;利用门控注意力单元学习单词之间的线性联系;利用语法距离加权图卷积网络增强三元组元素之间的交互;利用网格标记推理策略预测三元组。在4个公开数据集上进行实验,结果表明:所提方法可以有效增强三元组元素之间的交互,提高三元组抽取的准确率;同时,所提方法的F1值分别为57.94%、70.54%、61.95%和67.66%,与基准模型相比均有所提高。

基于Bo-BiLSTM网络的IGBT老化失效预测方法

针对绝缘栅双极型晶体管(IGBT)受热应力冲击后对其进行老化失效预测精度不高的情况,提出一种基于贝叶斯优化(Bo)-双向长短期记忆(BiLSTM)网络的IGBT老化失效预测方法。首先分析IGBT模块老化失效原理,然后基于NASA老化实验数据集建立失效特征数据库,最后利用Matlab软件构造Bo-BiLSTM网络预测失效特征参数数据。选取常用回归预测性能评估指标将长短期记忆(LSTM)网络模型、BiLSTM网络模型与Bo-BiLSTM网络模型的预测结果进行对比分析。结果表明,Bo-BiLSTM网络的模型拟合精度更高,基于Bo-BiLSTM网络的IGBT老化失效预测方法具有较好的预测效果,能够应用于IGBT的失效预测。

基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

长时记忆影响工作记忆的门控机制

长时记忆和工作记忆都是人类信息存储的重要方式,且已有证据表明长时记忆会对工作记忆产生影响。但长时记忆具体影响工作记忆的作用机制,有不同的观点。本文主要从门控机制的角度阐述长时记忆对工作记忆的影响。首先回顾了近期长时记忆影响工作记忆的门控机制范式和结果,包括回忆报告范式、Hebb范式和Reference-back范式。已有证据表明“注意闸门”控制着长时记忆流向工作记忆的信息,当闸门处于打开状态时,工作记忆得以更新,当闸门处于关闭状态时,工作记忆信息得以维持并屏蔽干扰信息。其次,分别从项目表征和联结表征的角度阐述了长时记忆对工作记忆产生的影响及其门控作用的认知机制。最后小结并展望了未来研究方向。

基于LSTM网络的IGBT寿命预测方法研究

针对IGBT工作时承受热应力与电应力循环冲击导致疲劳失效的问题,提出一种基于长短期记忆(LSTM)网络的寿命预测方法。利用NASA预测中心提供的加速老化数据集,分析并选取集电极-发射极的瞬态尖峰电压作为失效特征参数,通过Matlab构建LSTM网络,采用Adam优化算法来训练网络,实现对失效特征参数数据的预测,并选取三项性能评估指标与ARIMA模型及ELMAN神经网络模型的预测进行对比分析。结果显示,LSTM网络模型预测的均方根误差为0.0476,平均绝对误差为0.0322,平均绝对百分误差为0.4917%,LSTM网络模型的预测精度更高,能够更好地实现IGBT的寿命预测,也对其他电力电子器件的寿命预测有一定的参考价值。

针对光伏发电功率预测的LSTformer模型

为了提高光伏发电功率预测精度,提出了一种基于长短期时序数据融合的Transformer生成式预测模型:LSTformer,能准确有效地预测光伏发电功率。LSTformer创新性地提出了时序分析模块(time series analysis,TSA)、时序特征融合模块(time series feature fusion,TSFF)和多周期嵌入模块(cycleEmbed),利用数据融合解决难以提取多时间尺度时序特征问题。设计时间卷积前馈(time convolution feedforward,TCNforward)单元,在编解码的过程中进一步提取时序特征。利用某光伏电站实际历史发电数据,通过实验验证LSTformer模型在光伏发电功率预测领域得到最低的均方误差(mean squared error,MSE)、平均绝对误差(mean absolute error,MAE),并通过消融实验验证了各模块的有效性。

基于深度学习的基坑开挖引起地表位移时序预测

为更精准预测基坑工程中数据的时间特性,结合卷积神经网络CNN模型与两种单一时间序列神经网络模型长短期记忆网络LSTM模型、门控循环单元GRU模型,建立混合时间序列神经网络CNN-LSTM模型、CNN-GRU模型。基于杭州某邻近既有车站基坑开挖工程,采用滚动预测方法建立基坑开挖引起邻近地铁车站地表沉降数据集。通过平均绝对误差MAE、平均相对误差MAPE和均方根误差RMSE3种评价指标对预测结果进行评价。结果表明:CNN-GRU模型预测效果最优,CNN-LSTM模型次之,其次是GRU模型,最后是LSTM模型。CNN-LSTM混合网络模型相较于LSTM模型对3种评价指标分别降低了24.4%,53.8%,4.1%,CNN-GRU混合网络模型相较于GRU模型分别降低了13.9%,49.1%,1%。

基于循环神经网络模型的创伤重症患者临床结局的动态预测

目的 探讨基于循环神经网络(RNN)算法构建的动态预测模型用于创伤重症患者临床结局动态预测的价值,并研究动态策略和实时预测模型可行的搭建方案及路径。方法 本研究数据来源于美国重症监护医学信息数据库(MIMIC)-Ⅳ2.0。以创伤重症患者院内结局为预测目标,使用长短时记忆(LSTM)和门控循环单元(GRU)2种RNN算法分别在4、6和8 h时间窗下训练动态预测模型。使用灵敏度、特异度、F1值和AUC值对模型性能进行评价,并分析不同RNN算法和时间窗对模型性能的影响。在8 h时间窗下分别训练隐马尔科夫模型(HMM)、随机森林(RF)模型和logistic模型作为对照,横向比较2种RNN算法模型与对照模型的性能指标,并分析各模型的时间趋势变化。结果 在不同时间窗时,RNN动态模型在灵敏度、特异度、F1值和AUC值等4个性能指标上差异均有统计学意义(均P<0.001),在8 h时间窗时模型的各性能指标均高于6 h和4 h时;不同RNN算法(LSTM和GRU)间仅特异度差异有统计学意义(P=0.036)。横向比较结果显示,2种RNN算法模型和其他模型间各性能指标差异均有统计学意义(均P<0.001),2种RNN算法模型各指标均高于HMM、RF和logistic模型;各算法模型灵敏度、特异度和F1值的ICC均小于0.400(95% CI未包含0),而AUC值的ICC在统计学上证据不足(95% CI包含0)。结论 基于RNN算法的动态模型对创伤重症患者临床结局的预测效果较其他常见模型具有一定优势,且时间窗对模型性能可能存在影响。

引江补汉工程控制枢纽品字型双层闸门水力控制技术

石花控制闸是引江补汉工程的控制枢纽,采用品字型双层闸门布置解决了引江补汉工程高水头、超长有压输水水力控制关键技术难题。为了探究石花控制闸品字型双层闸门水力控制技术,采用数值计算和水工模型试验的方法开展研究:①采用一维、三维耦合数学模型计算控制闸启闭引起的系统水力过渡过程,为工程设计提供边界条件;②采用物理模型试验分析控制闸体型的合理性。结果表明:系统沿线最大、最小压力均满足相关规程要求;控制闸内水流流态、压力分布等指标正常,控制闸体型合理。石花控制闸总体设计方案合理,布置方式和研究方法可为其他类似工程提供参考。

基于RF的并行CNN-TGLSTM热负荷预测模型

精准的热负荷预测不仅可以提高用户舒适度,还可以有效降低能源消耗。为了提升热负荷预测的准确性,本研究提出了一种基于随机森林的并行CNN和TGLSTM的短期热负荷预测模型。首先,采用随机森林算法对特征进行筛选;其次,利用并行网络CNN和改进的LSTM分别提取时空特征;最后,将提取的特征与多头注意力机制动态结合。实验结果表明,并行CNN-TGLSTM-MA相较于传统的串行CNN-TGLSTM模型,在MAE和MSE方面分别降低了16.9%、26.8%,同时提升了3.5%的R2值,证明了所提出的并行CNN-TGLSTM-MA模型在短期热负荷预测方面的有效性和优越性,为热力系统供热负荷的精准调控提供了参考。

基于翻转网络的低相关性序列数据预测研究

在某些实际应用中,通常不存在与被预测时间变量具有高相关性的其他维度变量,或者这些维度变量难以采集。而具有较低相关性的时间序列数据普遍存在,其对于数据预测具有更重要的意义。提出一种基于注意力翻转网络的低相关性多维时间序列数据预测模型。针对低相关性时序数据具有相关性随时间而变化的特点,引入批处理滑动窗口以摆脱时间变化带来的干扰,更好地捕获维度相关性。针对传统门控循环单元(GRU)网络大量丢弃低相关性样本的问题,建立翻转GRU网络对低相关性多维数据进行初次过滤,控制多维数据在网络中的传递数量,避免维度变量因相关性较低而被丢弃,提升相关性较低的多维数据在模型中的存活时间。同时,利用基于维度的注意力机制自适应调整不同维度序列在相关性提取过程中的重要性。建立平方长短期记忆(LSTM)网络对分配权重后的数据进行拟合,更细致地确定相关性对被预测参数的影响。实验结果表明,该模型的决定系数可达0.95,预测性能优于GRU、LSTM等传统神经网络模型。

融合汉字输入法的BERT与BLCG的长文本分类研究

现有的中文长文本分类模型中,没有考虑汉字读音、笔画等特征信息,因此不能充分表示中文语义;同时,长文本中常常包含大量与目标主题无关的信息,甚至部分文本与其他主题相关,导致模型误判。为此,提出了一种融合汉字输入法的BERT(BERT fused Chinese input methods,CIMBERT)、带有门控机制的长短期记忆卷积网络(BiLSTM fused CNN with gating mechanism,BLCG)相结合的文本分类方法。该方法使用BERT模型进行文本的向量表示,在BERT模型的输入向量中,采用了拼音和五笔两种常用的汉字输入法,增强了汉字的语义信息。建立了BLCG模型进行文本特征提取,该模型使用双向长短期记忆网络(BiLSTM)进行全局特征提取、卷积神经网络(CNN)进行局部特征提取,并通过门控机制(gating mechanism)动态融合全局特征和局部特征,解决了部分文本与目标主题无关导致模型误判的问题。在THUCNews数据集与Sogou语料库上对该方法进行了验证,其准确率为97.63%、95.43%,F1-score为97.68%、95.49%,优于其他文本分类模型。

基于改进SMOTE算法和深度学习集成框架的信用卡欺诈检测

当前机器学习(ML)算法已经被广泛用于信用卡欺诈检测。然而持卡人线上购物的动态性,以及正常和欺诈交易数据严重不平衡问题,影响了分类器的检测精度。为此,提出了基于深度学习集成框架的信用卡欺诈检测方法。首先,通过改进的合成少数类过采样(SMOTE)算法,解决信用卡数据集中欺诈交易和正常交易数量严重不平衡问题。其次,构建堆栈式深度学习集成框架,使用双向长短时记忆网络(Bi-LSTM)和门控循环单元(GRU)作为基础分类器,并通过多层感知机(MLP)作为元分类器,结合集成学习和深度学习的优点提高信用卡欺诈检测率。在公开数据集上的实验结果表明,所提深度学习集成方法与改进SMOTE算法相结合,分别实现了99.57%和99.82%的灵敏度和特异性结果,优于其他先进的信用卡欺诈检测算法。

Comparative study on the performance of ConvLSTM and ConvGRU in classification problems-taking early warning of short-duration heavy rainfall as an example

卷积长短期记忆单元ConvLSTM和卷积门控循环单元ConvGRU是两种广泛应用的深度学习单元,通过将循环机制与卷积运算相结合,常常用于时空序列的预测.为了明确上述两种模型的收敛速度和分类能力,需要使用相同的模型架构对相同的分类问题进行预测.本研究将北京短时强降水区级预警问题看作深度学习中的二分类问题,使用京津冀雷达网的组合反射率数据和北京区域内的自动气象站降雨数据进行深度学习模型的训练和评估.结果表明,ConvGRU的收敛速度比ConvLSTM快约25%.ConvLSTM和ConvGRU的预警性能随地区,时间,降雨强度的变化趋势相似,但大部分ConvLSTM的得分较高,少数情况下ConvGRU的得分较高.

基于GWO-GRU的光伏发电功率预测

针对长短期记忆网络(LSTM)应用于光伏发电功率预测时存在的耗时长或精准度低的问题,提出基于灰狼算法(GWO)优化门控循环单元(GRU)的光伏发电功率预测模型。通过GWO算法优化GRU模型的超参数,以近似最优参数建立光伏发电功率预测模型。结果表明,长时功率预测时,GWO-GRU模型的均方根误差更低、拟合系数更高、耗时更少,比传统LSTM模型的平均绝对误差降低10.20%;短时功率预测时,GWO-GRU模型在3种典型天气条件下不仅预测的平均误差最低、稳定性最强,而且比GWO-LSTM模型的平均用时节省17.24%。不同时长的功率预测表明,GWO-GRU相对于LSTM光伏功率预测效果更佳。

基于LSTM的海上LNG转驳系统泄漏事故预测方法研究

在海上液化天然气(liquefied natural gas,LNG)转驳系统中,一旦发生泄漏事故,其后果将极其严重,可能引发火灾、爆炸、中毒等危害。液化天然气泄漏事故发生速度迅猛,因此如何快速进行泄漏扩散的预测对于应对突发事件下的人员疏散和设备保护至关重要。本研究构建了一种基于长短期记忆神经网络(long short-term memory,LSTM)的海上液化天然气转驳系统泄漏扩散预测模型,利用流体动力学仿真计算,获取了大量的基础数据集,然后通过训练,能够有效地对气体扩散浓度进行准确预测,所得结果的均方差和平均绝对误差均低于门控循环单元(gated recurrent unit,GRU)神经网络模型和反向传播神经网络模型。