Long Short-Term Memory Recurrent Neural Network-Based Acoustic Model Using Connectionist Temporal Classification on a Large-Scale Training Corpus

A Long Short-Term Memory(LSTM) Recurrent Neural Network(RNN) has driven tremendous improvements on an acoustic model based on Gaussian Mixture Model(GMM). However, these models based on a hybrid method require a forced aligned Hidden Markov Model(HMM) state sequence obtained from the GMM-based acoustic model. Therefore, it requires a long computation time for training both the GMM-based acoustic model and a deep learning-based acoustic model. In order to solve this problem, an acoustic model using CTC algorithm is proposed. CTC algorithm does not require the GMM-based acoustic model because it does not use the forced aligned HMM state sequence. However, previous works on a LSTM RNN-based acoustic model using CTC used a small-scale training corpus. In this paper, the LSTM RNN-based acoustic model using CTC is trained on a large-scale training corpus and its performance is evaluated. The implemented acoustic model has a performance of 6.18% and 15.01% in terms of Word Error Rate(WER) for clean speech and noisy speech, respectively. This is similar to a performance of the acoustic model based on the hybrid method.

Comparative study on the performance of ConvLSTM and ConvGRU in classification problems-taking early warning of short-duration heavy rainfall as an example

卷积长短期记忆单元ConvLSTM和卷积门控循环单元ConvGRU是两种广泛应用的深度学习单元,通过将循环机制与卷积运算相结合,常常用于时空序列的预测.为了明确上述两种模型的收敛速度和分类能力,需要使用相同的模型架构对相同的分类问题进行预测.本研究将北京短时强降水区级预警问题看作深度学习中的二分类问题,使用京津冀雷达网的组合反射率数据和北京区域内的自动气象站降雨数据进行深度学习模型的训练和评估.结果表明,ConvGRU的收敛速度比ConvLSTM快约25%.ConvLSTM和ConvGRU的预警性能随地区,时间,降雨强度的变化趋势相似,但大部分ConvLSTM的得分较高,少数情况下ConvGRU的得分较高.

基于CEEMD-SE的CNN&LSTM-GRU短期风电功率预测

为进一步提升短期风电功率的预测精度,提出了一种基于互补集合经验模态分解-样本熵(complementary ensemble empirical mode decomposition-sample entropy,CEEMD-SE)的卷积神经网络(convolutional neural network,CNN)和长短期记忆-门控循环单元(longshorttermmemory-gatedrecurrentunit,LSTM-GRU)的短期风电功率预测模型。首先,利用互补集合经验模态分解将原始风电功率序列分解为若干本征模态函数(intrinsic mode function,IMF)分量和一个残差(residual,RES)分量,利用样本熵算法将相近的分量进行重构;其次,搭建卷积神经网络和长短期记忆网络的并行网络结构,提取数据的局部特征和时序特征,并将特征融合后输入门控循环单元网络中进行学习预测;最后,通过算例进行验证,结果表明采用该模型后预测精度得到了有效提升,其均方根误差降低了15.06%、平均绝对误差降低了15.22%、决定系数提高了1.91%。

基于CNN-BiGRU-Attention的短期电力负荷预测

针对目前电力负荷数据随机性强,影响因素复杂,传统单一预测模型精度低的问题,结合卷积神经网络(Convolutional neural network,CNN)、双向门控循环单元(Bi-directional gated recurrent unit,BiGRU)以及注意力机制(Attention)在短期电力负荷预测上的不同优点,提出一种基于CNN-BiGRU-Attention的混合预测模型。该方法首先通过CNN对历史负荷和气象数据进行初步特征提取,然后利用BiGRU进一步挖掘特征数据间时序关联,再引入注意力机制,对BiGRU输出状态给与不同权重,强化关键特征,最后完成负荷预测。试验结果表明,该模型的平均绝对百分比误差(Mean absolute percentage error,MAPE)、均方根误差(Root mean square error,RMSE)、判定系数(R-square,R~2)分别为0.167%、0.057%、0.993,三项指标明显优于其他模型,具有更高的预测精度和稳定性,验证了模型在短期负荷预测中的优势。

融合Mar-GLSTM的流程生产工艺质量预测算法

针对流程生产连续性强、时序耦合复杂等特点,传统神经网络不具备长期记忆能力,且在深层次网络训练时易出现训练参数灾难、梯度爆炸等问题,提出基于马尔可夫优化的融合门控循环单元(GRU)与长短期记忆网络(LSTM)的组合预测模型(Mar-G LSTM)。首先在循环神经网络结构中融入门控机制构建深度LSTM神经网络模型,对流程生产时序数据信息进行选择性记忆,学习时序数据序列的信息依赖,进而解决训练过程中的梯度爆炸问题;同时结合马尔可夫链对GRU-LSTM模型的预测结果进行修正优化,在降低模型的复杂度的情况下进一步提高了模型的预测精度。最后,结合某流程生产线的工艺数据进行分析验证,结果表明,Mar-G LSTM算法在预测精度上较随机森林模型、门控循环单元神经网络模型(GRU)、长短期记忆神经网络模型(LSTM)和卷积神经网络与门控循环单元网络组合模型(CNN-GRU)分别提高了37.42%、21.32%、17.91%和12.56%,所提Mar-G LSTM算法可实现流程生产质量的准确预测,为降低工艺参数调控任务的完成时间提供了思路和实现途径。

GPU异构计算环境中长短时记忆网络模型的应用及优化

随着深度学习的广泛应用及算力资源的异构化,在GPU异构计算环境下的深度学习加速成为又一研究热点。文章探讨了在GPU异构计算环境中如何应用长短时记忆网络模型,并通过优化策略提高其性能。首先,介绍了长短时记忆网络模型的基本结构(包括门控循环单元、丢弃法、Adam与双向长短时记忆网络等);其次,提出了在GPU上执行的一系列优化方法,如CuDNN库的应用及并行计算的设计等。最终,通过实验分析了以上优化方法在训练时间、验证集性能、测试集性能、超参数和硬件资源使用等方面的差异。

基于人工神经网络的自然语言处理技术研究

文章探讨了基于人工神经网络的自然语言处理技术,首先,阐述了人工神经网络的定义、结构、工作原理,以及与深度学习的关系。其次,详细研究了基于人工神经网络的自然语言处理技术,包括神经网络模型、词嵌入技术、循环神经网络、长短期记忆网络、转换器模型与自注意力机制等,并分析了这些技术面临的挑战。最后,通过实验设计与结果分析验证了所提出方法的有效性。文章研究内容对于推动自然语言处理技术的发展和应用具有重要意义。

基于GWO-GRU的光伏发电功率预测

针对长短期记忆网络(LSTM)应用于光伏发电功率预测时存在的耗时长或精准度低的问题,提出基于灰狼算法(GWO)优化门控循环单元(GRU)的光伏发电功率预测模型。通过GWO算法优化GRU模型的超参数,以近似最优参数建立光伏发电功率预测模型。结果表明,长时功率预测时,GWO-GRU模型的均方根误差更低、拟合系数更高、耗时更少,比传统LSTM模型的平均绝对误差降低10.20%;短时功率预测时,GWO-GRU模型在3种典型天气条件下不仅预测的平均误差最低、稳定性最强,而且比GWO-LSTM模型的平均用时节省17.24%。不同时长的功率预测表明,GWO-GRU相对于LSTM光伏功率预测效果更佳。

基于改进CEEMDAN的深度学习电煤库存STIFM

准确预测燃煤电厂的电煤库存是优化能源储存、保障电力供应的重要依据。针对实际生活中短期电煤库存呈不平稳性、随机性和局部突变等特点,提出一种基于改进CEEMDAN分解的TCN-BiGRU-Attention组合模型电煤库存短期预测方法,分析电煤库存特征并选取主要影响因素,将影响因素通过词向量的方式构建成新时序序列,利用于完全自适应噪声集合经验模态分解(Complete EEMD with Adaptive Noise, CEEMDAN)分解数据后通过零率(Zero Crossing Rate, ZCR)将分量分类为高、中和低频并叠加求和,通过时序卷积网络(Temporal Convolutional Network, TCN)提取不同频段时序序列的隐藏特征,以特征向量的方式输入双向门控循环神经网络(Bidirectional Gated Recurrent Unite, BiGRU),并结合Attention机制(Attention Mechanism)给予不同权值突出关键特征并产生预测结果,将各频段序列预测结果求和产生最终预测结果。结果表明,上述模型比单一和其它组合模型预测结果更准确。

针对光伏发电功率预测的LSTformer模型

为了提高光伏发电功率预测精度,提出了一种基于长短期时序数据融合的Transformer生成式预测模型:LSTformer,能准确有效地预测光伏发电功率。LSTformer创新性地提出了时序分析模块(time series analysis,TSA)、时序特征融合模块(time series feature fusion,TSFF)和多周期嵌入模块(cycleEmbed),利用数据融合解决难以提取多时间尺度时序特征问题。设计时间卷积前馈(time convolution feedforward,TCNforward)单元,在编解码的过程中进一步提取时序特征。利用某光伏电站实际历史发电数据,通过实验验证LSTformer模型在光伏发电功率预测领域得到最低的均方误差(mean squared error,MSE)、平均绝对误差(mean absolute error,MAE),并通过消融实验验证了各模块的有效性。

基于GRU-BP算法的高精度动态物流称重系统

针对动态物流秤测量精度对载重、采样频率、带速较为敏感的问题,提出了一种高精度动态物流称重系统。首先,采用三因素五水平正交试验法,结合皮尔逊相关性检验原则,使用低通巴特沃斯与卡尔曼滤波器对传感器压力信号进行了滤波降噪处理,并将加速度信号作为模型输入信号,进行了特征补偿;然后,基于深度学习算法,提出了一种改进的门控循环单元模型,在该模型采样区间内将压力与振动改写为时序化信号,并将其共同输入门控循环单元(GRU)模型;最后,对GRU模型进行了改进,对其结构输出了层堆叠误差反向传播神经网络(BP),有效加强了模型的非线性映射能力。研究结果表明:在各类传动速度及测试货物下,该模型的最大测量误差相对于同类型深度学习模型长短期记忆(LSTM)神经网络、循环神经网络(RNN)时序模型及传统数值平均模型的误差,依次降低了16.14%、27.14%、76%,可用于各类称重系统。

基于改进SMOTE算法和深度学习集成框架的信用卡欺诈检测

当前机器学习(ML)算法已经被广泛用于信用卡欺诈检测。然而持卡人线上购物的动态性,以及正常和欺诈交易数据严重不平衡问题,影响了分类器的检测精度。为此,提出了基于深度学习集成框架的信用卡欺诈检测方法。首先,通过改进的合成少数类过采样(SMOTE)算法,解决信用卡数据集中欺诈交易和正常交易数量严重不平衡问题。其次,构建堆栈式深度学习集成框架,使用双向长短时记忆网络(Bi-LSTM)和门控循环单元(GRU)作为基础分类器,并通过多层感知机(MLP)作为元分类器,结合集成学习和深度学习的优点提高信用卡欺诈检测率。在公开数据集上的实验结果表明,所提深度学习集成方法与改进SMOTE算法相结合,分别实现了99.57%和99.82%的灵敏度和特异性结果,优于其他先进的信用卡欺诈检测算法。

基于翻转网络的低相关性序列数据预测研究

在某些实际应用中,通常不存在与被预测时间变量具有高相关性的其他维度变量,或者这些维度变量难以采集。而具有较低相关性的时间序列数据普遍存在,其对于数据预测具有更重要的意义。提出一种基于注意力翻转网络的低相关性多维时间序列数据预测模型。针对低相关性时序数据具有相关性随时间而变化的特点,引入批处理滑动窗口以摆脱时间变化带来的干扰,更好地捕获维度相关性。针对传统门控循环单元(GRU)网络大量丢弃低相关性样本的问题,建立翻转GRU网络对低相关性多维数据进行初次过滤,控制多维数据在网络中的传递数量,避免维度变量因相关性较低而被丢弃,提升相关性较低的多维数据在模型中的存活时间。同时,利用基于维度的注意力机制自适应调整不同维度序列在相关性提取过程中的重要性。建立平方长短期记忆(LSTM)网络对分配权重后的数据进行拟合,更细致地确定相关性对被预测参数的影响。实验结果表明,该模型的决定系数可达0.95,预测性能优于GRU、LSTM等传统神经网络模型。

基于Informer算法的病毒传播预测研究

新冠肺炎病毒等疫情受多种复杂现实因素的影响,因此疫情的发展存在不确定性。为了解决基于传染病仓室模型受自身诸多理想假设条件的限制而导致疫情预测结果误差较大的问题,采用基于深度学习的时序预测模型对疫情发展进行预测,建立了一种基于Transformer模型的Informer模型,并将注意力机制和蒸馏机制应用到疫情数据的时序预测中。以门限自回归(Threshold AutoRegressive, TAR)模型和多种主流的循环神经类时序预测模型作为对比模型,通过仿真实验,对中国、美国和英国的疫情数据当前尚存感染人数进行短期预测,并以均方根误差(RMSE)和平均绝对误差(MAE)为评价指标,选择最佳模型进行了中长期的预测。结果表明,无论是RMSE还是MAE,Informer模型的指标值都是最优的,表明Informer模型对中国、美国和英国疫情的预测精度比其他对比模型高。最后,使用Informer模型对中国、美国和英国的疫情发展进行了中长期预测。

基于LSTM的海上LNG转驳系统泄漏事故预测方法研究

在海上液化天然气(liquefied natural gas,LNG)转驳系统中,一旦发生泄漏事故,其后果将极其严重,可能引发火灾、爆炸、中毒等危害。液化天然气泄漏事故发生速度迅猛,因此如何快速进行泄漏扩散的预测对于应对突发事件下的人员疏散和设备保护至关重要。本研究构建了一种基于长短期记忆神经网络(long short-term memory,LSTM)的海上液化天然气转驳系统泄漏扩散预测模型,利用流体动力学仿真计算,获取了大量的基础数据集,然后通过训练,能够有效地对气体扩散浓度进行准确预测,所得结果的均方差和平均绝对误差均低于门控循环单元(gated recurrent unit,GRU)神经网络模型和反向传播神经网络模型。

基于GRU_LSTM及RL算法的伪随机指令生成器

在CPU验证过程中,传统伪随机指令生成器通过生成大量合法无序的指令序列,从而实现功能覆盖率或代码覆盖率的验证目标。然而,没有趋向针对性的指令生成,为达到指标需要耗费大量的人力及时间成本。该文以一款基于精简指令集(RISC-V)自研核心为例,在基于通用验证方法学(Universal Verification Methodology, UVM)的验证平台上设计出一种伪随机指令生成器,并针对普通伪随机指令生成器覆盖率低、收敛速度慢的问题,建立GRU_LSTM算法模型,并结合强化学习(Reinforcement Learning, RL)算法构建新算法模型RLGRU_LSTM应用于伪随机指令生成过程,并且针对RL方向决策,提出了基于霍夫曼编码的CPU指令包编码方式训练opcode分布,同时融合了CPU指令类型和指令间执行顺序因素,快速捕获人工定向验证预料不到的验证盲点,有效加快了代码覆盖率达到预期的进程。该文着重描述伪随机指令生成器及RLGRU_LSTM算法对模型训练过程的指导。实验结果表明,与直接使用伪随机指令生成技术相比,该方法在约定伪随机指令条目下,相比传统伪随机方法能提高约19%的覆盖率,收敛至目标覆盖率消耗时长减少22%。

基于电商评论的文本情感分类效果研究

挖掘分析评论文本的情感倾向成为近年来自然语言处理领域的研究热点之一。本文以挖掘京东商城商品评论数据价值为研究视角,以深度学习中的循环神经网络为理论基础,将循环神经网络的各变体模型应用到文本情感分类任务中,对比不同改进模型的评论文本分类效果。本文首先研究了循环神经网络的变体模型长短期记忆模型LSTM、门控循环单元模型GRU在京东商品评论文本上的分类效果。实验表明,GRU模型在训练过程中的准确率更高且更早达到优化值,总体上GRU网络模型在文本分类上的效果优于LSTM网络模型。其次研究了以情感词驱动的、基于循环神经网络各变体模型的注意力神经网络模型,将各深度神经网络模型与注意力机制相结合,对比分析各组合模型的情感分类效果。实验表明,引入注意力机制的神经网络模型,较传统网络模型分类准确率都有所提升,且会更快地达到优化值。

基于1DCNN-BiLSTM-BiGRU的电能质量扰动分类方法

为了应对电能质量扰动(PQD)识别中噪声干扰导致的识别率下降问题,本文提出一种基于一维卷积神经网络(1DCNN)-双向长短期记忆(BiLSTM)网络-双向门控循环单元(BiGRU)的PQD分类方法。该方法首先借助1DCNN有效地提取原始信号的浅层局部特征,然后通过BiLSTM和BiGRU组合模块对时序信息和上下文关系进行深入处理,从而实现深层时序特征的提取。最后,将所提取的特征经分类模块用于PQD识别。仿真结果表明,与传统方法相比,本文所提方法在准确性方面更具优势,且抗噪声能力更强。

基于深度学习的城市主干道路交通拥堵水平预测

为了解决城市主干道路交通拥堵问题,提出一种基于深度学习的城市主干道路交通拥堵水平预测方法。建立城市主干道路交通网络的Katz相似度矩阵,保存路网的结构特征,获得城市主干道路交通流数据。采用局部敏感判别分析模型,将交通流数据映射到低维流形,获得最优投影矩阵,提取城市主干道路交通特征。结合循环神经网络模型(RNN)和长短时记忆网络模型(LSTM),设计长短时记忆循环网络(RNN-LSTM)模型,解决梯度消失问题,输入城市主干道路交通特征,经过训练输出城市主干道路交通拥堵水平预测结果。实验结果表明,所提方法预测准确度在0.8~0.98,预测所需时间平均为24.74 ms,具有一定的应用价值。

融合注意力机制的CNN-GRU-LSTM电力系统短期负荷混合预测模型

在电力系统运行过程中,准确预测短期电力负荷是确保电力系统安全经济运行的重要条件。传统单一负荷模型无法完全捕捉复杂系统的变化和非线性关系,预测精度较低。为此,提出一种融合注意力机制的卷积神经网络、门控循环单元和长短期记忆网络的CNN-GRU-LSTM-attention混合预测模型。利用CNN对多维数据特征进行提取,引入注意机制增强GRU和LSTM在序列数据处理中对长期依赖关系的建模能力,进一步提高模型预测精度。结合实际算例进行对比分析实验,结果表明:CNN-GRU-LSTM-attention混合预测模型较LSTM、CNN-LSTM和CNN-GRU-LSTM等模型的预测精度均有较大提升,验证了其有效性和优越性。