基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于Gate机制与Bi-LSTM-CRF的汉语语义角色标注

目前,语义角色标注大多基于双向长短时记忆网络(Bi-LSTM)。但是,由于词向量表示由上下文窗口中的词嵌入拼接得到,导致其依赖于左右词嵌入的联合作用。针对该问题,引入Gate机制对词向量表示进行调整。为了获取更深层次的语义信息,对Bi-LSTM的深度进行扩展。此外,引入标签转移概率矩阵进行约束,并且使用条件随机场(CRF)融合全局标签信息得出最优标注序列。实验结果表明,该方法使得汉语语义角色标注的F1值提高1.71%。

融合Gate过滤机制与深度Bi-LSTM-CRF的汉语语义角色标注

语义角色标注的传统方法采用基于句法特征的统计机器学习方法。由于依存句法可以表示词语之间的语义关系,故在语义角色标注中取得了较好的性能;但该方法存在特征抽取过程繁琐,难以捕捉句子中长距离依赖等问题。随着深度学习的兴起,研究者将基于双向长短时记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)神经网络模型用于语义角色标注。该模型可以自动学习特征,并对词与词之间的远距离依赖关系进行有效建模。本文提出融合Bi-LSTM-CRF模型与依存句法特征的方法,并且引入Gate过滤机制对词向量表示进行调整,以达到利用句法特征提高语义角色标注精度的同时,规避特征工程的繁琐。CPB上的实验结果表明,利用本文所提方法的汉语语义角色标注的F1值达到79.53%,比前人的方法有了较为显著的提升。

基于InfoWorks ICM与LSTM的城市河道水位预报方法研究

【目的】城市内河水位预报对城市内涝风险管理具有重要意义,但是沿海地区城市水系构成复杂,传统数值模拟模型计算效率较低,无法实现实时计算。【方法】针对以上问题,以城市综合流域排水模型(InfoWorks ICM)构建的水文水动力模型数据作为数据驱动,综合考虑降雨、城市地表高程(DEM)、土地利用以及街道分布与排水管网布设情况,构建基于机器学习方法的城市河道水位预报神经网络模型(LSTM)。以福州市晋安河—光明港流域为例,开展算例研究。【结果】结果表明:该模型对城市河道水位预报48 h预见期内的平均纳什效率系数(MNSE)均达到0.7以上,预报精度达到乙级,预报峰值水位误差均小于3%。【结论】模型能够提供可靠的河道水位演进过程与峰值水位预报结果,表明所构建的模型具有良好的预测性能,可用于城区河网水位快速预报。

基于VMD-LSTM-IPSO-GRU的电力负荷预测

为了挖掘电力负荷数据中的潜藏信息,提高短期负荷预测的精度,针对电力负荷强非线性、非平稳性等特点,提出一种基于变分模态分解(variational mode decomposition,VMD)、长短时记忆神经网络(long-term and short-term memory network,LSTM)、改进的粒子群算法(improve particle swarm optimization,IPSO)和门控循环单元(gated recurrent unit neural network,GRU)的混合预测模型。首先,使用相关性分析确定输入因素,再将负荷数据运用VMD算法结合样本熵分解为一系列本征模态分量(intrinsic mode fuction,IMF)和残差量,进而合理地确定分解层数和惩罚因子;其次,根据过零率将这些量划分为低频和高频,低频分量使用LSTM网络,高频分量利用IPSO-GRU网络分别进行预测;最后,将预测结果重构得到电力负荷的最终结果。仿真结果表明:相对于其他模型,所提混合模型可有效的提取模态特征,具有更高的预测精度。

基于VMD-LSTM-SVR的IGBT寿命特征时间序列预测

绝缘栅双极型晶体管(IGBT)失效是变频器等电力电子设备故障的主要原因,精确预测其寿命是解决该问题的方法之一,这对寿命预测模型的准确性和可靠性提出了更高要求。关断瞬态尖峰电压(Vce,peak)可以反映IGBT的老化状态,首先通过变分模态分解(VMD)技术将Vce,peak构成的时间序列分解为趋势序列和波动序列,再利用长短期记忆(LSTM)网络的时间序列特征提取优势和支持向量机回归(SVR)的非线性求解能力,建立VMD-LSTM-SVR组合模型,提升模型的预测性能。模型预测对比实验结果表明,VMD-LSTM-SVR模型提升了IGBT寿命特征时间序列预测能力,与其他模型相比,该模型的预测精度指标均方根误差下降至0.0411 V,决定系数提升至0.75111。

基于GRU_LSTM及RL算法的伪随机指令生成器

在CPU验证过程中,传统伪随机指令生成器通过生成大量合法无序的指令序列,从而实现功能覆盖率或代码覆盖率的验证目标。然而,没有趋向针对性的指令生成,为达到指标需要耗费大量的人力及时间成本。该文以一款基于精简指令集(RISC-V)自研核心为例,在基于通用验证方法学(Universal Verification Methodology, UVM)的验证平台上设计出一种伪随机指令生成器,并针对普通伪随机指令生成器覆盖率低、收敛速度慢的问题,建立GRU_LSTM算法模型,并结合强化学习(Reinforcement Learning, RL)算法构建新算法模型RLGRU_LSTM应用于伪随机指令生成过程,并且针对RL方向决策,提出了基于霍夫曼编码的CPU指令包编码方式训练opcode分布,同时融合了CPU指令类型和指令间执行顺序因素,快速捕获人工定向验证预料不到的验证盲点,有效加快了代码覆盖率达到预期的进程。该文着重描述伪随机指令生成器及RLGRU_LSTM算法对模型训练过程的指导。实验结果表明,与直接使用伪随机指令生成技术相比,该方法在约定伪随机指令条目下,相比传统伪随机方法能提高约19%的覆盖率,收敛至目标覆盖率消耗时长减少22%。

基于GRU-LSTM组合模型的云计算资源负载预测研究

日益增多的应用部署在云端使得云数据中心的功耗波动剧烈,从而导致云数据中心资源利用率不平衡,高效的负载预测是解决该问题的关键技术。针对目前负载预测模型预测精度低、预测时间长的问题,建立一种基于门控循环单元(GRU)与长短期记忆(LSTM)网络的组合预测模型GRU-LSTM。该模型的网络结构包括3层,第一层采用GRU,利用GRU参数少、易收敛的特点减少模型训练时间,第二、第三层采用LSTM,结合LSTM参数多的优势提高模型的预测精度。在此基础上,对数据集作缺失值处理和标准化处理,使用随机森林算法对原始序列进行特征选择后得到一组新的序列值,将该序列值作为GRU-LSTM组合预测模型的输入,以对云计算资源进行高效预测。在集群公开数据集Cluster-trace-v2018上进行实验,结果表明,与传统的单一预测模型ARIMA、LSTM、GRU以及现有的组合预测模型ARIMA-LSTM、Refined LSTM等相比,GRU-LSTM模型预测结果的均方误差减少6~9,预测时间平均缩短约10%。

基于LSTM的软件时间序列延迟预测仿真

针对传统方法对软件时间序列延迟预测的预测准确率低,预测时间长、漏报率高的问题,提出基于LSTM的软件时间序列延迟预测方法。采用激活函数对LSTM(长短期记忆网络)中门控机制与隐藏层的权值系数进行计算,提取软件中的数据特征;利用支持向量机中的函数拟合方法,通过软件中提取的数据特征,构建软件时间序列延迟预测模型。最后将软件的时间序列放入预测模型中,利用核函数对模型进行计算,实现时间序列从低维空间到高维空间的映射,将低维空间的非线性问题转化为高维的线性问题,通过相应的拟合函数计算出结果,以此完成对软件时间序列延迟的预测。实验结果表明,运用该方法对软件的时间序列延迟进行预测,预测的时间短、准确率高、漏报率低。

基于最大信息系数相关性分析和改进多层级门控LSTM的短期电价预测方法

为准确预测电力市场中的短期电价,将最大信息系数(maximal information coefficient,MIC)相关性分析与改进多层级门控长短期记忆网络(multi-hierachy gated long shortterm memory,MHG-LSTM)相结合,提出一种新型短期电价预测方法。该方法首先对备选序列与预测电价序列做MIC相关性分析,在此基础上筛选备选序列并经小波变换合成神经网络输入序列,有效增加了输入中与预测电价相关的信息密度;其次,对传统LSTM进行创新性改进,提出用两级遗忘门和输入门替换传统的一级门控机构的MHG-LSTM模型,提高了神经网络选择和提取高频电价序列特征的能力。在PJM市场日前电价数据集上对所提方法进行仿真实验,实验结果表明,该方法的预测误差仅为4.506%,相比已有预测方法有效提升了短期电价的预测精度,且具有很强的普适性,可应用于电力市场短期电价预测,为市场参与者和监管机构提供有力决策依据。

基于深度LSTM的端到端的语音识别

基于长短时记忆(LSTM)神经网络在语音识别方面的良好性能,本文引入了一种新的深度LSTM方法.该方法利用深度控制门控函数连接多层LSTM单元,在循环神经网络中引入了上下层之间的线性相关性,可以更深层地构建语音模型.同时利用链接时序分类的训练准则进行模型训练,搭建端到端语音识别系统,解决了隐马尔可夫模型需要将标签和序列强制对齐的问题.实验表明,深度LSTM可以提高语音建模的性能,相比使用标准LSTM的模型,在准确率方面提高约4%.

基于改进LSTM的儿童语音情感识别模型

为实现不同儿童情感需求状态下帧级语音特征的有效获取,建立一种基于改进长短时记忆(LSTM)网络的儿童语音情感识别模型。采用帧级语音特征代替传统统计特征以保留原始语音中的时序关系,通过引入注意力机制将传统遗忘门和输入门转换为注意力门,并根据自定义的深度策略计算得到深度注意力门,从而提高语音情感识别性能。实验结果表明,在Fau Aibo儿童情感数据语料库及婴儿哭声情感需求数据库上,该模型在召回率和F1分数上相比基于传统LSTM的识别模型分别提高了3.14%、5.50%和1.84%、5.49%,在CASIA中文情感数据库上,其相比基于传统LSTM和GRU的识别模型训练时间更短、儿童语音情感识别率更高。

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络(LSTM)基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.

基于S-LSTM模型利用‘槽值门’机制的说话人意图识别

对说话人意图的识别极大地推进了自然语言理解任务的发展.之前的工作大多采用Bi-LSTM即双向LSTM模型进行词汇特征与词汇之间语义关系的提取,但这并不能很好地使句子整体和构成句子的词汇个体之间的信息进行交流.而S-LSTM(Sentence-state LSTM)模型,即句子状态LSTM模型可以很好地将自然语言中句子整体与词汇个体的信息相结合,以便于我们挖掘与利用意图检测与槽值填充之间的关系成立联合模型来更好地理解应答系统中蕴含的语义.因此,本文引入了‘槽值门’机制解决S-LSTM应用于意图检测与槽填充的联合任务时最新迭代时刻的句子状态信息没有得到充分利用的问题.最终的实验结果在ATIS数据集和Snips数据集上均取得了优于目前最先进算法的结果.

基于LSTM-GRU的污水水质预测模型研究

水质预测对水资源管理及水体保护至关重要,为提高污水水质预测模型准确率,考虑到水质参数是一个动态的时间序列,在研究RNN神经网络模型基础上,引入一种改进的长—短记忆网络结构(LSTM-GRU)来增加RNN的隐层,GRU和LSTM采用门结构代替标准RNN结构中的隐藏单元,可以选择性地记忆重要信息而忘记不重要信息,从而高效学习历史水质参数信息,使得预测结果更加精确。通过仿真分析,本文采用的LSTM-GRU模型与传统的污水水质参数预测模型相比,LSTM-GRU模型的泛化能力更强,预测精度更高,有效性及实用性更强。

A Smart Heart Disease Diagnostic System Using Deep Vanilla LSTM

Effective smart healthcare frameworks contain novel and emerging solutions for remote disease diagnostics,which aid in the prevention of several diseases including heart-related abnormalities.In this context,regular monitoring of cardiac patients through smart healthcare systems based on Electrocardiogram(ECG)signals has the potential to save many lives.In existing studies,several heart disease diagnostic systems are proposed by employing different state-of-the-art methods,however,improving such methods is always an intriguing area of research.Hence,in this research,a smart healthcare system is proposed for the diagnosis of heart disease using ECG signals.The proposed framework extracts both linear and time-series information on the ECG signals and fuses them into a single framework concurrently.The linear characteristics of ECG signals are extracted by convolution layers followed by Gaussian Error Linear Units(GeLu)and time series characteristics of ECG beats are extracted by Vanilla Long Short-Term Memory Networks(LSTM).Following on,the feature reduction of linear information is done with the help of ID Generalized Gated Pooling(GGP).In addition,data misbalancing issues are also addressed with the help of the Synthetic Minority Oversampling Technique(SMOTE).The performance assessment of the proposed model is done over the two publicly available datasets named MIT-BIH arrhythmia database(MITDB)and PTB Diagnostic ECG database(PTBDB).The proposed framework achieves an average accuracy performance of 99.14%along with a 95%recall value.

基于简化型LSTM神经网络的时间序列预测方法

针对标准长短期记忆(long short-term memory,LSTM)神经网络用于时间序列预测具有耗时长、复杂度高等问题,提出简化型LSTM神经网络并应用于时间序列预测.首先,通过耦合输入门与遗忘门实现对标准LSTM神经网络的结构简化;其次,从门结构控制方程中消除输入信号与偏差实现进一步精简;然后,采用梯度下降算法更新简化型LSTM神经网络的参数;最后,通过2个时间序列基准数据集及污水处理过程出水生化需氧量(biochemical oxygen demand,BOD)质量浓度预测进行实验验证.结果表明:在不显著降低预测精度的情况下,所设计的模型能够缩短训练时间,减少LSTM神经网络的计算复杂度,实现时间序列的预测.

基于SSA-LSTM模型的IGBT时间序列预测研究

针对绝缘栅双极型晶体管(IGBT)长工作周期导致的老化失效问题,提出一种基于麻雀搜索算法(SSA)优化长短期记忆(LSTM)网络的IGBT时间序列预测方法。首先分析IGBT疲劳失效的原因,选取某IGBT老化数据集中的集射极峰值电压为失效特征量,进行二次指数滤波以增大数据下降趋势。然后利用Matlab搭建LSTM模型,并采用SSA对网络模型中学习率、隐藏层节点数和训练次数进行寻优以得到最优网络。最后选取常用回归预测性能评估指标对LSTM模型与SSA-LSTM模型预测结果进行对比分析。结果表明,SSA-LSTM模型的预测结果平均绝对误差、均方根误差及平均绝对百分比误差分别降低了0.016%、0.022%和0.202%,证明所提方法预测精度高,可在一定程度上评估IGBT的寿命。

基于数据处理与若干群体算法优化的GRU/LSTM水质时间序列预测

为提高水质时间序列预测精度,提出一种基于小波包变换(WPT)和变色龙优化算法(CSA)、猎豹优化(CO)算法和山瞪羚优化(MGO)算法的优化门限循环控制单元(GRU)、长短期记忆神经网络(LSTM)的预测模型。首先利用WPT对pH值、DO、COD_(Mn)、NH_(3)-N时间序列进行平稳化处理,得到若干个规律性较强的子序列分量;其次简要介绍了CSA、CO、MGO算法原理,利用CSA、CO、MGO分别寻优GRU、LSTM超参数,建立WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU、WPT-CSA-LSTM、WPT-CO-LSTM、WPT-MGO-LSTM模型;最后利用所建立的模型对pH值及DO、COD_(Mn)、NH_(3)-N浓度各分量进行预测和重构,并建立WPT-GRU、WPT-LSTM和WPT-CSA-SVM、WPT-CO-SVM、WPT-MGO-SVM模型作对比分析模型,以云南省昆明市观音山断面为例,通过pH值及DO、COD_(Mn)、NH_(3)-N浓度预测对模型进行了验证。结果表明:WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU、WPT-CSA-LSTM、WPT-CO-LSTM、WPT-MGO-LSTM模型对实例pH值及DO、COD_(Mn)、NH_(3)-N浓度的预测精度优于其他对比模型,具有较好的预测效果,其中尤以WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU模型的预测精度最高;CSA、CO、MGO能有效调优GRU、LSTM超参数,显著提高GRU、LSTM预测性能;所构建的6种模型预测精度高且计算规模小,是有效的水质时间序列预测模型,可为相关水质预测研究提供参考。

基于LSTM-GCAE的特定目标情感分析

针对传统特定目标情感分析在模型输入前未能将上下文和目标词进行良好地融合以及在提取情感特征时未能有效地关注到特定目标等问题,提出了一种基于LSTM-GCAE的特定目标情感分析模型。首先,将上下文和目标词进行拼接得到融合词向量,采用LSTM对融合词向量进行编码,以捕获上下文语义信息;然后,通过带有目标词向量的门控卷积机制进一步提取关于目标词的情感特征;最后,通过softmax分类函数对特定目标进行情感极性分类。