基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于VMD-LSTM-IPSO-GRU的电力负荷预测

为了挖掘电力负荷数据中的潜藏信息,提高短期负荷预测的精度,针对电力负荷强非线性、非平稳性等特点,提出一种基于变分模态分解(variational mode decomposition,VMD)、长短时记忆神经网络(long-term and short-term memory network,LSTM)、改进的粒子群算法(improve particle swarm optimization,IPSO)和门控循环单元(gated recurrent unit neural network,GRU)的混合预测模型。首先,使用相关性分析确定输入因素,再将负荷数据运用VMD算法结合样本熵分解为一系列本征模态分量(intrinsic mode fuction,IMF)和残差量,进而合理地确定分解层数和惩罚因子;其次,根据过零率将这些量划分为低频和高频,低频分量使用LSTM网络,高频分量利用IPSO-GRU网络分别进行预测;最后,将预测结果重构得到电力负荷的最终结果。仿真结果表明:相对于其他模型,所提混合模型可有效的提取模态特征,具有更高的预测精度。

基于VMD-LSTM-SVR的IGBT寿命特征时间序列预测

绝缘栅双极型晶体管(IGBT)失效是变频器等电力电子设备故障的主要原因,精确预测其寿命是解决该问题的方法之一,这对寿命预测模型的准确性和可靠性提出了更高要求。关断瞬态尖峰电压(Vce,peak)可以反映IGBT的老化状态,首先通过变分模态分解(VMD)技术将Vce,peak构成的时间序列分解为趋势序列和波动序列,再利用长短期记忆(LSTM)网络的时间序列特征提取优势和支持向量机回归(SVR)的非线性求解能力,建立VMD-LSTM-SVR组合模型,提升模型的预测性能。模型预测对比实验结果表明,VMD-LSTM-SVR模型提升了IGBT寿命特征时间序列预测能力,与其他模型相比,该模型的预测精度指标均方根误差下降至0.0411 V,决定系数提升至0.75111。

基于GRU_LSTM及RL算法的伪随机指令生成器

在CPU验证过程中,传统伪随机指令生成器通过生成大量合法无序的指令序列,从而实现功能覆盖率或代码覆盖率的验证目标。然而,没有趋向针对性的指令生成,为达到指标需要耗费大量的人力及时间成本。该文以一款基于精简指令集(RISC-V)自研核心为例,在基于通用验证方法学(Universal Verification Methodology, UVM)的验证平台上设计出一种伪随机指令生成器,并针对普通伪随机指令生成器覆盖率低、收敛速度慢的问题,建立GRU_LSTM算法模型,并结合强化学习(Reinforcement Learning, RL)算法构建新算法模型RLGRU_LSTM应用于伪随机指令生成过程,并且针对RL方向决策,提出了基于霍夫曼编码的CPU指令包编码方式训练opcode分布,同时融合了CPU指令类型和指令间执行顺序因素,快速捕获人工定向验证预料不到的验证盲点,有效加快了代码覆盖率达到预期的进程。该文着重描述伪随机指令生成器及RLGRU_LSTM算法对模型训练过程的指导。实验结果表明,与直接使用伪随机指令生成技术相比,该方法在约定伪随机指令条目下,相比传统伪随机方法能提高约19%的覆盖率,收敛至目标覆盖率消耗时长减少22%。

基于Gate机制与Bi-LSTM-CRF的汉语语义角色标注

目前,语义角色标注大多基于双向长短时记忆网络(Bi-LSTM)。但是,由于词向量表示由上下文窗口中的词嵌入拼接得到,导致其依赖于左右词嵌入的联合作用。针对该问题,引入Gate机制对词向量表示进行调整。为了获取更深层次的语义信息,对Bi-LSTM的深度进行扩展。此外,引入标签转移概率矩阵进行约束,并且使用条件随机场(CRF)融合全局标签信息得出最优标注序列。实验结果表明,该方法使得汉语语义角色标注的F1值提高1.71%。

融合Gate过滤机制与深度Bi-LSTM-CRF的汉语语义角色标注

语义角色标注的传统方法采用基于句法特征的统计机器学习方法。由于依存句法可以表示词语之间的语义关系,故在语义角色标注中取得了较好的性能;但该方法存在特征抽取过程繁琐,难以捕捉句子中长距离依赖等问题。随着深度学习的兴起,研究者将基于双向长短时记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)神经网络模型用于语义角色标注。该模型可以自动学习特征,并对词与词之间的远距离依赖关系进行有效建模。本文提出融合Bi-LSTM-CRF模型与依存句法特征的方法,并且引入Gate过滤机制对词向量表示进行调整,以达到利用句法特征提高语义角色标注精度的同时,规避特征工程的繁琐。CPB上的实验结果表明,利用本文所提方法的汉语语义角色标注的F1值达到79.53%,比前人的方法有了较为显著的提升。

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络(LSTM)基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.

基于SSA-LSTM模型的IGBT时间序列预测研究

针对绝缘栅双极型晶体管(IGBT)长工作周期导致的老化失效问题,提出一种基于麻雀搜索算法(SSA)优化长短期记忆(LSTM)网络的IGBT时间序列预测方法。首先分析IGBT疲劳失效的原因,选取某IGBT老化数据集中的集射极峰值电压为失效特征量,进行二次指数滤波以增大数据下降趋势。然后利用Matlab搭建LSTM模型,并采用SSA对网络模型中学习率、隐藏层节点数和训练次数进行寻优以得到最优网络。最后选取常用回归预测性能评估指标对LSTM模型与SSA-LSTM模型预测结果进行对比分析。结果表明,SSA-LSTM模型的预测结果平均绝对误差、均方根误差及平均绝对百分比误差分别降低了0.016%、0.022%和0.202%,证明所提方法预测精度高,可在一定程度上评估IGBT的寿命。

A Smart Heart Disease Diagnostic System Using Deep Vanilla LSTM

Effective smart healthcare frameworks contain novel and emerging solutions for remote disease diagnostics,which aid in the prevention of several diseases including heart-related abnormalities.In this context,regular monitoring of cardiac patients through smart healthcare systems based on Electrocardiogram(ECG)signals has the potential to save many lives.In existing studies,several heart disease diagnostic systems are proposed by employing different state-of-the-art methods,however,improving such methods is always an intriguing area of research.Hence,in this research,a smart healthcare system is proposed for the diagnosis of heart disease using ECG signals.The proposed framework extracts both linear and time-series information on the ECG signals and fuses them into a single framework concurrently.The linear characteristics of ECG signals are extracted by convolution layers followed by Gaussian Error Linear Units(GeLu)and time series characteristics of ECG beats are extracted by Vanilla Long Short-Term Memory Networks(LSTM).Following on,the feature reduction of linear information is done with the help of ID Generalized Gated Pooling(GGP).In addition,data misbalancing issues are also addressed with the help of the Synthetic Minority Oversampling Technique(SMOTE).The performance assessment of the proposed model is done over the two publicly available datasets named MIT-BIH arrhythmia database(MITDB)and PTB Diagnostic ECG database(PTBDB).The proposed framework achieves an average accuracy performance of 99.14%along with a 95%recall value.

基于数据处理与若干群体算法优化的GRU/LSTM水质时间序列预测

为提高水质时间序列预测精度,提出一种基于小波包变换(WPT)和变色龙优化算法(CSA)、猎豹优化(CO)算法和山瞪羚优化(MGO)算法的优化门限循环控制单元(GRU)、长短期记忆神经网络(LSTM)的预测模型。首先利用WPT对pH值、DO、COD_(Mn)、NH_(3)-N时间序列进行平稳化处理,得到若干个规律性较强的子序列分量;其次简要介绍了CSA、CO、MGO算法原理,利用CSA、CO、MGO分别寻优GRU、LSTM超参数,建立WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU、WPT-CSA-LSTM、WPT-CO-LSTM、WPT-MGO-LSTM模型;最后利用所建立的模型对pH值及DO、COD_(Mn)、NH_(3)-N浓度各分量进行预测和重构,并建立WPT-GRU、WPT-LSTM和WPT-CSA-SVM、WPT-CO-SVM、WPT-MGO-SVM模型作对比分析模型,以云南省昆明市观音山断面为例,通过pH值及DO、COD_(Mn)、NH_(3)-N浓度预测对模型进行了验证。结果表明:WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU、WPT-CSA-LSTM、WPT-CO-LSTM、WPT-MGO-LSTM模型对实例pH值及DO、COD_(Mn)、NH_(3)-N浓度的预测精度优于其他对比模型,具有较好的预测效果,其中尤以WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU模型的预测精度最高;CSA、CO、MGO能有效调优GRU、LSTM超参数,显著提高GRU、LSTM预测性能;所构建的6种模型预测精度高且计算规模小,是有效的水质时间序列预测模型,可为相关水质预测研究提供参考。

基于GRU-DconvLSTM的船舶轨迹预测

利用深度学习方法预测船舶未来航行趋势,对海上交通安全以及船舶管理具有重要意义。在船舶自动识别系统(AIS)中已知的经度、纬度、航速数据基础上,提出一种基于门控循环单元结合双卷积层长短期记忆神经网络(GRU-DconvLSTM)预测模型。根据原始数据的变化趋势,采用标准差法对数据中的异常值进行处理,得到最终试验数据。该模型一方面通过门控循环单元(GRU)学习船舶历史数据上的运动规律;并采用双卷积层与长短期记忆神经网络(LSTM)结合的形式充分提取数据深层信息,提高模型对时序数据深层次特征的挖掘能力。将该模型与卷积长短期记忆神经网络(CNN-LSTM)、卷积门控循环神经网络(CNN-GRU)以及卷积层长短期记忆(Conv-LSTM)神经网络等3个模型进行对比,将均方根误差、平均绝对误差、平均绝对百分比误差作为评价标准,结果表明,GRU-DconvLSTM模型在经度和纬度预测上误差较小,精确度较高。

基于GRU-LSTM组合模型的云计算资源负载预测研究

日益增多的应用部署在云端使得云数据中心的功耗波动剧烈,从而导致云数据中心资源利用率不平衡,高效的负载预测是解决该问题的关键技术。针对目前负载预测模型预测精度低、预测时间长的问题,建立一种基于门控循环单元(GRU)与长短期记忆(LSTM)网络的组合预测模型GRU-LSTM。该模型的网络结构包括3层,第一层采用GRU,利用GRU参数少、易收敛的特点减少模型训练时间,第二、第三层采用LSTM,结合LSTM参数多的优势提高模型的预测精度。在此基础上,对数据集作缺失值处理和标准化处理,使用随机森林算法对原始序列进行特征选择后得到一组新的序列值,将该序列值作为GRU-LSTM组合预测模型的输入,以对云计算资源进行高效预测。在集群公开数据集Cluster-trace-v2018上进行实验,结果表明,与传统的单一预测模型ARIMA、LSTM、GRU以及现有的组合预测模型ARIMA-LSTM、Refined LSTM等相比,GRU-LSTM模型预测结果的均方误差减少6~9,预测时间平均缩短约10%。

基于LSTM的软件时间序列延迟预测仿真

针对传统方法对软件时间序列延迟预测的预测准确率低,预测时间长、漏报率高的问题,提出基于LSTM的软件时间序列延迟预测方法。采用激活函数对LSTM(长短期记忆网络)中门控机制与隐藏层的权值系数进行计算,提取软件中的数据特征;利用支持向量机中的函数拟合方法,通过软件中提取的数据特征,构建软件时间序列延迟预测模型。最后将软件的时间序列放入预测模型中,利用核函数对模型进行计算,实现时间序列从低维空间到高维空间的映射,将低维空间的非线性问题转化为高维的线性问题,通过相应的拟合函数计算出结果,以此完成对软件时间序列延迟的预测。实验结果表明,运用该方法对软件的时间序列延迟进行预测,预测的时间短、准确率高、漏报率低。

针对光伏发电功率预测的LSTformer模型

为了提高光伏发电功率预测精度,提出了一种基于长短期时序数据融合的Transformer生成式预测模型:LSTformer,能准确有效地预测光伏发电功率。LSTformer创新性地提出了时序分析模块(time series analysis,TSA)、时序特征融合模块(time series feature fusion,TSFF)和多周期嵌入模块(cycleEmbed),利用数据融合解决难以提取多时间尺度时序特征问题。设计时间卷积前馈(time convolution feedforward,TCNforward)单元,在编解码的过程中进一步提取时序特征。利用某光伏电站实际历史发电数据,通过实验验证LSTformer模型在光伏发电功率预测领域得到最低的均方误差(mean squared error,MSE)、平均绝对误差(mean absolute error,MAE),并通过消融实验验证了各模块的有效性。

融合汉字输入法的BERT与BLCG的长文本分类研究

现有的中文长文本分类模型中,没有考虑汉字读音、笔画等特征信息,因此不能充分表示中文语义;同时,长文本中常常包含大量与目标主题无关的信息,甚至部分文本与其他主题相关,导致模型误判。为此,提出了一种融合汉字输入法的BERT(BERT fused Chinese input methods,CIMBERT)、带有门控机制的长短期记忆卷积网络(BiLSTM fused CNN with gating mechanism,BLCG)相结合的文本分类方法。该方法使用BERT模型进行文本的向量表示,在BERT模型的输入向量中,采用了拼音和五笔两种常用的汉字输入法,增强了汉字的语义信息。建立了BLCG模型进行文本特征提取,该模型使用双向长短期记忆网络(BiLSTM)进行全局特征提取、卷积神经网络(CNN)进行局部特征提取,并通过门控机制(gating mechanism)动态融合全局特征和局部特征,解决了部分文本与目标主题无关导致模型误判的问题。在THUCNews数据集与Sogou语料库上对该方法进行了验证,其准确率为97.63%、95.43%,F1-score为97.68%、95.49%,优于其他文本分类模型。

基于GRU-BP算法的高精度动态物流称重系统

针对动态物流秤测量精度对载重、采样频率、带速较为敏感的问题,提出了一种高精度动态物流称重系统。首先,采用三因素五水平正交试验法,结合皮尔逊相关性检验原则,使用低通巴特沃斯与卡尔曼滤波器对传感器压力信号进行了滤波降噪处理,并将加速度信号作为模型输入信号,进行了特征补偿;然后,基于深度学习算法,提出了一种改进的门控循环单元模型,在该模型采样区间内将压力与振动改写为时序化信号,并将其共同输入门控循环单元(GRU)模型;最后,对GRU模型进行了改进,对其结构输出了层堆叠误差反向传播神经网络(BP),有效加强了模型的非线性映射能力。研究结果表明:在各类传动速度及测试货物下,该模型的最大测量误差相对于同类型深度学习模型长短期记忆(LSTM)神经网络、循环神经网络(RNN)时序模型及传统数值平均模型的误差,依次降低了16.14%、27.14%、76%,可用于各类称重系统。

基于翻转网络的低相关性序列数据预测研究

在某些实际应用中,通常不存在与被预测时间变量具有高相关性的其他维度变量,或者这些维度变量难以采集。而具有较低相关性的时间序列数据普遍存在,其对于数据预测具有更重要的意义。提出一种基于注意力翻转网络的低相关性多维时间序列数据预测模型。针对低相关性时序数据具有相关性随时间而变化的特点,引入批处理滑动窗口以摆脱时间变化带来的干扰,更好地捕获维度相关性。针对传统门控循环单元(GRU)网络大量丢弃低相关性样本的问题,建立翻转GRU网络对低相关性多维数据进行初次过滤,控制多维数据在网络中的传递数量,避免维度变量因相关性较低而被丢弃,提升相关性较低的多维数据在模型中的存活时间。同时,利用基于维度的注意力机制自适应调整不同维度序列在相关性提取过程中的重要性。建立平方长短期记忆(LSTM)网络对分配权重后的数据进行拟合,更细致地确定相关性对被预测参数的影响。实验结果表明,该模型的决定系数可达0.95,预测性能优于GRU、LSTM等传统神经网络模型。

基于Informer算法的病毒传播预测研究

新冠肺炎病毒等疫情受多种复杂现实因素的影响,因此疫情的发展存在不确定性。为了解决基于传染病仓室模型受自身诸多理想假设条件的限制而导致疫情预测结果误差较大的问题,采用基于深度学习的时序预测模型对疫情发展进行预测,建立了一种基于Transformer模型的Informer模型,并将注意力机制和蒸馏机制应用到疫情数据的时序预测中。以门限自回归(Threshold AutoRegressive, TAR)模型和多种主流的循环神经类时序预测模型作为对比模型,通过仿真实验,对中国、美国和英国的疫情数据当前尚存感染人数进行短期预测,并以均方根误差(RMSE)和平均绝对误差(MAE)为评价指标,选择最佳模型进行了中长期的预测。结果表明,无论是RMSE还是MAE,Informer模型的指标值都是最优的,表明Informer模型对中国、美国和英国疫情的预测精度比其他对比模型高。最后,使用Informer模型对中国、美国和英国的疫情发展进行了中长期预测。

基于最大信息系数相关性分析和改进多层级门控LSTM的短期电价预测方法

为准确预测电力市场中的短期电价,将最大信息系数(maximal information coefficient,MIC)相关性分析与改进多层级门控长短期记忆网络(multi-hierachy gated long shortterm memory,MHG-LSTM)相结合,提出一种新型短期电价预测方法。该方法首先对备选序列与预测电价序列做MIC相关性分析,在此基础上筛选备选序列并经小波变换合成神经网络输入序列,有效增加了输入中与预测电价相关的信息密度;其次,对传统LSTM进行创新性改进,提出用两级遗忘门和输入门替换传统的一级门控机构的MHG-LSTM模型,提高了神经网络选择和提取高频电价序列特征的能力。在PJM市场日前电价数据集上对所提方法进行仿真实验,实验结果表明,该方法的预测误差仅为4.506%,相比已有预测方法有效提升了短期电价的预测精度,且具有很强的普适性,可应用于电力市场短期电价预测,为市场参与者和监管机构提供有力决策依据。

基于深度LSTM的端到端的语音识别

基于长短时记忆(LSTM)神经网络在语音识别方面的良好性能,本文引入了一种新的深度LSTM方法.该方法利用深度控制门控函数连接多层LSTM单元,在循环神经网络中引入了上下层之间的线性相关性,可以更深层地构建语音模型.同时利用链接时序分类的训练准则进行模型训练,搭建端到端语音识别系统,解决了隐马尔可夫模型需要将标签和序列强制对齐的问题.实验表明,深度LSTM可以提高语音建模的性能,相比使用标准LSTM的模型,在准确率方面提高约4%.