Comparative study on the performance of ConvLSTM and ConvGRU in classification problems-taking early warning of short-duration heavy rainfall as an example

卷积长短期记忆单元ConvLSTM和卷积门控循环单元ConvGRU是两种广泛应用的深度学习单元,通过将循环机制与卷积运算相结合,常常用于时空序列的预测.为了明确上述两种模型的收敛速度和分类能力,需要使用相同的模型架构对相同的分类问题进行预测.本研究将北京短时强降水区级预警问题看作深度学习中的二分类问题,使用京津冀雷达网的组合反射率数据和北京区域内的自动气象站降雨数据进行深度学习模型的训练和评估.结果表明,ConvGRU的收敛速度比ConvLSTM快约25%.ConvLSTM和ConvGRU的预警性能随地区,时间,降雨强度的变化趋势相似,但大部分ConvLSTM的得分较高,少数情况下ConvGRU的得分较高.

A two-dimensional analytical model for channel potential and threshold voltage of short channel dual material gate lightly doped drain MOSFET

An analytical model for the channel potential and the threshold voltage of the short channel dual-material-gate lightly doped drain （DMG-LDD） metal-oxide-semiconductor field-effect transistor （MOSFET） is presented using the parabolic approximation method. The proposed model takes into account the effects of the LDD region length, the LDD region doping, the lengths of the gate materials and their respective work functions, along with all the major geometrical parameters of the MOSFET. The impact of the LDD region length, the LDD region doping, and the channel length on the channel potential is studied in detail. Furthermore, the threshold voltage of the device is calculated using the minimum middle channel potential, and the result obtained is compared with the DMG MOSFET threshold voltage to show the improvement in the threshold voltage roll-off. It is shown that the DMG-LDD MOSFET structure alleviates the problem of short channel effects （SCEs） and the drain induced barrier lowering （DIBL） more efficiently. The proposed model is verified by comparing the theoretical results with the simulated data obtained by using the commercially available ATLASTM 2D device simulator.

A two-dimensional analytical modeling for channel potential and threshold voltage of short channel triple material symmetrical gate Stack(TMGS) DG-MOSFET

In the present work, a two-dimensional（2D） analytical framework of triple material symmetrical gate stack（TMGS）DG-MOSFET is presented in order to subdue the short channel effects. A lightly doped channel along with triple material gate having different work functions and symmetrical gate stack structure, showcases substantial betterment in quashing short channel effects to a good extent. The device functioning amends in terms of improved exemption to threshold voltage roll-off, thereby suppressing the short channel effects. The encroachments of respective device arguments on the threshold voltage of the proposed structure are examined in detail. The significant outcomes are compared with the numerical simulation data obtained by using 2D ATLAS;device simulator to affirm and formalize the proposed device structure.

基于CEEMD-SE的CNN&LSTM-GRU短期风电功率预测

为进一步提升短期风电功率的预测精度,提出了一种基于互补集合经验模态分解-样本熵(complementary ensemble empirical mode decomposition-sample entropy,CEEMD-SE)的卷积神经网络(convolutional neural network,CNN)和长短期记忆-门控循环单元(longshorttermmemory-gatedrecurrentunit,LSTM-GRU)的短期风电功率预测模型。首先,利用互补集合经验模态分解将原始风电功率序列分解为若干本征模态函数(intrinsic mode function,IMF)分量和一个残差(residual,RES)分量,利用样本熵算法将相近的分量进行重构;其次,搭建卷积神经网络和长短期记忆网络的并行网络结构,提取数据的局部特征和时序特征,并将特征融合后输入门控循环单元网络中进行学习预测;最后,通过算例进行验证,结果表明采用该模型后预测精度得到了有效提升,其均方根误差降低了15.06%、平均绝对误差降低了15.22%、决定系数提高了1.91%。

融合Mar-GLSTM的流程生产工艺质量预测算法

针对流程生产连续性强、时序耦合复杂等特点,传统神经网络不具备长期记忆能力,且在深层次网络训练时易出现训练参数灾难、梯度爆炸等问题,提出基于马尔可夫优化的融合门控循环单元(GRU)与长短期记忆网络(LSTM)的组合预测模型(Mar-G LSTM)。首先在循环神经网络结构中融入门控机制构建深度LSTM神经网络模型,对流程生产时序数据信息进行选择性记忆,学习时序数据序列的信息依赖,进而解决训练过程中的梯度爆炸问题;同时结合马尔可夫链对GRU-LSTM模型的预测结果进行修正优化,在降低模型的复杂度的情况下进一步提高了模型的预测精度。最后,结合某流程生产线的工艺数据进行分析验证,结果表明,Mar-G LSTM算法在预测精度上较随机森林模型、门控循环单元神经网络模型(GRU)、长短期记忆神经网络模型(LSTM)和卷积神经网络与门控循环单元网络组合模型(CNN-GRU)分别提高了37.42%、21.32%、17.91%和12.56%,所提Mar-G LSTM算法可实现流程生产质量的准确预测,为降低工艺参数调控任务的完成时间提供了思路和实现途径。

GPU异构计算环境中长短时记忆网络模型的应用及优化

随着深度学习的广泛应用及算力资源的异构化,在GPU异构计算环境下的深度学习加速成为又一研究热点。文章探讨了在GPU异构计算环境中如何应用长短时记忆网络模型,并通过优化策略提高其性能。首先,介绍了长短时记忆网络模型的基本结构(包括门控循环单元、丢弃法、Adam与双向长短时记忆网络等);其次,提出了在GPU上执行的一系列优化方法,如CuDNN库的应用及并行计算的设计等。最终,通过实验分析了以上优化方法在训练时间、验证集性能、测试集性能、超参数和硬件资源使用等方面的差异。

基于CNN-BiGRU-Attention的短期电力负荷预测

针对目前电力负荷数据随机性强,影响因素复杂,传统单一预测模型精度低的问题,结合卷积神经网络(Convolutional neural network,CNN)、双向门控循环单元(Bi-directional gated recurrent unit,BiGRU)以及注意力机制(Attention)在短期电力负荷预测上的不同优点,提出一种基于CNN-BiGRU-Attention的混合预测模型。该方法首先通过CNN对历史负荷和气象数据进行初步特征提取,然后利用BiGRU进一步挖掘特征数据间时序关联,再引入注意力机制,对BiGRU输出状态给与不同权重,强化关键特征,最后完成负荷预测。试验结果表明,该模型的平均绝对百分比误差(Mean absolute percentage error,MAPE)、均方根误差(Root mean square error,RMSE)、判定系数(R-square,R~2)分别为0.167%、0.057%、0.993,三项指标明显优于其他模型,具有更高的预测精度和稳定性,验证了模型在短期负荷预测中的优势。

面向文本识别的CRNN模型的改进

复杂场景下文本识别因阴影、残缺、模糊、虚化等因素会出现识别精度下降问题。鉴于此,提出一种基于特征融合与双向简化门结构的CRNN模型。首先引入特征融合机制改进卷积神经网络(CNN)模型,利用特征金字塔结构,多加一条自底向上的路径,将低层特征与高层特征融合在一起,以保留更多低层细节特征,提高场景文本识别精度;其次通过合并遗忘门与输入门,得到结构更简单、计算量和参数量更少的简化门结构替换长短期记忆(LSTM)网络改进循环神经网络(RNN)模型部分;最后设计消融实验验证改进后模型的有效性。三个数据集的测试结果表明:在ResNet50做主干网络时,与原始模型相比,改进后模型准确率提升了1.5%以上;在MobileNetV3做主干网络时,准确率提升了1.4%以上。

基于二次分解双向门控单元新型电力系统超短期负荷预测

在新型电力系统中,电力负荷随机性和波动性较强,现有预测方法难以对其实现高精度预测。为此,提出一种基于二次分解和双向门控循环单元的超短期负荷预测模型。首先,针对电力负荷的强随机性和强波动性,利用自适应噪声完备经验模态分解对电力负荷历史序列进行初步分解,使负荷序列更加平稳。随后,对初步分解得到的强非平稳分量运用连续变分模态分解进行二次分解,降低其预测难度。最后,为充分学习电力负荷的时序特征,在预测过程构建基于双向门控循环单元的超短期电力负荷预测模型。实验结果表明,该模型相较于现有优秀预测模型有更高的预测精度。

高压大功率SiC MOSFETs短路保护方法

碳化硅(SiC)MOSFETs短路承受能力弱,研究其短路保护方法成为保障电力电子设备安全运行的重要课题。现有方法大多围绕低压小功率SiC MOSFETs,然而随着电压和功率等级的提升,器件特性有所差异,直接套用以往设计难以实现高压大功率SiC MOSFETs的快速、可靠保护。该文首先详细研究了几种常用短路检测方法;其次基于高压大功率SiC MOSFETs器件特性,深入对比分析了不同短路检测方法的适用性,提出一种阻容式漏源极电压检测和栅极电荷检测相结合的短路保护方法;最后搭建了实验平台验证所提方法的可行性。结果表明,提出的方法在硬开关短路故障(hard switching fault,HSF)下,保护响应时间缩短了1.4μs,短路能量降低了62.5%;且能可靠识别负载短路故障(fault under load,FUL)。

面向语法加权图文本的方面情感三元组抽取

方面情感三元组抽取包括方面抽取、意见抽取和方面情感分类3项任务,以管道方式解决该任务的研究方法无法利用元素之间的交互信息,同时也会造成错误传播和冗余训练。基于此,提出一种基于门控注意力和加权图文本的方面情感三元组抽取方法。采用双向长短时记忆网络学习句子的序列特征表示;利用门控注意力单元学习单词之间的线性联系;利用语法距离加权图卷积网络增强三元组元素之间的交互;利用网格标记推理策略预测三元组。在4个公开数据集上进行实验,结果表明:所提方法可以有效增强三元组元素之间的交互,提高三元组抽取的准确率;同时,所提方法的F1值分别为57.94%、70.54%、61.95%和67.66%,与基准模型相比均有所提高。

结合注意力机制和Mengzi模型的短文本分类

如何使用短文本分类技术挖掘有用的文本信息,是当前热门的研究方向之一。为了解决短文本特征信息稀疏和特征信息难以提取的问题,提出一种Mengzi-ADCBU短文本分类模型,该模型利用Mengzi预训练模型将输入的文本信息转化为相应的文本表示,再将获得的文本向量分别输入改进的深度金字塔卷积神经网络和融合了多头注意力机制的双向门控单元中提取文本特征信息,将两者提取到的特征信息进行融合之后,输送给全连接层和Softmax函数完成短文本分类。在公开的短文本数据集THUCNews和SougouCS上分别进行多组模型对比实验,实验结果表明本文提出的MengziADCBU模型在短文本分类的准确率、精确度、召回率和F1值等评价指标上都比现在的主流模型性能更优,具有较好的短文本分类能力。

基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于注意力机制的IWOA-BiGRU超短期风电功率预测

超短期风电功率预测对电力系统调度及大规模风电并网具有重要作用。为得到准确可靠的风电功率预测结果,针对风电功率数据非线性和时序性的特点,提出一种基于IWOA-AT-BiGRU的超短期风电功率预测方法。首先,提出改进鲸鱼优化算法(improved whale optimization algorithm,IWOA)来优化风电功率预测模型的超参数,加速模型收敛,提高预测准确度;然后,在BiGRU中加入注意力机制(AT),AT用来加强重要信息对风功率的影响,BiGRU同时考虑数据的正反向信息,充分挖掘数据的时序特征;最后,通过某风电场实测数据进行实验,结果表明提出的方法预测准确度均高于其他对比模型,具有良好的预测性能。

15 nm Bulk nFinFET器件性能研究及参数优化

为研究Bulk FinFET工作时基本结构参数、器件温度和栅极材料对其性能的影响,建立了一个15 nm n型Bulk FinFET器件模型,仿真分析了不同栅长、鳍宽、鳍高、沟道掺杂浓度、器件工作温度、栅极材料对器件性能的影响,发现增长栅长、降低鳍宽和增加鳍高有助于抑制短沟道效应;1×10^(17)cm^(-3)以下的低沟道掺杂浓度对器件特性影响不大,但高掺杂会使器件失效;器件工作温度的升高会导致器件性能的下降;采用高K介质材料作为栅极器件性能优于传统材料SiO_(2)。

集成侧墙技术的80nm栅GaN HEMT

目前业界主要采用电子束曝光技术制作高频氮化镓高电子迁移率晶体管(GaN HEMT)的深亚微米T型栅,存在效率低下、良率不足和成本较高的问题。本文采用集成侧墙技术,在6英寸工业化产线上首次成功制造了纯光学曝光的80 nm T型栅GaN HEMT,并对器件性能参数进行了全面表征和分析。器件单位栅宽(每毫米)下,最大输出电流Id,max为993 mA,峰值跨导Gm,peak为385 mS;阈值电压Uth为-3.25 V,关态击穿电压超过80 V;电流增益截止频率(fT)和功率增益截止频率(fmax)分别为64 GHz和175 GHz。在28 V工作时,器件在16 GHz下的饱和输出功率、功率增益和功率附加效率分别为26.95 dBm(每毫米4.9 W)、11.08 dB和49.78%;在30 GHz下器件的饱和输出功率、功率增益和功率附加效率分别为26.15 dBm(每毫米4.1 W)、8.8 dB和44%。结果表明,集成侧墙技术在深亚微米GaN HEMT制造中具备较好的应用前景。

基于LSTM网络的IGBT寿命预测方法研究

针对IGBT工作时承受热应力与电应力循环冲击导致疲劳失效的问题,提出一种基于长短期记忆(LSTM)网络的寿命预测方法。利用NASA预测中心提供的加速老化数据集,分析并选取集电极-发射极的瞬态尖峰电压作为失效特征参数,通过Matlab构建LSTM网络,采用Adam优化算法来训练网络,实现对失效特征参数数据的预测,并选取三项性能评估指标与ARIMA模型及ELMAN神经网络模型的预测进行对比分析。结果显示,LSTM网络模型预测的均方根误差为0.0476,平均绝对误差为0.0322,平均绝对百分误差为0.4917%,LSTM网络模型的预测精度更高,能够更好地实现IGBT的寿命预测,也对其他电力电子器件的寿命预测有一定的参考价值。

融合汉字输入法的BERT与BLCG的长文本分类研究

现有的中文长文本分类模型中,没有考虑汉字读音、笔画等特征信息,因此不能充分表示中文语义;同时,长文本中常常包含大量与目标主题无关的信息,甚至部分文本与其他主题相关,导致模型误判。为此,提出了一种融合汉字输入法的BERT(BERT fused Chinese input methods,CIMBERT)、带有门控机制的长短期记忆卷积网络(BiLSTM fused CNN with gating mechanism,BLCG)相结合的文本分类方法。该方法使用BERT模型进行文本的向量表示,在BERT模型的输入向量中,采用了拼音和五笔两种常用的汉字输入法,增强了汉字的语义信息。建立了BLCG模型进行文本特征提取,该模型使用双向长短期记忆网络(BiLSTM)进行全局特征提取、卷积神经网络(CNN)进行局部特征提取,并通过门控机制(gating mechanism)动态融合全局特征和局部特征,解决了部分文本与目标主题无关导致模型误判的问题。在THUCNews数据集与Sogou语料库上对该方法进行了验证,其准确率为97.63%、95.43%,F1-score为97.68%、95.49%,优于其他文本分类模型。

基于Bo-BiLSTM网络的IGBT老化失效预测方法

针对绝缘栅双极型晶体管(IGBT)受热应力冲击后对其进行老化失效预测精度不高的情况,提出一种基于贝叶斯优化(Bo)-双向长短期记忆(BiLSTM)网络的IGBT老化失效预测方法。首先分析IGBT模块老化失效原理,然后基于NASA老化实验数据集建立失效特征数据库,最后利用Matlab软件构造Bo-BiLSTM网络预测失效特征参数数据。选取常用回归预测性能评估指标将长短期记忆(LSTM)网络模型、BiLSTM网络模型与Bo-BiLSTM网络模型的预测结果进行对比分析。结果表明,Bo-BiLSTM网络的模型拟合精度更高,基于Bo-BiLSTM网络的IGBT老化失效预测方法具有较好的预测效果,能够应用于IGBT的失效预测。

基于改进SMOTE算法和深度学习集成框架的信用卡欺诈检测

当前机器学习(ML)算法已经被广泛用于信用卡欺诈检测。然而持卡人线上购物的动态性,以及正常和欺诈交易数据严重不平衡问题,影响了分类器的检测精度。为此,提出了基于深度学习集成框架的信用卡欺诈检测方法。首先,通过改进的合成少数类过采样(SMOTE)算法,解决信用卡数据集中欺诈交易和正常交易数量严重不平衡问题。其次,构建堆栈式深度学习集成框架,使用双向长短时记忆网络(Bi-LSTM)和门控循环单元(GRU)作为基础分类器,并通过多层感知机(MLP)作为元分类器,结合集成学习和深度学习的优点提高信用卡欺诈检测率。在公开数据集上的实验结果表明,所提深度学习集成方法与改进SMOTE算法相结合,分别实现了99.57%和99.82%的灵敏度和特异性结果,优于其他先进的信用卡欺诈检测算法。