基于梯度提升决策树改进双向门限循环单元的锅炉变负荷燃烧系统建模

锅炉燃烧系统是一个典型变量多、耦合性强、大滞后、多输入/多输出的动态系统,构建符合实际工况的燃烧系统模型十分困难。本文提出一种新的基于双向门限循环单元(Bi-GRU)的锅炉燃烧系统建模方法,建立了变负荷(低、中、高负荷)工况下燃烧系统训练模型。同时,采用梯度提升决策树(GBDT)降低输入特征矩阵维数。GBDT模型可以在不同的负荷与输出下评估输入特征的权重,能在保留特征原有物理意义的基础上识别出权重比例最大的特征。基于GBDT的特征选择模型既能降低原始输入维数,又可以为后续燃烧控制策略提供理论指导。实际运行数据计算结果表明,Bi-GRU和GBDT建立的新的燃烧系统模型能够准确地反映不同负荷下主蒸汽流量、主蒸汽压力和NO_(x)排放量的动态变化。与传统的循环神经网络(RNN)模型相比,本文新模型的精度和性能都有显著提高,并且结构简单,计算量小。

基于3DC-BGRU的脑电情感识别

针对脑电信号情感识别率偏低的问题,提出了一种基于3DC-BGRU的脑电情感识别方法。对单通道脑电信号进行短时傅里叶变换(STFT),提取相关频带的时频信息构成二维时频图,并将多个通道的时频图构成一种全新的时间、频率和通道的三维数据形式,通过三维卷积的方式设计了一种新颖的卷积神经网络(CNN)模型对三维数据进行深层特征提取,设计双向门控循环单元(BGRU)对深层特征的序列信息进行处理并配合Softmax进行分类。实验结果表明该方法分类识别率得到提高。

BGRU:中文文本情感分析的新方法

社交网络作为社会生活不可或缺的一部分,针对其产生的文本数据进行情感分析已成为自然语言处理领域的一个研究热点。鉴于深度学习技术能够自动构建文本特征,人们已提出CNN(convolutional neural network)、BLSTM(bidirectional long short-term memory)等模型来解决文本情感分析问题,但还存在结构较为复杂或训练时间较长等问题,而BGRU(bidirectional gated recurrent unit)能记忆序列的上下文信息,并且结构较为简单,训练速度较快。提出一种基于BGRU的中文文本情感分析方法,首先将文本转换为词向量序列,然后利用BGRU获得文本的上下文情感特征,最后由分类器给出文本的情感倾向。在ChnSentiCorp语料上进行实验,该方法取得了90.61%的F1值,效果优于CNN和BLSTM等模型,并且训练速度是BLSTM的1.36倍。

基于BGRU和自注意力机制的情感分析

自然语言处理领域的一个研究热点是对社交网络产生的文本数据进行情感分析。由于循环神经网络结构复杂且存在记忆丢失、梯度弥散问题影响分类的准确率;而注意力机制需要依赖较多的参数,无法关注更多文本的内部序列关系。针对此问题,提出基于BGRU和自注意力机制的情感分析。模型首先将文本用GloVe向量化,之后使用BGRU提取文本的上下文信息,再通过自注意力机制动态调整特征的权重,最后用分类器得到情感分类的结果。提出的模型在IMDB英文语料库上进行多组对比实验,结果表明,该方法在文本分类中的准确率达到91.23%。

基于并行混合网络的短文本情感分析模型

针对目前在短文本语义情感分析过程中会存在的传统词嵌入对情感语义表达不充分,特征挖掘不全面,准确率较低等问题,提出一种基于多头注意力机制的MACGRU并行混合网络模型。首先,根据胶囊网络(CapsNet)与双向门限循环单元网络(BiGRU)不同的特点选择BERT词嵌入与Glove词嵌入对短文本做向量化表示,并对Glove词嵌入改进加入位置嵌入和词性嵌入,使短文本在词嵌入阶段获取更丰富的短文本信息;其次,将BERT训练的词向量和Glove训练的词向量分别输入CapsNet和BiGRU中提取短文本局部语义信息和短文本的上下文语义信息;然后,在CapsNet和BiGRU的特征输出后都加入多头注意力机制对提取到的情感特征进行加权处理;最后,将多头注意力机制加权后的局部特征和上下文语义特征进行融合并通过softmax函数进行情感分类输出。上述模型在公开数据集COVID-19上进行实验验证,其模型的准确率,精准率,召回率,F1指标都达到了95%以上,相较于其它基准模型性能更优,也充分证明了该模型的优越性。

多重注意力特征融合网络对中文评价情感分析

针对目前中文评价情感分析对深层情感语义信息关注较少的问题,提出一种多重注意力的特征融合神经网络模型简称MTA-CBG(Multi-Attention Convolution-BiGRU).传统词向量不能有效解决一词多义的情况,本文构建了自注意力(Self-Attention)词向量矩阵模型,获取词语间的关联特征.通过多尺度宽卷积结构(Multi-scale Wide Convolution,MWC)全面地提取局部特征.将两种不同粒度的特征融合后输入双向门限循环单元(Bidirectional Gated Reccurrent Unit,BiGRU)学习序列化特征,在解决长距离依赖问题的同时获取更广泛的文本特征.最后输入改进的高速注意力层(Attention-Highway)构建句子级的关联,提取深层情感语义特征.通过多组对比实验证明本文所提方法能有效提高中文评价情感分析的准确率和F1值.

一种加权词向量的混合网络文本情感分析方法

针对文本中关键信息被忽略以及分类准确率不高的问题,提出一种加权word2vec的卷积神经网络(CNN)与ATT-BiGRU混合神经网络情感分析模型.由于word2vec生成的词向量无法突出文本关键词的作用,因此引入词频-逆文档频率(TF-IDF)算法计算词汇权重值.然后,将加权运算后的词向量输入CNN与ATT-BiGRU混合模型提取隐含特征.该模型通过卷积神经网络(CNN)和基于注意力机制的双向门限循环单元(ATT-BiGRU)分别提取文本特征,以此来提高文本的表示能力.多组实验对比结果表明,与其他算法相比较,该模型的分类准确率最高且耗费时间代价小.

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络(CNN)在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息,从而限制模型的文本分类性能这两大问题,提出一种并行混合神经网络模型CA-BGA。首先,采用特征融合的方法在CNN的输出端融入双向门限循环单元(BiGRU)神经网络,通过融合句子的全局语义特征加强语义学习;然后,在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制,从而在保留较多特征信息的同时,降低噪声干扰;最后,基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明,提出的混合神经网络模型具有收敛速度快的特性,并且有效地提升了文本分类的F1值,在中文评论短文本情感分析任务上具有优良的性能。

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法.针对录音文本,通过双向词嵌入语言模型(ELMo)获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络(CNN)挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元(GRU),捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重.实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络(CNN)不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络(RNN)存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。

融合BiGRU和记忆网络的会话推荐算法

为消除噪声、充分使用邻域信息并考虑用户动态兴趣,提出一种融合BiGRU和记忆网络的会话推荐模型。使用BiGRU捕获会话总体特征,使用另一个加入缩放点积自注意力的BiGRU消除噪声项的干扰并捕获细粒度的用户兴趣,使用记忆网络通过邻域会话信息预测当前的会话意图,改进融合选通门进行特征融合并计算每个候选项的推荐分数。通过在两个数据集上的实验,验证了该模型能够准确预测用户意图,提高推荐效果。

基于Bert和卷积神经网络的人物关系抽取研究

通过构造人物关系数据集,将人物关系定义为14类,提出了基于Bert-BiGRU-CNN的人物关系抽取网络模型.该模型首先通过Bert预训练模型获取上下文语义信息的词向量,利用双向门限循环单元网络(BiGRU)进一步获取相关的文本特征,然后加入卷积神经网络(CNN)获取局部文本特征,最后通过全连接层加Softmax分类器进行关系分类.在构造的人物关系数据集中进行了实验,结果表明,本文模型相较于其他4种模型进一步提高了人物关系抽取的精确率和召回率.

基于WRF模拟和注意力机制的短期风速预测

提出一种结合中尺度数值天气预报(WRF)模式和注意力机制(AM)的短期风速预测模型。首先,利用WRF模式模拟多维数据,包括风速、风向、温度和湿度,作为后续算法的输入变量。其次,利用变分模态分解将WRF风速误差及其他相关气象因素分解成不同频率的子模态分量,降低原始数据的复杂性和非平稳特征。随后,使用自适应网格搜索算法对添加注意力机制的双向门限循环单元进行模型结构参数优化。最后,基于所提模型预测误差修正WRF风速。通过算例分析,所提模型在单步和多步预测中精度均优于对比模型,证明了模型的优越性。

基于双重注意力机制的远程监督中文关系抽取

相比于传统有监督的中文关系抽取方法,基于远程监督的方法可极大地避免训练语料匮乏的问题,因此得到了广泛关注。然而,远程监督方法的性能却严重受困于构建语料过程中引入的错误标签,因此为缓解噪声数据所带来的影响,提出一种基于双重注意力机制的关系抽取模型。该模型可通过双向门限循环单元(Bidirectional Gated Recurrent Unit,BI-GRU)网络获取训练实例的双向上下文语义信息,并利用字符级注意力机制关注实例中重要的语义特征,同时在多个实例间引入实例级注意力机制计算实例与对应关系的相关性,以降低噪声数据的权重。在基于互动百科构建的中文人物关系抽取语料上的实验结果表明,该模型相比于单注意力机制模型可有效利用实例中所包含的语义信息并降低错误标签实例的影响,获取更高的准确率。

基于ERNIE-BiGRU模型的中文文本分类方法

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元(BiGRU),将训练后的词向量作为BiGRU的输入进行训练,得到文本分类结果。实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94.32%,召回率为94.12%,F 1值为0.9422,在中文文本分类任务中具有良好的性能。

基于ERNIE_BiGRU模型的中文医疗文本分类

【目的】探究ERNIE模型(Enhanced Language Representation with Informative Entities)和双向门限循环单元(Bi GRU)在医疗疾病名称科室分类中的效果及差异。【方法】以医疗疾病名称为训练样本,以BERT(Bidirectional Encoder Representation from Transformers)为对比模型并在模型之后加入不同网络层进行训练探究。【结果】ERNIE模型在分类效果上优于BERT模型,精度约高4%,其中精确度可达79.48%,召回率可达79.73%,F1分数可达79.50%。【局限】仅对其中的八个科室进行分类研究,其他类别由于数据量过少而未纳入分类体系中。【结论】ERNIE-BiGRU分类效果较好,可应用于医疗导诊系统或者卫生统计学中。