融入自注意力机制的深度学习情感分析方法

文本情感极性分析是自然语言处理的热点领域,近年来基于中文语料的情感分析方法受到了学术界的广泛关注。目前大部分基于词向量的循环神经网络与卷积神经网络模型对于文本特征的提取和保留能力不足,为此文中引入了多层自注意力机制,提出了一种结合双向门控循环单元(BGRU)和多粒度卷积神经网络的中文情感极性分析方法。该方法首先使用BGRU获取文本的序列化特征信息,然后使用自注意力机制进行初步特征筛选,将处理后的特征信息导入含有不同卷积核的卷积神经网络;再使用自注意力机制对获得的局部特征进行动态权重的调整,注重关键特征的抽取;最后经Softmax获得文本情感极性。实验结果证明,模型在两种中文语料数据集上都体现了较好的分析处理性能,其中在ChineseNLPcorpus的online;hopping;0;ats数据集上取得了92.94%的情感分类准确性,在中科院谭松波学者整理的酒店评论数据集上取得了92.75%的情感分类准确度,相比目前的主流方法,其性能均有显著的提升。

基于BERT-BiGRU模型的文本分类研究

文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F;分值上分别提高了3.7%和5.1%。

基于ALBERT-BIGRU的情感分析模型

针对预训练模型BRET所面临的模型复杂、参数规模大带来的训练难度提升问题,提出一种基于ALBERT(A Little BERT)的情感分析模型ALBERT-BiGRU-attention-CRF。在online_shopping_10_cats网络购物评论数据集上取得了93.58%的F1值,同传统BiGRU-CRF等情感分析模型相比均有所提升,同BERT模型相比在P值上提升0.61%,且缩短将近一半运行速度时间。实验结果最终表明该模型在缩减模型参数需求,增加运行效率的同时能有效保留类似BERT模型的模型表现。

融合双通道语义特征的情感分析研究

现有大多数深度学习模型结构单一,通常会降低文本语义特征提取能力。为此,提出一种融合双通道语义特征(FDSF)的情感分析研究模型。首先,采用BERT预训练语言模型获取文本的动态特征向量表示。然后,将BiG-RU-Attention通道提取的全局语义信息经注意力动态权重调整后,与CNN通道提取的局部语义信息进行特征向量融合。最后,将融合特征经过全连接层与Softmax函数,输出最终情感极性。在ChineseNLPcorpus的online_shopping_10_cats、中科院谭松波学者整理的数据集上与现有主流情感分析方法进行比较实验,结果表明,FDSF模型在F1值与准确率方面均最优,证明了该模型在情感分析任务中的有效性和可行性。

融合残差网络与自注意力机制的心律失常分类

在心血管疾病的诊断中,心电信号的分析一直起到至关重要的作用。目前如何利用算法有效识别出信号中的异常心拍,仍然是心电信号分析领域中的难点。本文将深度残差网络与自注意力机制相结合,提出了一种能够自动识别出异常心拍的分类模型,该模型首先基于残差结构设计了18层卷积神经网络,用来充分提取信号中的局部特征,之后再结合双向门控循环单元,用于提高网络对于时序特征的挖掘能力,最后引入自注意力机制为提取到的每一个特征赋予区分化的权重,协助模型在训练的过程中更有效地关注重要特征,以此来获得较高的分类精度。本研究采用多种方式进行数据增强,缓解了由于数据不平衡问题对模型效果带来的影响。本研究实验数据来源于麻省理工学院与贝斯以色列医院(MIT-BIH)构建的心律失常数据库,最终结果表明,研究提出的模型在原始数据集上达到了98.33%的总体准确率,在优化后的数据集中达到了99.12%的总体准确率,证明了该模型在心电信号分类方面拥有良好的效果,具备应用到便携式心电检测设备的潜在价值。