ON-LSTM和自注意力机制的方面情感分析

方面情感分析是更细粒度的文本情感分析,传统的方法是采用长短时记忆神经网络和注意力机制相结合,但实际并未考虑到方面情感特征项与句子上下文之间的联系,并且在预训练阶段通常使用静态语言模型,无法根据需要调整输入词向量.针对以上两个问题,本文提出一种基于有序神经元长短时记忆和自注意力机制的方面情感分析模型(ON-LSTM-SA).首先,利用深层语境化词表征(ELMo)进行语料的预训练.其次,在隐藏层采用ON-LSTM神经网络模型从上下文的左右两个方向同时进行训练,获取方面情感特征项与句子之间的层级结构关系.最后,根据自注意力机制计算内部的词依赖关系.该模型通过在SemEval2014和SemEval2017中的Laptop、Restaurant和Twitter三个数据集上进行实验,与传统LSTM模型相比分别提升了2.1%、5.9%和6.5%.

基于改进词性信息和ACBiLSTM的短文本分类

中文短文本分类最重要的是提取和表示短文本特征,传统的表示方法静态训练词向量,存在特征稀疏、语义不足等问题,对此提出一种基于改进词性信息和ACBiLSTM的中文短文本分类模型。用BERT模型动态训练词向量,引入词性因子优化,将得到的具有词性信息的词向量作为输入层信息;经过卷积神经网络初步提取局部特征,通过双向长短时记忆网络进一步得到具有上下文时序信息的中间向量表示;结合注意力机制,突显关键信息,获得最终文本特征表示。在FudanNews、SougouNews及THUCNews数据集上将该模型与其他模型进行对比,实验结果表明,其准确率和F1值显著提高。