结合注意力机制与双向切片GRU的情感分类模型

在文本情感分析中,切片循环神经网络(SRNN)是目前最先进的长文本分析的高效解决方案.针对切片操作导致的低层网络的长期依赖性损失和单向SRNN无法充分提取文本语义特征的问题,提出一种基于双向切片门控循环单元和注意力机制(Bi-SGRU-Attention)结合的情感分类模型.首先,将文本序列切片成多个子序列,输入到双向门控循环单元,然后,利用注意力机制对每个子序列隐藏状态进行加权计算,通过多个网络层获得整个文本序列信息.最后经过softmax函数输出文本情感极性.通过多组对比实验,结果表明,提出的Bi-SGRU-Attention模型,在IMDB数据集上取得90.86%的准确率、90.66%的F1值和0.2301的损失,同时通过可视化子序列的注意力权重,也进一步验证了添加注意力机制弥补低层网络的长期依赖性损失的有效性.