基于块注意力机制和Involution的文本情感分析模型

【目的】解决卷积核宽度与词向量维度相同使得卷积层参数过多的问题,解决卷积操作的稀疏连接以及卷积的空间不变性和通道特异性不适用于文本任务的问题。【方法】提出一种基于块注意力机制和Involution的文本情感分析模型。模型先对分词后的单个词向量进行变形,将一维词向量变形为n×n词矩阵块,然后将句子中多个词的词矩阵块拼接成句子矩阵。句子矩阵经过块注意力机制层,增强了文本特征的上下文相关性及位序信息,再通过采用具有空间特异性和通道不变性的Involution对句子矩阵进行特征提取,最后使用全连接层进行文本情感分类。【结果】在三个文本情感分析公开数据集waimai_10k、IMDB、Tweet上的实验表明,所提模型的分类准确率分别达到88.47%、86.22%、94.42%,与词向量卷积网络和循环神经网络中的Bi-LSTM模型相比准确率分别提高6.47、7.72、9.35个百分点和1.07、1.01、0.59个百分点。【局限】所提模型在大型数据集上的分类准确度低于中小型数据集。【结论】引入块注意力机制和Involution的文本情感分析模型解决了参数量过多、卷积操作的稀疏连接以及卷积的空间不变性和通道特异性的问题,在不同数据集上,与传统卷积模型比较,本文模型的准确率有所提升。