随着网络中多元化、碎片化的文本数量增多,传统模型对此类文本进行情感分析时,存在长距离语义信息挖掘不够充分、深层次的特征提取不够完整的问题。为解决上述问题,提出了基于ALBERT-HACNN-TUP(A self-supervised learning model based ...随着网络中多元化、碎片化的文本数量增多,传统模型对此类文本进行情感分析时,存在长距离语义信息挖掘不够充分、深层次的特征提取不够完整的问题。为解决上述问题,提出了基于ALBERT-HACNN-TUP(A self-supervised learning model based on a Lite BERT and text universal pooling a hierarchical attention convolutional neural network)的情感分析模型。模型首先使用ALBERT预训练语言模型提取更长距离的语义信息;其次改进CNN的卷积层,提出了一种分层注意力卷积神经网络(HACNN),根据卷积层提取特征信息的重要程度进行动态权重调整,进一步突出文本的情感极性词;再利用池化层Text Universal Pooling(TUP)动态学习池化权重,对不同通道进行提取和融合,最大程度保留了文本更深层次的情感特征,尤其对含有复杂语义的反讽文本有更好的效果。在不同数据集上进行了实验。仿真结果表明,上述模型提高了运行效率,具有良好的泛化性与精确度。展开更多
文摘随着网络中多元化、碎片化的文本数量增多,传统模型对此类文本进行情感分析时,存在长距离语义信息挖掘不够充分、深层次的特征提取不够完整的问题。为解决上述问题,提出了基于ALBERT-HACNN-TUP(A self-supervised learning model based on a Lite BERT and text universal pooling a hierarchical attention convolutional neural network)的情感分析模型。模型首先使用ALBERT预训练语言模型提取更长距离的语义信息;其次改进CNN的卷积层,提出了一种分层注意力卷积神经网络(HACNN),根据卷积层提取特征信息的重要程度进行动态权重调整,进一步突出文本的情感极性词;再利用池化层Text Universal Pooling(TUP)动态学习池化权重,对不同通道进行提取和融合,最大程度保留了文本更深层次的情感特征,尤其对含有复杂语义的反讽文本有更好的效果。在不同数据集上进行了实验。仿真结果表明,上述模型提高了运行效率,具有良好的泛化性与精确度。
