基于情感增强和语义依存的金融隐式情感分析模型

金融情感分析是一种判断金融文本的情感倾向性的技术,广泛应用于舆情分析和监管协调等方面。由于金融领域文本中包含隐式情感信息,难以根据情感特征直接判定情感极性。针对这一问题,提出一种基于情感增强和语义依存的金融隐式情感分析模型(FSED),以期提高分类的准确率。首先,采用FinBERT生成词向量,并输入到Bi-GRU提取上下文语义信息,通过嵌入积极和消极情感词向量构建两极注意力机制,用于分别提取2种语境下的情感特征向量;然后,根据文本的语义依存图建立依存关系和关系类型矩阵,结合2种矩阵和top-k策略构建选择注意力矩阵,再输入到图卷积网络来提取文本的语义依存特征;最后,融合情感增强和语义依存的特征,并使用平均池化和最大池化层对特征进行压缩,经全连接层和Softmax获得分类结果。实验结果表明,相较于A-GCN,FSED可以提升金融领域隐式情感分析的准确率。

基于BERT与注意力机制的方面级隐式情感分析模型

在方面级情感文本中存在部分不含情感词的评论句,对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息,并且不能准确提取上下文中深层特征,本文首先构造了方面词感知BERT预训练模型,通过将方面词引入到基础BERT的输入嵌入结构中,生成与方面词信息相关的词向量;然后构造了语境感知注意力机制,对由编码层得到的深层隐藏向量,将其中的语义和句法信息引入到注意力权重计算过程,使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明,本文模型的效果优于基线模型.

RoBERTa融合BiLSTM及注意力机制的隐式情感分析

隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模型。该模型使用RoBERTa预训练模型捕获隐式情感句中字词的语义特征,再使用双向长短期记忆网络学习句子的正反向语义信息,以捕获句子间的依赖关系,实现对文本深层次特征的提取。使用注意力机制进行情感权重计算,通过softmax函数进行归一化处理,得出隐式情感分类结果。实验结果表明,与现有的几种典型隐式情感分类模型相比较,RBLA模型在精确率、召回率和F1值上均取得了较好效果。

基于图注意力神经网络的中文隐式情感分析

情感分析是自然语言处理领域的重要任务之一,情感分析任务包含显式情感分析和隐式情感分析。由于隐式情感不包含显式情感词语,情感表达更加委婉,所以面临更大的挑战。提出基于图注意力神经网络的隐式情感分析模型ISA-GACNN(Implicit Sentiment Analysis Based on Graph Attention Convolutional Neural Network),构建文本和词语的异构图谱,使用图卷积操作传播语义信息,使用注意力机制计算词语对文本情感表达的贡献程度。针对多头注意力保存重复信息问题,使用注意力正交约束使得不同注意力存储不同的情感信息;针对情感信息分布不均的情况,提出注意力分值约束使模型关注部分重要词语。在隐式情感分析评测数据集上验证模型效果,所提出模型的F值达到91.7%,远高于文献中的基准模型;对注意力机制进行分析,验证了正交约束和分值约束的有效性。

上下文感知的树递归神经网络下隐式情感分析

针对现有的序列化模型对中文隐式情感分析中特征信息提取不准确以及对篇章级的文本信息提取存在的梯度爆炸或者梯度消失的问题,提出了双向长短时神经网络和上下文感知的树形递归神经网络(context-aware tree recurrent neutral network,CA-TRNN)的并行混合模型。该模型分别利用双向循环长短时记忆神经网络(BiLSTM)提取文本中的上下文信息,树形递归神经网络(TRNN)提取文本中目标句的语义特征信息,最后,使用特定目标句的注意力机制将两个表示信息进行融合表示后,经过softmax得出文本的情感分类结果。采用SMP2019微博中文隐式情感分析任务中的数据进行验证,实验结果表明,所使用的模型(CA-TRNN)可以有效提高分类结果的准确度,时间代价小,具有更好的应用能力。

基于ERNIE2.0-BiLSTM-Attention的隐式情感分析方法

隐式情感分析作为自然语言处理领域的子任务,因不具备显式情感词作为情感线索,使得传统文本情感分析方法不再有效.本文旨在使用深度学习方法进行文本的隐式情感分析,根据文本隐式情感极性与句中实体、上下文语境、外部知识相关的特点,本文提出一种基于ERNIE2.0-BiLSTM-Attention(EBA)的隐式情感分析方法,能够较好捕捉隐式情感句的语义及上下文信息,有效提升隐式情感的识别能力,最后在SMP2019公开数据集上取得较好分类效果,分类模型准确率达到82.3%.

基于ChineseBERT的双通道隐式情感分类

隐含情感分析是当前自然语言处理领域的热门研究方向之一。相比于传统的文本情感分析方法,隐含情感分析面临着一些挑战,例如表达方式较为隐晦、缺乏明确的情感词汇等。针对这些问题,提出一种基于ChineseBERT的双通道中文隐式情感分类模型。首先,采用嵌入汉字音形向量的ChineseBERT预训练模型来提取文本词的动态向量表征。然后,并行联合使用CNN与BiLSTM混合神经网络模型,通过嵌入自注意力机制的多尺度CNN网络捕捉文本局部特征,同时引入结合自注意力机制的BiLSTM提取文本深层次上下文信息特征,将改进后的CNN与BiLSTM进行特征拼接。最后,输入全连接层获得情感分类结果。经过实验,所设计的模型在SMP2019“拓尔思杯”数据集上Acc值达到了82.5%,分类效果显著提升,验证了模型具有可行性和有效性。

一种融合上下文特征的中文隐式情感分类模型

对网络上海量的文本数据进行情感分析,可以更好地挖掘网民行为规律、帮助决策机构了解舆情倾向和改善商家服务质量。在实际表达中,人们除了采用带有明显情感词的主观表达外,还采用含蓄的方式表达自己的主观倾向。带有显式情感词的文本情感分析作为自然语言处理领域的基础性研究任务,已经取得了丰富的研究成果。然而,针对隐式文本的情感分析技术还处于起步阶段。与显式情感分析任务相比,隐式情感分类任务更加困难。隐式表达文本具有中立性表达、缺乏情感词和上下文依赖的特点,使得传统的文本分类方法不再适用。针对以上问题,采用word2vec词嵌入技术提取文本特征,分别进行了基于TextCNN、LSTM和BiGRU分类模型的研究。在各个深度分类模型研究基础上,还进行了融合注意力机制的分类模型研究。针对隐式表达对上下文内容依赖的特点,设计了一种融合上下文语义特征和注意力机制的分类模型,增强了部分中立性隐式表达句的分类效果。最后在SMP2019公开数据集上进行了实验,取得了比上述几种基础深度网络模型与融合注意力机制分类模型更好的分类效果。

结合图卷积网络的多模态仇恨迷因识别研究

针对现有迷因识别方法常忽视网络实体作用的情况,提出一种结合图卷积网络的迷因识别方法。提取图像中网络实体信息,利用图卷积网络对网络实体模态和文本模态进行融合,结合外源词典从多角度衡量网络实体和迷因文本之间的关系,构建跨域图;通过注意力模块对文本和图像模态进行交互,结合自蒸馏技术提高模型对信息的利用率。实验结果表明:该方法在Hateful Memes和MAMI数据集上的准确率分别达到76.03%和73.9%,性能优于现有的SOTA模型。

基于ALBERT-DPCRNN弹幕情感分类模型研究

提出一种结合ALBERT预训练语言模型与具有多极正交注意力机制的BiSRU弹幕文本情感模型ALBERT-DPCRNN。使用ALBERT预训练语言模型获取文本的动态特征表示,使得句子中同一个词在不同上下文语境中具有不同的词向量表达。结合带有多级正交注意力机制的BiSRU模块来提高模型捕捉弹幕中隐式情感信息的能力。实验结果表明,该模型准确率达到94.5%。

基于文本语义和社交行为信息融合的讽刺检测方法

讽刺是一种复杂的隐式情感,讽刺检测是文本情感分析领域的重要研究问题,对于社交网络舆情分析有极强的现实意义。讽刺文本的表层语义和用户的真实情感往往相反,基于表层语义的文本情感检测通常会得到错误的分类结果。日常交流中的讽刺往往借助语调、神态等非文本信息进行表达,因此单纯基于文本语义的讽刺检测方法无法利用非文本信息,极大地制约了检测效果。为了充分利用文本语义与用户社交行为信息,提升讽刺检测效果,提出了一种基于文本语义和社交行为信息融合的讽刺检测方法。该方法构造了包含用户、文本、情感词的异质信息网络,并设计了一种用于异质信息图表征向量计算的图神经网络模型。该模型使用双重注意力机制提取社交行为信息,通过情感子图挖掘文本深层语义,最终得到融合文本语义和社交行为信息的融合特征向量。融合特征向量可以用于训练分类器,进而完成社交网络文本讽刺检测。在推特真实数据集上的充分实验表明,所提方法的分类效果优于现有的讽刺文本检测方法。