基于用户性格和语义-结构特征的文本评论情感分类方法

由于传统文本评论情感分类方法通常忽略用户性格对于情感分类结果的影响,提出一种基于用户性格和语义-结构特征的文本评论情感分类方法(User Personality and Semantic-structural Features based Sentiment Classification Method for Text Comments,BF_Bi GAC).依据大五人格模型能够有效表达用户性格的优势,通过计算不同维度性格得分,从评论文本中获取用户性格特征.利用双向门控循环单元(Bidirectional Gated Recurrent Unit,Bi GRU)和卷积神经网络(Convolutional Neural Network,CNN)可以有效提取文本上下文语义特征和局部结构特征的优势,提出一种基于Bi GRU、CNN和双层注意力机制的文本语义-结构特征获取方法.为区分不同类型特征的影响,引入混合注意力层实现对用户性格特征和文本语义-结构特征的有效融合,以此获得最终的文本向量表达.在IMDB、Yelp-2、Yelp-5及Ekman四个评论数据集上的对比实验结果表明,BF_Bi GAC在分类准确率(Accuracy)和加权macro F_(1)值(F_(w))上均获得较好表现,相对于拼接Bi GRU、CNN的情感分类方法(Sentiment Classification Method Concatenating Bi GRU and CNN,Bi G-RU_CNN)在Accuracy值上分别提升0.020、0.012、0.017及0.011,相对于拼接CNN、Bi GRU的情感分类方法(Sentiment Classification Method Concatenating CNN and Bi GRU,Conv Bi LSTM)F_(w)值上分别提升0.022、0.013、0.028及0.023;相对于预训练模型BERT和Ro BERTa,BF_Bi GAC在保证分类精度的情况下获得了较高的运行效率.

基于间接融合方式的多模态情感分析门控算法

由于Transformer的并行结构,在多模态情感分析领域借助其间接融合的模型大多难以建模时间维度上的语义关系、不能针对不同模态的重要程度有效控制信息输出。为此,提出AGRU-Transfusion-MGN融合算法。算法在门控循环单元上添加软注意力机制,提取时序情感信息;在Transformer的编码器和解码器间构造反向转换,使用平均绝对误差弥合解码特征与相应目标特征的融合损失;设置门控函数搭建多模态门控机制,综合判断不同模态的重要性。为验证算法性能,在多模态情感数据集CMU-MOSEI上进行实验,使用加权精度、平均绝对误差以及符号检测作为评价指标,结果显示本方法优于当前见刊的先进方法。

基于双编码器表示学习的多模态情感分析

多模态情感分析旨在通过用户上传在社交平台上的视频来判断用户的情感.目前的多模态情感分析研究主要是设计复杂的多模态融合网络来学习模态之间的一致性信息,在一定程度上能够提升模型的性能,但它们大部分都忽略了模态之间的差异性信息所起到的互补作用,从而导致情感分析出现偏差.本文提出了一个基于双编码器表示学习的多模态情感分析模型DERL(dual encoder representation learning),该模型通过双编码器结构学习模态不变表征和模态特定表征.具体来说,我们利用基于层级注意力机制的跨模态交互编码器学习所有模态的模态不变表征,获取一致性信息;利用基于自注意力机制的模态内编码器学习模态私有的模态特定表征,获取差异性信息.此外,我们设计两个门控网络单元对编码后的特征进行增强和过滤,以更好地结合模态不变和模态特定表征,最后在融合时通过缩小不同多模态表示之间的L2距离以捕获它们之间潜在的相似情感用于情感预测.在两个公开的数据集CMU-MOSI和CMU-MOSEI上的实验结果表明该模型优于一系列基线模型.

基于BiGRU-attention的中文微博评论情感分析

文本情感分析是自然语言处理中的一项重要任务。近年来,深度学习技术的快速发展使得基于循环神经网络的模型在情感分析任务上取得了显著的进展。文章提出了一种基于门控循环网络(Gate Recurrent Unit,GRU)和注意力机制的情感分析模型,即BiGRU-attention,通过引入注意力机制,使得该模型能够自动学习到每个词汇对情感预测的重要性权重,从而有针对性地关注句子中最具表达力的部分。实验结果表明,所提出的基于BiGRU-attention的模型准确率达到了91.98%,均优于GRU、UCRNN、fastText-BiGRU等对比模型,平均提高了约7.86百分点。

融合媒体信息和信号分解的股票市场深度学习预测

对股票市场未来回报和风险的精确预测不仅能够帮助理性投资者更加合理有效地进行投资,也能够为政策制定者和投资者提供有用的指导。利用金融新闻标题文本,通过词嵌入模型和机器学习等文本分析方法,构建考虑新闻累积效应的投资者时闻累积情绪指数表征投资者情绪;以上证指数为例,采用变分模式分解(VMD)方法将指数波动数据分解为各种内在固有模式进行实证分析。最后,引入双向门控循环单元(BiGRU)作为深度学习模型进行股票预测。结果表明,投资者情绪指数显著影响上证指数波动,并且积极情绪和消极情绪的影响是不对称的;考量投资者情绪指标进行信号分解,能够有效提高股票的预测性能,相对于单纯分析股票时间序列的BiGRU预测模型,VMD-BiGRU模型的MAE,RMSE,RMSPE,MAPE等指标降低超过30%;在基准场景下,VMD-BiGRU模型性能优于多个计量经济模型和机器学习模型,对于收益率和波动率预测的MAE,RMSE,RMSPE,MAPE等指标普遍降低超过40%;模型在五粮液、工商银行、科大讯飞3只个股的推广中保持着同样稳定精确的预测效果。

基于对抗双向GRU网络的跨语言情感分类方法

为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成对抗网络缩小中英文向量特征分布之间的差距;通过情感分类器进行情感分类。实验结果分析表明,该方法有效地提升了跨语言情感分类的准确率。

基于BERT-BGRU-Att模型的中文文本情感分析

针对传统情感分析任务中,使用Word2Vec(word to vector)模型生成文本词向量无法有效解决多义词表征,经典神经网络模型无法充分提取语义特征的问题,文中提出了基于BERT(bidirectional encoder representations from transformers)和双向门控循环单元(bidirectional gated recurrent unit,BGRU)以及注意力机制(attention mechanism,Att)的BERT-BGRU-Att中文文本情感分析模型。首先通过BERT预训练模型将中文文本转变为矩阵向量的表示形式,然后建立融合注意力机制的BGRU神经网络对文本信息进行特征提取,最后将信息特征按照不同的权重输入到Softmax分类器进行预测。在网络评论数据集上进行实验,结果显示该模型的预测效果优于相关网络模型,表明该模型在中文文本情感分析任务中的有效性。

一种基于LDA主题模型的评论文本情感分类方法

针对互联网出现的评论文本情感分析,引入潜在狄利克雷分布(Latent Dirichlet allocation,LDA)模型,提出一种分类方法。该分类方法结合情感词典,依据指定的情感单元搭配模式,提取情感信息,包括情感词和上、下文。使用主题模型发掘情感信息中的关键特征,并融入到情感向量空间中。最后利用机器学习分类算法,实现中文评论文本的情感分类。实验结果表明,提出的方法有效降低了特征向量的维度,并且在文本情感分类上有很好的效果。

E-learning评论文本的情感分类研究

自本世纪初起,E—learning作为一种灵活、丰富、高效的学习方式,被越来越多的学习者接受,而伴随着学习技术的逐步成熟,学习者对E—learning应用的要求也从最初的知识推送提升到能够在讲授者与学习者之间搭建有效的沟通桥梁,将零反馈的封闭式学习变成多反馈的协作学习。E—learning的评论信息隐含了学习者在学习中遇到的问题和建议,从中可挖掘学习者对学习资源及授课者的意见。这对改善教学模式、完善教学支持服务意义重要。现有E—learning系统所提供的海量评论信息中正面评论与负面评论夹杂,给挖掘学习者的真实意见和需求带来困难。本文对文本情感分类过程进行归纳,构建了一种情感分类应用模型,在完成预处理、创建词典、提取情感特征后实现了一个情感分类引擎,并将该引擎与实际系统整合。改进后的系统能够将学习者的评论文本自动分为正面评论、负面评论和中性评论,实际性能及用户体验评价结果表明,新的基于情感单元的情感分类方法能满足E—learning评论文本的情感分类需求。

基于微博的情感倾向性分析方法研究

随着微博等新型社会网络媒体的发展,人们在网络上传播着对各类话题的情感,社会网络也因此成为了挖掘社情民意的有效平台。传统文本分析算法难以适应篇幅短小、内容琐碎且富含情感特征的微博等短文本挖掘的需要。该文提出基于情感单元和评价对象分析的微博情感倾向性分析方法,通过基于词性共现概率计算的情感单元和情感评价对象抽取,计算情感单元的情感度,建立博主个性化及情感倾向性分析模型,完成情感倾向性分析。实验结果及分析验证了上述算法的有效性。

基于电商评论的文本情感分类效果研究

挖掘分析评论文本的情感倾向成为近年来自然语言处理领域的研究热点之一。本文以挖掘京东商城商品评论数据价值为研究视角,以深度学习中的循环神经网络为理论基础,将循环神经网络的各变体模型应用到文本情感分类任务中,对比不同改进模型的评论文本分类效果。本文首先研究了循环神经网络的变体模型长短期记忆模型LSTM、门控循环单元模型GRU在京东商品评论文本上的分类效果。实验表明,GRU模型在训练过程中的准确率更高且更早达到优化值,总体上GRU网络模型在文本分类上的效果优于LSTM网络模型。其次研究了以情感词驱动的、基于循环神经网络各变体模型的注意力神经网络模型,将各深度神经网络模型与注意力机制相结合,对比分析各组合模型的情感分类效果。实验表明,引入注意力机制的神经网络模型,较传统网络模型分类准确率都有所提升,且会更快地达到优化值。

基于依存句法的跨语言细粒度情感分析

[目的/意义]粗粒度的跨语言情感分析往往只考虑篇章段落中的情感分布信息,而忽略深层次的语义关系。为弥补这一缺陷,文章提出一种基于依存句法的跨语言细粒度情感分析算法。[方法/过程]首先对中文文本进行依存句法分析,从深层的语义关系入手,提出一系列识别规则,提取情感评价单元;然后利用机器翻译对情感评价单元进行语言转换;最后通过与英文情感词典的匹配分析,对情感评价单元的情感极性进行判定。[结果/结论]实验结果表明,与原有的情感评价单元提取方法相比,本文的方法在一定程度上提高了提取效率;同基础的单语言情感分析方法相较,借助英文情感词典所做的跨语言情感分类结果更为理想。

情感分析的跨模态Transformer组合模型

基于Transformer的端到端组合深度学习模型是多模态情感分析的主流模型。针对相关工作中此类模型存在的低资源(low-resource)模态数据的情感特征提取能力不足、不同模态非对齐数据的特征尺度差异导致对齐融合过程中易丢失关键特征信息、基础注意力模型并行处理多模态数据导致多模态长期依赖机制不可靠的问题,提出了一种基于轻量级注意力聚合模块与跨模态Transformer的能使用多模态非对齐数据执行二分类和多分类任务的多模态情感分析模型LAACMT。LAACMT模型提出采用门控循环单元与改进的特征提取算法提取低资源模态信息,提出位置编码配合卷积放缩方法用于对齐多模态语境,提出跨模态多头注意力机制融合已对齐的多模态数据并建立可靠的跨模态长期依赖机制。LAACMT模型在包含文本、语音和视频的三种模态非对齐数据集CMU-MOSI上的实验结果表明该模型的性能评价指标较SOTA有稳定提升。其中Acc7提升了3.96%、Acc2提升了4.08%、F1分数提升了3.35%。消融实验结果数据证明所提模型解决了多模态情感分析相关工作中存在的问题,降低了基于Transformer的多模态情感分析模型的复杂度,提升了模型性能的同时避免了过拟合问题。

基于并行混合网络的短文本情感分析模型

针对目前在短文本语义情感分析过程中会存在的传统词嵌入对情感语义表达不充分,特征挖掘不全面,准确率较低等问题,提出一种基于多头注意力机制的MACGRU并行混合网络模型。首先,根据胶囊网络(CapsNet)与双向门限循环单元网络(BiGRU)不同的特点选择BERT词嵌入与Glove词嵌入对短文本做向量化表示,并对Glove词嵌入改进加入位置嵌入和词性嵌入,使短文本在词嵌入阶段获取更丰富的短文本信息;其次,将BERT训练的词向量和Glove训练的词向量分别输入CapsNet和BiGRU中提取短文本局部语义信息和短文本的上下文语义信息;然后,在CapsNet和BiGRU的特征输出后都加入多头注意力机制对提取到的情感特征进行加权处理;最后,将多头注意力机制加权后的局部特征和上下文语义特征进行融合并通过softmax函数进行情感分类输出。上述模型在公开数据集COVID-19上进行实验验证,其模型的准确率,精准率,召回率,F1指标都达到了95%以上,相较于其它基准模型性能更优,也充分证明了该模型的优越性。

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。

一种加权词向量的混合网络文本情感分析方法

针对文本中关键信息被忽略以及分类准确率不高的问题,提出一种加权word2vec的卷积神经网络(CNN)与ATT-BiGRU混合神经网络情感分析模型.由于word2vec生成的词向量无法突出文本关键词的作用,因此引入词频-逆文档频率(TF-IDF)算法计算词汇权重值.然后,将加权运算后的词向量输入CNN与ATT-BiGRU混合模型提取隐含特征.该模型通过卷积神经网络(CNN)和基于注意力机制的双向门限循环单元(ATT-BiGRU)分别提取文本特征,以此来提高文本的表示能力.多组实验对比结果表明,与其他算法相比较,该模型的分类准确率最高且耗费时间代价小.

多元特征融合的GRU神经网络文本情感分类模型

传统机器学习文本情感分类算法文本表示维度高、语义丢失、矩阵稀疏、分类模型浅,导致算法泛化能力弱;基于深度学习的文本情感分类算法推崇数据驱动,忽略了对情感已有的先验知识,算法需要大量的训练数据才能获得较好效果.针对这一现象,提出基于词嵌入特征、词情感特征、词权重特征融合的GRU神经网络文本情感分类模型(TMMG):该模型通过Word2vec模型得出低维稠密且包含语义信息的词嵌入特征;根据文本情感表达特点,构造包含六种情感要素的情感字典,依据情感要素字典定量表示情感特征;使用TF-IDF计算词语的权重特征;将前面3类特征融合构造词语融合特征表示,并将文本转换成融合特征序列数据;利用GRU神经网络处理序列化数据的优势,构建情感分类模型TMMG.实验结果发现该模型TMMG相比传统机器学习具有更好的泛化能力,相比其他深度学习算法在较少训练数据量时也能获得较好的分类效果.

引入注意力机制的BiGRU-CNN情感分类模型

自然语言处理中采用提取用户评论中的情感信息来进行情感分类的研究,但在现有的方法中很多只考虑了评论中的文本信息,而忽略了用户特征和产品特征在决定评论的情感时发挥的作用.因此,为了解决上述问题,本文提出一种引入注意力机制(Attention Mechanism,AM),将双向门控递归单元(Bidirectional Gated Recurrent Unit,BiGRU)和卷积神经网络(Convolutional Neural Netw ork,CNN)相联合的文本情感分类模型.本模型首先利用BiGRU进行序列化学习,然后引入注意力机制将较大的权重赋予给相关的特征,之后将其作为CNN的输入来提取评论文本中的特征,从而充分结合了文本的时间序列信息和局部上下文信息,将最大池应用于连接向量,分别得到用户评论文本与产品文本的特征表示,并将两者进行结合得到最终的文本特征进行分类.经实验结果表明,该模型对评论文本情感分类的作用是很大的.

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。

基于多层跨模态注意力融合的图文情感分析

针对现有图文情感分析模型仅考虑图像高层特征与文本特征的联系,而忽视图像低层特征的问题,提出了一种基于多层跨模态注意力融合(Multi-level cross-modal attention fusion, MCAF)的图文情感分析模型。该模型首先将VGG13网络外接多层卷积,以获取不同层次的图像特征,并使用BERT词嵌入与双向门控循环网络(Gated recurrent unit, GRU)网络获取文本情感特征;然后将提取后的多层图像特征与文本特征进行注意力融合,得到多组单层文本-图像注意力融合特征,并将其通过注意力网络分配权重;最后将得到的多层文本-图像注意力融合特征输入全连接层,得到分类结果。在公开的MVSA和Memotion-7k数据集上进行实验,结果显示:与图文情感分析基线模型相比,基于多层跨模态注意力融合的图文情感分析模型的准确率和F1值在MVSA数据集上分别提升2.61%和3.56%,在Memotion-7k数据集上分别提升3.25%和3.63%。这表明该模型能够有效提高图文情感分类性能。