融合双通道的语义信息的方面级情感分析

针对方面级情感分析任务中语义信息难以提取以及方面词信息难以和上下文信息相关联的问题,提出一种融合双通道的语义信息模型(FDCS)。通过BERT预训练模型搭建两个通道获取不同层次的语义信息,一个是全局信息通道,另一个是句子信息通道;使用语义注意力融合双通道中不同层次的语义信息,将融合后的语义信息再次分别融入全局信息和句子信息;根据每个通道语义信息的不同分别提取相应的特征信息。在3个基准数据集上的实验结果表明,该模型的性能优于其它模型。

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge,WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network,WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network,SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网络的特征用于情感分类。此外,设计了一种权重分配策略,在放大方面项权重的同时保持上下文权重一致,避免错误的计算方面项特征与重要特征的语义相关性。在多个公开数据集上的实验结果表明,所提方法优于对比模型。

融合双图卷积与门控线性单元的方面级情感分析模型

方面级情感分析旨在确定句子中给定方面的情感极性。现有的基于图神经网络的方面级情感分析存在以下2个方面的不足:忽略了不同类型的句法依存关系和语料库中的词共现信息,以及不能准确地控制情感信息流向给定方面。针对以上问题,提出融合双图卷积与门控线性单元(GLU)的方面级情感分析模型。该模型首先采用全局词汇图来编码语料库中的词共现信息,在词汇图和句法图上利用分类概括结构来区分各种词共现频率和不同类型的句法依存关系。然后分别在2个图上进行双层卷积,继而使用Bi Affine变换模块作为桥梁,在2个图卷积网络模块之间有效地交换相关特征,从而有效地融合句法信息和词汇信息。最后利用GLU控制情感信息流向给定方面,使模型可以更专注地分析与该方面相关的情感信息,避免不相关的情感信息影响对给定方面的情感分析结果,从而提高分析的准确性。实验结果表明,在Twitter、Laptop14、Restaurant15和Restaurant16数据集上,该模型的准确率分别达到74.82%、77.61%、82.29%和89.81%,F1值分别达到72.97%、73.52%、67.72%和73.37%,方面级情感分类效果明显优于其他基线模型。

融合多窗口特征的词对标记情感三元组抽取

方面情感三元组抽取旨在从句子中抽取方面词、意见词和对应的情感极性。针对目前研究未充分挖掘局部上下文语义信息,缺乏对局部范围内的方面意见词对关联学习,以及遭受错误传播等问题,提出一种融合多窗口特征的词对标记情感三元组抽取模型。该模型利用BERT对句子信息进行处理,获取句子编码特征,采用多窗口特征学习机制学习局部范围内的情感特征关联,并挖掘句子包含的潜在语义信息,使用多头注意力图转换模块将所学习到的特征聚合成标记分布概率,利用改进的词对标记方案标记句子并解码得到三元组。在SemEval-ASTE的四个基准数据集上进行实验分析,相比GTS-BERT模型,所提模型在三元组抽取任务上F1分值分别提高了2.33、6.57、2.97、4.84个百分点。实验结果表明,所提模型可以有效学习局部语义信息,准确标记方面意见跨度,较为精确地提取情感三元组。

融合词法句法信息的方面级情感分析模型

为解决现有方面级情感分析方法缺乏句法约束和词义信息的问题,将句法依存树和知识图谱融合起来对句子编码,提出一种词法句法相结合的图神经网络模型。利用图神经网络分别提取句法依存树中的句法信息和知识图谱中的词法信息,经过位置编码模块和掩码加权模块捕捉重要性更高的单词;将两种特征进行结合获得融合句法词法信息的文本表示,进行情感分类。在3个公开数据集上的实验结果验证了该模型的有效性。

基于MacBERT与对抗训练的在线课程评论的方面词抽取

针对目前在线教育数据集规模相对较小,方面词抽取任务的标注数据相对稀缺的现象,提出利用在线课程评论制定相应的数据集。为验证基于深度学习的方面词抽取方法的有效性,提出基于MacBERT与对抗训练的方面词抽取模型。该模型利用MacBERT层提取文本语义信息并转换为词向量;在原始词向量上加入一定扰动生成对抗样本,提高模型鲁棒性;再通过BiLSTM层进一步获取上下文信息;最后使用CRF进一步优化模型结果,得到最佳预测序列。实验结果表明,在构建的在线课程评论数据集和人民日报公共数据集中,该模型识别结果优于其他基于主流神经网络的方面词抽取模型,较BERT-BiLSTM-CRF模型F1值分别提升了7.45%、7.06%,证明了该方法的可行性。

基于双策略图卷积网络的方面级情感分析

针对依赖解析结果不准确和在线评论复杂性导致的方面词情感分类效果差的问题。提出一种基于双策略图卷积网络(Dual-Strategy Graph Convolutional Network)模型的方法。首先利用依赖解析器中反映所有依赖关系的概率矩阵构造一个具有丰富句法知识的SynGCN模块,其次利用自注意力机制获得邻接矩阵形式的注意力得分矩阵作为WcoGCN模块的邻接矩阵,并利用正则化器约束该模块中的注意力分数来精准捕获词之间的相关性。实验结果表明:该模型准确率、F1值均优于其他的模型,能够提升公共数据集的情感分类效果。

基于句信息增强词信息的方面级情感分类

方面级情感分类属于细粒度的情感分类,旨在判断句子中指定方面词的情感极性。近年来,句法知识在方面级情感分类任务中得到了广泛应用。目前主流的模型利用句法依存树和图卷积神经网络进行情感极性的分类。然而,此类模型着眼于利用聚合后的方面词信息来判断情感极性,很少关注句子的全局信息对情感极性的影响,从而导致情感极性分类结果出现偏差。为了解决这一问题,提出了一种基于句信息增强词信息的方面级情感分类模型,该模型通过对比学习对句向量进行表示学习,以减小句向量对比损失为目标调整词向量的特征表示,最后通过图卷积神经网络聚合意见词信息得出情感分类结果。在SemEval2014数据集和Twitter数据集上进行实验,结果表明,所提模型可以提高分类的准确性,综合验证了该方法的有效性。

基于位置增强词向量和GRU-CNN的方面级情感分析模型研究

方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度量公式获得增强的词向量表示;在上下文编码模型方面,使用GRU-CNN网络提取文本语义特征。在SemEval2014 Task4数据集上的实验表明,提出的模型在Restaurant和Laptop领域中的准确率分别达到了85.54%和80.35%,证实了所提出模型的有效性。

基于ASPeCT的TMBOC信号码跟踪环路

二进制偏置载频调制(Binary offset carrier,BOC)调制相比传统的BPSK调制,可以实现频段共用、频谱分离和优越的抗干扰、抗多径等性能,但缺点是BOC信号相关峰存在多峰,接收机捕获时容易造成主峰错锁,从而影响导航定位性能。为解决多峰模糊问题,本文针对时分复合二进制偏置载频调制(Timemultiplexed BOC,TMBOC)信号特点,在分析传统相干鉴相器特点的基础上,提出了一种新的基于自相关旁瓣消除技术(Autocorrelation side-peak cancellation technique,ASPeCT)的TMBOC信号码跟踪环路设计方法。对该码跟踪环路的性能仿真分析和实测数据验证结果表明:相比传统非相干鉴相器,基于ASPeCT的码跟踪环路鉴相器,能够很好地解决稳定跟踪点模糊的问题。本文证明了ASPeCT技术在TMBOC软件接收机中的可用性和有效性,对BOC信号软件接收机的设计有很好的参考价值和指导意义。

基于上下文迭代学习的方面级别情感分析

方面级别情感分析是对给定句子的不同方面进行情感极性预测。在长句子中有许多无关词会干扰情感预测的结果,且这些无关词与中心词存在一定的距离。对此,提出以下解决方案:设计上下文迭代学习网络。提出上下文注意力模块(context attention modules,CAM),模块采用上下文动态特征掩码(context features dynamic mask,CDM)遮掩距离中心词较远的词,上下文动态特征权重(context features dynamic weighted,CDW)减小较远词的权重。文中设计的CAM经过多层迭代,增强了方面词在上下文部分的特征提取。在公共的基准数据集上进行一系列的试验比对,试验结果证明文中提出的方法是有效的。

知识增强的方面词交互图神经网络

现有的方面级情感分析方法对句法依存树蕴含信息使用不足,忽略多方面词之间的关联,并且缺少对外部知识的使用。针对这些问题,提出一种知识增强的方面词交互图神经网络(KEAIG)模型。首先利用融合领域知识的BERT-PT (Bidirectional Encoder Representation from Transformers with Post-Train)编码文本,并利用知识图谱增加句法树的情感信息。模型分两部分对句法依存树蕴含的信息进行提取:第一部分利用句法依存树中的关联关系和每个单词的词性标签提取句子特征,第二部分对融入知识图谱的句法依存树进行特征提取。之后使用融合门控单元将多方面词关联特征融合进提取到的特征中。最后将两部分句子表示拼接起来作为最终分类依据。在4个数据集上的实验结果表明,所提模型相较于基准模型关系图注意力网络(RGAT),在准确率上分别提升了2.17%、5.54%、2.60%和2.83%,在F1值(Macro-F1)上分别提升了2.69%、6.87%、8.77%和14.70%,充分表明了利用句法树、引入外部知识和提取多方面词关联的有效性。

一种基于多模型联合学习的方面情感分析方法

基于方面词的情感分类是情感分析的一个重要子任务,通过学习文本上下文的信息,判别文本中特定方面的情感极性。常用的方法大多都是依赖于给定方面词和上下文词之间的语义关系来构建模型,这在一定程度上忽视了它们之间的句法关系。针对上述问题,提出一种融合注意力机制和句法信息的联合学习方法,不仅能同时学习方面词和上下文词之间的句法及语义关系,在训练过程中自动调整对方面词周围上下文词的关注度,而且同时考虑不同上下文词对方面词在句法上的修饰关系。在SemEval 2014的Restaurant数据集和Laptop数据集上进行实验,与目前最好模型相比,分类准确率和F1值都得到了较大提高。

融合多注意力神经网络的方面级情感分析

针对现有方面级情感分析模型中特征向量信息不足和语义丢失问题,提出一种多注意力融合的神经网络模型。利用词向量注意力机制捕捉句子上下文和方面词之间的语义关系;利用位置注意力机制影响方面词周围的情感特征;利用自注意力机制捕捉序列内部特征用于加强序列表示。为验证模型的有效性,在SemEval 2014 Task 4和ACL 14 Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。

基于AWI和GCN的方面级情感分类模型

目前大多数方面级情感分类研究都忽略了方面词的建模,以及方面词与上下文之间的交互信息,并且难以体现语法上与方面词有直接联系上下文单词的重要程度。针对上述问题,提出基于方面词交互(aspect word interaction,AWI)和图卷积网络(graph convolutional network,GCN)的方面级情感分类模型(AWI-GCN)。使用双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)分别提取方面词和上下文的特征;采用GCN根据句法依存树进一步提取与方面词有直接语法联系的上下文情感特征;利用注意力机制学习方面词与上下文的交互信息,同时提取上下文中为方面词情感分类做出重要贡献的情感特征。针对3个公开数据集上的仿真实验结果表明,AWI-GCN模型相比当前代表模型取得了更好的情感分类效果。

融合ChineseBERT和双向注意力流的中文商品评论方面情感分析

准确分类电商平台中用户评论所包含的多个方面的情感极性,能够提升购买决策的有效性。为此,提出一种融合ChineseBERT和双向注意力流(Bidirectional Attention Flow,BiDAF)的中文商品评论方面情感分析模型。首先,通过融合拼音与字形的ChineseBERT预训练语言模型获得评论文本和方面文本的词嵌入,并采用从位置编码和内存压缩注意力两个方面改进的Transformer来表征评论文本和方面文本的语义信息。然后,使用双向注意力流学习评论文本与方面文本的关系,找出评论文本和方面文本中关键信息所对应的词语。最后,将Transformer和双向注意力流的输出同时输入到多层感知机(Multilayer Perceptron,MLP)中,进行信息级联和情感极性的分类输出。测试结果表明,提出的模型在两个数据集上的准确率分别为82.90%和71.08%,F1分数分别为82.81%和70.98%。

基于双输入和BiLSTM-MHSA的评论文本方面情感分类方法

【目的】针对方面情感分类输入类别在不同领域之间差异较大,汽车用户评论文本语义信息不全,语义特征难以提取等问题,提出基于双通道输入的并行双向编码表征(bidirectional encoder representation from transformers,BERT)双向长短期记忆多头自注意力模型的方面情感分类方法。【方法】首先采用了方面情感和方面抽取的双重标签进行标注;其次通过并行的方面抽取和方面情感分类任务通道,分别使用BERT、双向长短期记忆网络(bidirectional long and short-term memory networks,Bi-LSTM)及多头注意力机制(multihead self-attention,MHSA)提取更深层次的语义信息及近距离和远距离特征信息;最后采用条件随机场(conditional random field,CRF)分类器和Softmax分类器进行分类。【结果】在相关的汽车用户评论文本数据集和多语言混合数据集上,本研究提出的模型相较于主流的方面情感分类方法,具有同步抽取方面词和判断情感极性的能力,且有效提高了方面词抽取和方面情感分类的准确率和F_(1)值。【结论】本研究提出的模型更有利于汽车销售者分析用户评论,同时对识别用户评论文本的情感极性的研究也有一定的参考价值。

基于LaLI和GCN的方面级情感分类模型

图卷积网络(graph convolution network,GCN)和循环神经网络的方面级情感分类方法忽略了单词词性信息和方面词与上下文单词之间的位置信息,且难以突出方面与其关键情感词之间的联系和重要性。针对上述问题,提出了一种基于GCN并融合多方面信息的方面情感分类模型(LaLI-GCN)。使用双向长短期记忆网络提取语义信息,并设计融合算法引入单词的词性与位置信息(lexical and location information,LaLI);结合融合算法的结果用于设计增强算法去生成增强句法依存树,采用GCN融合语义信息和句法依存信息;根据掩码机制提取特定方面特征,利用交互注意力捕捉方面与上下文之间的交互信息完成情感分类。模型在三个公开数据集的实验证明了经过算法融合的词性与位置信息对于提升情感判别的有效性,且相较于当前代表模型有更好的情感分类效果。

基于图卷积和注意力的方面级情感分类

为解决图注意力网络对边信息的忽视和固定卷积层数的方法不能自适应获取情感词信息的问题,提出一种基于图卷积和注意力的方面级情感分类模型。加入句法依存边信息提高对不同句法连接词的区分度;一个迭代注意力机制被设计用于建立方面词和句中所有词的关联关系,自适应选择全局词信息。模型在Twitter、Rest14和Rest16数据集上获得更好的性能。实验结果验证了该方法的有效性。

大同方言的“体”

“体”是现代汉语中普遍存在的现象,许多问题例如“体”形式的确定问题、“体”含义的问题等目前仍然未有一致定论。大同方言属于晋方言大包片。它在语音、词汇、语法等方面都具有自己的特点,该文着重描写大同方言“体”的分类与特征,大同方言表完成体的体助词有“嘞”“上”“啦”,表经历体的体助词有“过”,表将行体的体助词有“呀”,表起始体的体助词有“开”“起/起来”“将”,表持续体的体助词有“住”“着呢”“的呢”“呢”。该文以晋语大同方言的“体”为研究对象,通过系统细致的描写,揭示出大同方言“体”的独特之处,以期对大同方言“体”有一个比较全面的认识。