基于词嵌入辅助机制的情感分析

文本情感分析是自然语言处理研究领域中一个重要的研究方向,如何分析出长文本的情感极性是一个研究难点。目前,大部分研究工作倾向于将词嵌入应用在神经网络模型中进行情感分析,虽然这种方法的词特征表示能力较好,但是对于长文本来说有待优化,过长的文本会给模型带来沉重的负担,使模型在训练过程中耗费更多的时间和计算资源。针对此问题,文中提出了一种基于词嵌入辅助机制的注意力神经网络模型(Word Embedding Auxiliary Mechanism Based Attentional Neural Network Model,WEAN),并将其应用于长文本的情感分析任务。该模型使用词嵌入辅助机制解决了长文本在神经网络模型中的训练负担问题,利用双向循环神经网络获取序列中的上下文信息,同时应用注意力机制来捕获序列中不同重要程度的信息,提高了情感分类的性能。在IMDB,Yelp 2013和Yelp 2014数据集上的实验结果表明,与NSC+LA模型相比,所提模型的情感分析准确率分别提高了1.1%,2.0%和2.6%。

基于词注意力卷积神经网络模型的情感分析研究

情感分类任务需要捕获文本中的情感特征,利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks,CNN)已经被证明拥有出色的特征学习能力,但是该模型无法判别输入文本中特征词与情感的相关性,卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型,该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks,WACNN)。相比于卷积神经网络,该模型以篇章的文本信息作为输入,首先在词嵌入层之后增加注意力机制层,获取重要的局部特征词,使模型有选择地进行特征提取;然后在卷积层中增加大小为1的卷积核,提取单一词的特征;最后该方法对输入文本进行适当的文本填充,保证每个词都存在上下文信息,使模型有效提取到每个词的n-grams局部特征,避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.5%和2%的提升。

基于双层注意力循环神经网络的方面级情感分析

在方面级情感分析中,常用的方法是将循环神经网络和注意力机制结合,利用注意力获取序列中不同单词的重要程度,但这并不能获取不同句子的重要程度,仅仅依赖单层注意力难于获取深层次情感特征信息。为了解决上述问题,该文提出一种基于双层注意力循环神经网络模型。通过双层注意力分别对单词层和句子层进行建模,捕获不同单词和不同句子的重要性,利用双向的循环神经网络获取更多的序列上下文依赖信息。情感特征信息具有重要性,但在深层神经网络中却未被充分利用。因此,该文将方面、词性信息和位置信息作为模型的辅助信息,进行更深层次情感特征信息学习,有效识别不同方面的情感极性。该方法与IAN模型相比,在SemEval 2014中的Restaurant数据集和Laptop数据集上进行实验,分类准确率分别提升了2.0%和5.2%。在与TD-LSTM模型对比中,Twitter数据集的分类准确率提升了1.7%。

DAPC:结合双注意力和指针覆盖的文本摘要模型

基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC(Dual Attention and Pointer-Coverage based model)模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络(Convolutional Neural Networks,CNN)无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型(Double Attention Convolutional Neural Networks,DACNN),将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.

任务型教学法运用于中学生英语口语训练的教学实践初探

本文针对目前中学生英语口语方面存在的问题,结合任务型教学法的特点,将任务型教学法运用于中学生英语口语课堂训练,初步探讨了其操作过程中在任务设计、任务执行和任务完成方面的内容,并通过实践表明学生在对待口语的态度以及在口语流利性方面都有改善。

卷积自注意力编码过滤的强化自动摘要模型

技术是一种能从海量文本中获取重要信息的方法,它可以缓解大数据时代信息过载的问题.传统基于编码-解码自动摘要模型生成的摘要易出现句内重复、语义无关等现象,不利于读者理解文本的核心思想.受人工摘要书写方式的启发,即先理解文本局部信息,再从全局层面归纳信息、书写摘要,提出一种基于卷积自注意力编码过滤的自动摘要模型(CSAG).模型由编码器、卷积自注意力门控单元、解码器组成,结合卷积神经网络可以提取局部特征,多端自注意力机制可以学习长期依赖关系,模型可以根据上下文的局部和全局特征,从不同角度和不同层面提取文本潜在信息,确保模型生成正确流畅的摘要.然后通过策略梯度强化学习可直接利用不可微的度量指标ROUGE对模型进行优化,避免推理过程中出现曝光偏差问题.在Gigaword数据集上的多组对比实验结果表明,该文提出的模型在自动摘要任务上具有一定的优势.

基于交互特征表示的评价对象抽取模型

评价对象抽取是对象级情感分析的关键任务之一,评价对象抽取结果会直接影响对象级情感分类的准确率.在评价对象抽取任务中,借助手工特征加强模型性能的方式既消耗时间又耗费人力.针对数据规模小、特征信息不充分等问题,提出一种基于交互特征表示的评价对象抽取模型(aspect extraction model based on interactive feature representation,AEMIFR).相比其他模型,AEMIFR模型结合字符级嵌入与单词嵌入,捕获单词的语义特征、字符的形态特征以及字符与词语之间的内在联系.而且,AEMIFR模型获取文本的局部特征表示和上下文依赖特征表示,并学习2种特征表示之间的交互关系,增强2种特征之间的相似特征的重要性,减少无用特征对模型的消极影响,以及学习更高质量的特征表示.最后在SemEval 2014,SemEval 2015,SemEval 2016中的数据集L-14,R-14,R-15,R-16上进行实验,取得具有竞争力的效果.

层次化双注意力神经网络模型的情感分析研究

在篇章级的情感分类中由于篇章级文本较长,特征提取较普通句子级分析相对较难,大多方法使用层次化的模型进行篇章文本的情感分析,但目前的层次化模型多以循环神经网络和注意力机制为主,单一的循环神经网络结构提取的特征不够明显。本文针对篇章级的情感分类任务,提出一种层次化双注意力神经网络模型。首先对卷积神经网络进行改进,构建词注意力卷积神经网络。然后模型从两个层次依次提取篇章特征,第一层次使注意力卷积神经网络发现每个句子中的重要词汇,提取句子的词特征,构建句子特征向量;第二层次以循环神经网络获取整个篇章的语义表示,全局注意力机制发现篇章中每个句子的重要性,分配以不同的权重,最后构建篇章的整体语义表示。在IMDB、YELP 2013、YELP 2014数据集上的实验表明,模型较当前最好的模型更具优越性。

融合多特征的分段卷积神经网络对象级情感分类方法

对象级情感分类旨在判断句子中特定对象的情感极性类别。在现有基于卷积神经网络的研究中,常在模型的池化层采用最大池化操作提取文本特征作为句子表示,该操作未考虑由对象所划分的上下文,因此无法得到更细粒度的对象上下文特征。针对该问题,该文提出一种融合多特征的分段卷积神经网络(multi-feature piecewise convolution neural network,MP-CNN)模型,根据对象将句子划分为两个部分作为上下文,并在池化层采用分段最大池化操作提取上下文特征。此外,该模型还将有助于情感分类的多个辅助特征融入其中,如词的相对位置、词性以及词在情感词典中的情感得分,并通过卷积操作计算词的注意力得分,有效判断对象的情感极性类别。最后在SemEval 2014数据集和Twitter数据集的实验中,取得了较基于传统机器学习、基于循环神经网络以及基于单一最大池化的卷积神经网络分类模型更好的分类效果。

基于WebGIS的中学地理教学系统的设计与实现

在分析WebGIS教育功能的基础上,结合ArcGIS Server和数据库技术,设计了一个基于WebGIS的中学地理教学系统。文中对系统体系结构设计、功能模块设计和系统实现的关键技术等内容进行了较为详细的论述,并通过实际的应用实践证明了所设计系统的合理性及可行性。

三种裸子植物木质部结构与功能对不同生境的适应

生境异质性是影响植物生长发育的重要因素。植物木质部水力系统是土壤-植物-大气连续体的主要通路,直接影响植物的基本行为和功能,同时也反映了植物对环境变化的适应性。为对比天目山3种裸子植物枝条木质部水力功能、机械和解剖结构性状在不同生境(自然生境与人工生境)的差异,揭示裸子植物对不同生境的适应机制,该研究以金钱松(Pseudolarix amabilis)、杉木(Cunninghamia lanceolata)和雪松(Cedrus deodara)为研究对象,测定枝木质部导水率、栓塞抗性(导水率损失50%时的水势)、机械以及解剖结构性状。结果发现:1)人工生境植株比自然生境植株水力效率弱,但栓塞抗性强。2)自然生境雪松木质部导水系统存在效率-安全权衡;不论自然还是人工生境杉木、金钱松木质部导水系统均无效率-安全权衡。3)人工生境雪松和金钱松木质部存在机械-安全权衡。相比人工生境,土壤水分有效性低的自然生境中,植物采用增大纹孔膜直径来提高水力效率,此外,还可通过增加木材密度、扩大管胞直径来避免栓塞带来的威胁。