基于多粒度双向注意力机制的词义消歧深度学习方法

词义消歧的目标是在特定的上下文中识别歧义词的正确词义。传统的监督方法主要是利用上下文的数据,而忽略了丰富的词义定义等词汇资源。最近的研究发现将词义定义整合到神经网络对于词义消歧具有显著的改进效果。提出引入词义定义的基于多粒度双向注意力机制的词义消歧模型,该模型采用字符级、词级和上下文嵌入的表示,使用双向注意力机制获取上下文和词义定义之间的交互关系,消融实验验证了模型中每个组成的重要性。实验结果表明,这种建模方式可以有效地识别歧义词的正确词义,在SemEval-13-task#12和SemEval-15-task#13公开数据集上进行了测试,F1值分别可达到68.9%和73.1%。

基于注意力双层BiReGU模型的方面术语提取方法

方面术语提取是方面级情感分析中的一项重要任务,目的是从在线产品评论中提取关键的方面术语。针对方面术语提取问题,提出基于注意力机制的双层BiReGU模型。该模型在传统BiLSTM模型的基础上,引入双嵌入机制和ReGU(Residual Gated Unit)作为辅助,以提高特征提取的能力。使用BiReGU学习文本特征表示,更好地捕捉词语间的长期依赖关系;在第一层BiReGU之后引入注意力机制,为文本中每个词语赋予不同的权重,得到融合特征后新的知识表示,再输入到第二层BiReGU中学习更加全局的文本特征表示,最后完成提取方面术语的任务。分别在SemEval 2014的Restaurant数据集和Laptop数据集做了相关的对比实验,实验结果证明了所提出方法的有效性。