基于Wasserstein距离分层注意力模型的跨域情感分类

跨领域情感分类任务旨在利用已知情感标签的源域数据对缺乏标记数据的目标域进行情感倾向性分析.文中提出基于Wasserstein距离的分层注意力模型,结合Attention机制,采用分层模型进行特征提取,将Wasserstein距离作为域差异度量方式,通过对抗式训练自动捕获领域共享特征.进一步构造辅助任务捕获与共享特征共现的领域独有特征,结合两种特征表示完成跨域情感分类任务.在亚马逊评论等数据集上的实验表明,文中模型仅利用领域共享特征就达到较高的正确率,在不同的跨领域对之间具有较好的稳定性.

利用BERT和覆盖率机制改进的HiNT文本检索模型

为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个段提取关键主题词,然后用基于变换器的双向编码器(bidirectional encoder representations from transformers,BERT)模型将其编码为多个稠密的语义向量,再利用引入覆盖率机制的局部匹配层进行处理,使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算,提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比,取得了最优结果,验证了本文提出模型的有效性。

利用自注意力机制的大规模网络文档情感分析

针对社交网络文档(推文)情感分类复杂且准确度低的问题,基于MapReduce平台,提出一种利用自注意力双向分层语义模型的大规模网络文档情感分析方法。通过相似度计算对所有待分析的推文进行预归类,利用自注意力双向分层语义模型进行语义分类,准确分辨推文中词汇的情感类别,利用Hadoop框架和Hadoop分布式文件系统(HDFS)以及MapReduce编程模型实现提出的推文情感分类方法。实验结果表明,提出方法能够准确对大规模推文和词汇语义进行辨识,具有较高的计算效率,提高了情感分析的求解速度和准确度。

一种基于分层结构的设备故障领域本体实例关系抽取方法

优质的设备故障领域本体需要实例之间拥有准确的关系。传统的基于神经网络的实例关系抽取方法容易使意义相近的关系误分,且由于故障领域文本中实例间隔较远,使用该类方法抽取故障领域实例关系效果不佳。针对上述问题,基于分层结构提出了一种从非结构化文本中抽取设备故障领域实例关系的方法。第一层通过对实例对中实例类型的识别,进行初步关系抽取;第二层使用融合自注意力机制的BiLSTM模型对包含实例对的句子进行解析,进行精确分类;通过统计的方法完成实例关系抽取。实验结果表明,此方法与现有的基于神经网络的实例关系抽取方法相比,取得了较好的精确度与召回率,提高了故障本体实例关系抽取的效果(F1值)。

BLSTM-PA在食品安全领域语义分析仿真研究

食品安全领域的智能问答系统旨在对用户通过自然语言进行的食品安全方面的提问做出快速、简洁的反馈,其技术挑战主要在于语义分析和答案句子表示,尤其是在于如何消除问答之间的词汇差距以加强问答匹配能力,以及如何抓取准确的核心单词以增强句子表示能力。尽管基于"短语级别"和众多的注意力模型已经取得了一定的性能提升,但基于注意力的框架都没有很好的重视位置信息。针对上述问题,运用词林和word2vec相结合的方法,提出近义词-主词替换机制(将普通词映射为核心词),实现了语义表示的归一化。同时,受位置上下文提升信息检索性能的启发,假设如果问句中的一个词(称之为问题词)出现在答案句中,问题词的临近词对比偏离词应该被给与更高的权重。基于上述假设,提出了基于双向lstm模型的位置注意力机制(BLSTM-PA)。上述机制给与答案句中问题词的临近文本更高的注意力。以食品安全问答系统为语义分析验证和仿真的平台,通过在食品安全领域数据集(即FS-QA)上进行的对比实验,从MAP和MRR评价指标来看,与基于传统的注意力机制的RNN模型相比,BLSTM-PA实现了5.96%的提升,证明了BLSTM-PA模型的良好性能,同时,集成了提出的问答模型的食品安全问答系统性能也得到了显著的提升。