基于可分解注意力机制的医疗问句语义匹配研究

问句语义匹配旨在判定给定的两个语句的语义信息是否匹配,在信息检索、自动问答、机器翻译等领域应用广泛,是自然语言处理研究的一个关键问题。现有基于机器学习或深度学习的问句语义匹配任务大多采用对整个句子构建语义信息表示,而忽视了语句各组成部分所蕴含的具体细节信息。提出一种基于可分解注意力机制的语义匹配模型(Decomposable Attention based Semantic Matching,DASM),该模型首先使用软注意力机制将整个序列问句分解为可以独立解决的子问句,使得子问句间权重计算可以并行;然后结合注意力机制充分捕获问句中潜在的语义信息,从而提高问句匹配任务的性能。实验结果表明,本文方法提高了问句语义匹配的准确性和模型性能。

一种增强的多粒度特征融合语义匹配模型

语义匹配作为自然语言处理任务中重要的一环,直接制约问答系统、信息检索等任务的效率。针对现有语义模型大多只以词为基本语义单元进行注意力交互,较少考虑中文中的词边界模糊和字符信息获取不足而带来的语言颗粒度对整体建模忽略的问题,提出一种增强的多粒度特征融合语义匹配模型EMGFM。首先结合BERT模型和word2vec以获得增强的字符向量表示,然后从字、词、句三种粒度进行注意力的交互,并对交互结果进行加权融合,以突出不同交互信息对整体建模的贡献。为减少交互过程中产生的信息损失,通过构造差异性来对交互信息进行信息增强。最后通过最大池化、平均池化两种方式获得文本的最终语义表示以进行匹配度的计算。该模型在CCKS问句匹配大赛中文数据集上达到了87%的正确率,相比于一些语义匹配的经典模型准确率均有提升,证明该方法确实能有效提升问句语义匹配的准确性。