基于知识增强的文本语义匹配模型研究

文本语义匹配模型在信息检索、文本挖掘等领域已经获得了广泛应用。为解决现有模型主要从文本自身角度判断文本之间的语义关系而忽略对外部知识有效利用的问题,本文提出一种新的基于知识增强的文本语义匹配模型,以知识图谱实体作为外部知识,有效建模文本的外部知识信息,并自适应地过滤外部知识中存在的噪声。针对自然语言推理和释义识别两个文本语义匹配任务,与基线方法相比,本文模型在大多数指标上取得了最优效果。研究结果表明,本文模型有助于揭示知识图谱在文本语义匹配任务中的作用,为将知识图谱应用到智能信息服务领域提供了参考。

基于表示学习的知识库问答模型研究

[目的/意义]文章旨在融合知识图谱表示学习和词汇表示学习,探究基于知识库的问答模型,以实现对知识图谱中准确率高、覆盖面广的结构化知识的利用。[方法/过程]提出一种融合知识图谱表示学习和词汇表示学习的知识库问答框架,采用对比研究和实证研究,探究不同的表示学习模型和网络结构对于知识库问答效果的影响。首先,使用知识图谱表示学习算法,生成实体和关系的向量表示;接着,生成的实体和关系向量作为监督信号训练问题,对应实体和关系的向量表示;最后,根据问题生成的三元组表示,在知识图谱中匹配问题的最佳答案。[结果/结论]实验结果表明,采用不同的表示学习模型和网络结构,对于知识库问答的效果具有显著影响;相比于基线方法,文中方法能够显著提高知识库问答的效果。研究对于推动深度学习在知识库问答研究中的应用具有重要促进作用。

基于实体与关系融合的知识图谱补全模型研究

【目的】将实体与关系融合,通过加权图卷积神经网络和关系归纳机制,聚合知识图谱的全局信息,增强知识图谱表示质量,提升其在知识图谱补全任务的效果。【方法】提出一种新的用于知识图谱补全任务的端到端学习模型,该模型由邻居信息聚合模块、实体关系融合模块、交互模块和预测模块组成。邻居信息聚合模块聚合实体的邻居信息以丰富实体表示;实体关系融合模块利用实体之间的关系融合实体表示与关系表示;交互模块通过构建核心张量增强与实体和关系表示的交互;预测模块获取最终的预测结果。将所提模型应用到FB15K237、WN18RR、Kinship和UMLS4个数据集上,开展实证研究。【结果】与传统的知识图谱补全模型相比,所提模型的Hits@1指标在FB15K237、WN18RR、Kinship和UMLS这4个数据集上分别提升4.1、3.9、17.8和5.3个百分点。【局限】尚未探究知识图谱补全模型迁移到信息检索、推荐系统等任务上的效果。【结论】通过加权图卷积网络,关系归纳机制以及对比学习损失能够显著提升知识图谱补全任务的效果。本研究对于补全知识图谱中的缺失信息,提升知识图谱在信息检索、自动问答等领域的应用效果具有重要参考意义。

基于多任务深度学习的实体和事件联合抽取模型

【目的】利用命名实体识别与事件检测任务之间的相关性,同时提升命名实体识别和事件检测模型的性能。【方法】提出基于多任务学习的实体和事件联合抽取模型MDL-J3E,该模型分为共享层、私有层和解码层。其中,共享层生成通用特征;私有层由命名实体识别部分和事件检测部分组成,在通用特征的基础上分别提取两个子任务的私有特征;解码层将子任务的特征解码输出为符合约束规则的标签序列。【结果】在ACE2005数据集上开展实证研究,所提模型在命名实体识别任务上的F1值为84.15%,在事件检测任务上的F1值为70.96%。【局限】未将多任务模型应用到更多的信息抽取场景中。【结论】与单任务模型相比,多任务模型在命名实体识别任务和事件检测任务中具有更好的效果。

面向链接预测的知识图谱表示模型对比研究

【目的】系统揭示知识图谱表示模型的内在原理和影响因素,探究其在特定任务上的效果差异。【方法】面向链接预测任务,采用对比研究方法,比较基于翻译的知识图谱表示模型和基于语义匹配的知识图谱表示模型在FB15K、WN18、FB15K-237和WN18RR这4个数据集上的效果差异。【结果】在Hits@1指标上,TuckER模型在WN18、FB15K-237、WN18RR数据集上取得最优值(分别为0.9460、0.2633和0.4430);ComplEx模型在FB15K数据集上取得了最优值(0.7314)。【局限】由于篇幅限制,实证研究仅比较了知识图谱表示模型在链接预测任务和知识库问答上的效果,尚未比较在信息检索、推荐系统等任务上的差异。【结论】基于翻译的知识图谱表示模型和基于语义匹配的知识图谱表示模型存在显著差异,知识图谱表示模型的得分函数、负采样和优化方法等模型结构,以及训练数据比例等因素对其在链接预测任务上的效果存在显著影响。