命名实体消歧研究综述

实体消歧是指在一个具体的知识库中,把一个被标识的实体指称链向它对应条目的过程。实体消歧的任务是根据上下文信息解决一个命名实体指称项对应多个实体概念的一词多义问题,它在从海量数据准确提取信息的知识图谱构建过程中起到重要作用,是自然语言处理中的一项基本任务。该文主要对实体消歧技术的相关研究内容进行综述。首先,阐述了实体消歧的国内外研究背景,并对命名实体识别、候选实体生成、候选实体排序等实体消歧相关理论进行全面梳理。其次,对实体消歧的具体含义及其研究内容进行详细综述,并对实体消歧研究内容的特点进行了分析。再次,将实体消歧技术的实现方法划分为三类并对涉及到的数据集进行归纳,并从四个方面讨论了实体消歧领域存在的难点和提高实体消歧准确率的途径,对消歧方法的优缺点及评价指标进行了总结,意在为改善实体消歧效果提供新的解决思路。最后,对实体消歧技术的应用和发展前景进行总结。

融合多特征图及实体影响力的领域实体消歧

实体消歧作为自然语言处理的关键问题,旨在将文本中出现的歧义实体指称映射到知识库中的目标实体。针对现有方法存在仅实现单实体指称消歧、忽略了实体影响力及候选实体间相似度对消歧结果的影响以及冗余图节点增加图计算复杂性等问题,提出了一种融合多特征图及实体影响力的领域实体消歧方法,以金融领域为例,提取CN-Dbpedia中金融类别相关关键词三元组,构建金融领域知识库;针对金融活动类文本,提取待消歧实体指称,融合字符串及语义的相似特征,筛选出候选实体,利用知识库三元组信息获取候选实体间2-hop内的关系,同时计算候选实体间相似度作为边权值,进而将多特征信息充分融合到图模型当中,完成多特征图构建;采用动态决策策略,利用PageRank算法,并结合实体影响力计算多特征图中候选实体的综合评分,进而获得可信度较高的消歧结果。实验结果验证了提出方法在特定领域实体消歧的精确度及效率。

基于主题关系的中文短文本图模型实体消歧

实体消歧作为知识库构建、信息检索等应用的重要支撑技术,在自然语言处理领域有着重要的作用。然而在短文本环境中,对实体的上下文特征进行建模的传统消歧方式很难提取到足够多用以消歧的特征。针对短文本的特点,提出一种基于实体主题关系的中文短文本图模型消歧方法,首先,通过TextRank算法对知识库信息构建的语料库进行主题推断,并使用主题推断的结果作为实体间关系的表示;然后,结合基于BERT的语义匹配模型给出的消歧评分对待消歧文本构建消歧网络图;最终,通过搜索排序得出最后的消歧结果。使用CCKS2020短文本实体链接任务提供的数据集对所提方法进行评测,实验结果表明,该方法对短文本的实体消歧效果优于其他方法,能有效解决在缺乏知识库实体关系情况下的中文短文本实体消歧问题。

面向实体链接的多特征图模型实体消歧方法

实体链接技术是将文本中的实体指称表述项正确链接到知识库中实体的过程,其中命名实体消歧的准确性直接影响实体链接的准确性。针对中文实体链接中命名实体的消歧,提出一种融合多种特征的解决方案。首先,以中文维基百科为知识库支撑,从实体指称表述项的上下文和候选实体在维基百科的内容描述两个方面抽取多种语义特征并计算语义相似度;然后将语义相似度融合到构建的图模型中,基于PageRank算法计算该图模型的最终平稳分布;最后对候选实体排序,选取top1实体作为消歧后的实体链接结果。实验通过与仅围绕名称表述特征进行消歧的基线系统相比,F值提升了9%,并且高于其他实体链接技术实验的F值,表明该方法在解决中文实体链接技术的命名实体消歧问题上取得了较好的整体效果。

基于双词主题模型的半监督实体消歧方法研究

针对实体上下文信息主题漂移的问题,提出一种基于双词主题模型的实体消歧方法.方法考虑到实体在一定语义环境下具有不同的主题,且在同一文档中同时出现的其他实体在一定程度上能够帮助待消歧实体确定所指代内容,利用命名实体构建双词的思想,将协同实体关系融合到主题模型中,并在此基础上利用维基百科知识库,进行半监督消歧.本文最后在网络文本数据上进行了相关的实验,验证了所提算法的有效性.实验表明该方法有效的提高了实体消歧精度.

基于元路径异构网络嵌入的姓名实体消歧方法

为了解决大型学术数据库中重名作者的歧义消解问题,提出了基于元路径异构网络嵌入的姓名实体消歧模型。使用大型在线学术搜索系统DBLP上的公开数据集,首先抽取学术出版物的作者信息、标题和会议期刊名称等特征属性,再利用word2vec模型工具生成的特征属性词嵌入输入到GRU网络中进行训练,构造出一个PHNet矩阵网络进行随机游走操作,从而捕捉不同类型节点之间的关系,最后进行相似节点的划分,完成姓名消歧工作。实验结果显示,新方法的精确度为0.865,召回率为0.792,F 1值为0.815。基于元路径的异构网络嵌入模型的精确度、召回率等指标都优于对比模型。因此,所提出的模型在提高大型学术数据库的消歧精准度方面具有良好的应用前景。

一种基于深度学习的实体消歧技术

传统的命名实体消歧技术通常依靠丰富的上下文语境和外部实体知识库,而很多新兴实体缺乏知识库且包含实体的文本长度较短,这些局限性使得传统算法不能够充分利用上下文的语义信息。另外,由于受有效样本数量的限制,算法最终应用的场景十分有限。基于上述问题,提出一种基于深度学习的结合BERT(bidirectional encoder representation from transformers)模型和长短期记忆神经网络的实体消歧方法。该方法主要包含以下几个部分:1)设计了一种基于BERT模型的词向量,通过较少的数据样本仍然可以获取较多的信息;2)为了让长短期记忆神经网络保留较多的有用信息和验证短文本以适用该方法,对句子样本进行切分;3)结合微软公司提出的NNI(neural network intelligence)技术,高效地获取较优的神经网络超参数。通过与其他不同类型的词向量和神经网络技术进行比较,验证了使用文中基于深度学习的实体消歧技术在F-Measure值评测指标上效果更好。

BSAED:一种基于双向语义关联的实体消歧算法

考虑了实体的全局一致性,充分利用了知识库中实体间结构化的语义信息.在PageRank算法的基础上,提出一种基于双向语义关联的实体消歧算法,该算法通过在维基百科中抽取出实体之间的超链接关系构建知识图谱,重新定义两个实体之间的平均最短路径,并联合实体之间的语义信息以完成实体链接消歧的任务.在公开数据集上进行的实验结果显示:该算法能提高实体消歧结果的准确率和召回率,实验结果优于当前主流算法.

信息抽取和实体消歧

信息抽取研究旨在为人们提供更有力的信息获取工具,以应对信息爆炸带来的严重挑战。与信息检索不同,信息抽取直接从自然语言文本中抽取事实信息。过去十多年来,信息抽取逐步发展成为自然语言处理领域的一个重要分支,其独特的发展轨迹——通过系统化、大规模的定量评测推动研究向前发展。实体消歧是能够使得抽取出来的多个实体映射到具体语境中的精确实体。

一种结合词向量和图模型的特定领域实体消歧方法

针对特定领域提出了一种结合词向量和图模型的方法来实现实体消歧。以旅游领域为例,首先选取维基百科离线数据库中的旅游分类下的页面内容构建领域知识库,然后用知识库中的文本和从各大旅游网站爬取到的旅游文本,通过词向量计算工具Word2Vec构建词向量模型,结合人工标注的实体关系图谱,采用一种基于图的随机游走算法辅助计算相似度,使其能够较准确地计算旅游领域词与词之间的相似度。最后,提取待消歧实体的背景文本的若干关键词和知识库中候选实体文本的若干关键词,利用训练好的词向量模型结合图模型分别进行交叉相似度计算,把相似度均值最高的候选实体作为最终的目标实体。实验结果表明,这种新的相似度计算方法能够有效获取实体指称项与目标实体之间的相似度,从而能够较为准确地实现特定领域的实体消歧。

融合词向量和主题模型的领域实体消歧

针对Skip-gram词向量计算模型在处理多义词时只能计算一个混合多种语义的词向量,不能对多义词不同含义进行区分的问题,文中提出融合词向量和主题模型的领域实体消歧方法.采用词向量的方法从背景文本和知识库中分别获取指称项和候选实体的向量形式,结合上下位关系领域知识库,进行上下文相似度和类别指称相似度计算,利用潜在狄利克雷分布(LDA)主题模型和Skip-gram词向量模型获取多义词不同含义的词向量表示,抽取主题领域关键词,进行领域主题关键词相似度计算.最后融合三类特征,选择相似度最高的候选实体作为最终的目标实体.实验表明,相比现有消歧方法,文中方法消歧结果更优.

面向领域的命名实体消歧方法改进研究

命名实体消歧是将自然语言文本中具有歧义的实体指称正确地映射到知识库中相应实体上的过程。现有命名实体消歧技术大多采用集体消歧,以利用更多的语义信息达到更高的精度,但存在效率偏低的问题。为此,提出一种基于领域的命名实体消歧方法,通过引入领域的概念来丰富特征集合,并利用特征集构建实体指称-候选实体的依赖图以实现集体消歧。在构建依赖图的过程中,在现有构造方法的基础上,利用实体指称间的关系在实体指称侧建立联系,进而完善整个依赖图的结构并间接地优化算法处理顺序。在真实评测数据集上的实验结果表明,这种方法比其他同类的方法具有更高的效率和准确度。

基于上下文词向量和主题模型的实体消歧方法

传统词向量训练模型仅考虑词共现而未考虑词序,语义表达能力弱。此外,现有实体消歧方法没有考虑实体的局部特征。综合实体的全局特征和局部特征,该文提出一种基于上下文词向量和主题模型的实体消歧方法。首先,在传统词向量模型上增加上下文方向向量,用于表征语序,并利用该模型与主题模型训练主题词向量;其次,分别计算实体上下文相似度、基于实体上下文主题的类别主题相似度以及基于主题词向量的实体主题相似度;最后,融合三种相似度,选择相似度最高的实体作为最终消歧实体。实验结果表明,相比于现有的主流消歧方法,新方法是有效的。

基于多特征实体消歧的中文知识图谱问答

问答系统应用于人工智能、自然语言处理和信息检索领域获得了较好的效果,知识图谱问答(KBQA)作为其中的重要组成部分,是一项极具挑战性的自然语言处理任务。然而,目前常见的中文KBQA系统对于实体链接的实体消歧部分并没有给出很好的解决方法。提出一种基于多特征实体消歧的中文KBQA系统,通过结合实体自身的知名度特征、问句与实体关系的语义相似度特征、问句与实体的字符相似度特征和语义相似度特征,构建多特征实体消歧模型,提高实体链接准确率,为系统的问句分类和最优路径选取部分提供更准确的主题实体,从而提升系统性能。实验结果表明,该系统在CCKS2019-CKBQA评测数据的验证集上平均F1值为72.08%,其中采用多特征消歧模型的实体链接准确率达到90.84%,较使用知名度消歧模型和评测大赛第1名分别提升6.35和0.11个百分点。

基于中文维基百科的命名实体消歧方法

该文提出一种面向中文命名实体的统计消歧方法。该方法采用中文维基百科作为世界知识,同时以待消歧命名实体在维基百科中的消歧页包含的词义选项为候选的命名实体概念,在充分利用维基百科页面信息和链接信息,以及命名实体上下文信息的基础上,实现中文命名实体的消歧。在一个小规模测试集上进行了实验,并获得87.5%的准确率,表明提出的方法具有可行性和有效性。

基于混合卷积网络的短文本实体消歧

因短文本实体消歧具有不能完整地表达语义关系、上下文提供的信息较少等局限性。针对以上难点,该文提出了一种新的方法,混合卷积网络(Mixed Convolution Network,MCN)。该方法的核心思想是首先对数据集进行预处理;其次,采用Google提出的BERT模型进行特征提取,并通过注意力机制将特征进一步抽取后作为CNN模型的输入,通过CNN模型获得句子的依赖特征。同时,该文使用GCN模型获取语义特征,将二者提取到的语义信息融合,输出得到结果。在CCKS2019评测数据集上的实验结果表明,该文提出的混合卷积网络取得了86.57%的精确率,验证了该模型的有效性。

基于图方法的命名实体消歧

名实体歧义是机器对自然语言进行理解时经常遇到的问题,为使机器能够正确地分析自然语言文本,对名实体消除歧义亟待解决。近年来,随着Wikipedia等语义知识库的出现,大量基于知识库的消歧方法被提出。命名实体消歧的任务是将文本中具有多个含义的实体指称去除歧义,并将其链接到知识库中的唯一实体。本文采用DBpedia作为知识库,基于图的方法进行实体消歧。

一种用于专利实体的实体消歧方法

将实体搜索技术应用于中文专利摘要文本,并在实体搜索过程中使用了实体消歧技术,得到用户最关注的实体相关信息。在充分分析了专利摘要文本的特点的基础上,提出一种面向专利实体的消歧方法。使用基于IPC和向量空间模型的词向量表示法,结合凝聚式层次聚类算法,得到专利实体消歧结果。根据对比实验的结果能够得出结论,本方法能够实现准确的实体消歧,评测结果高达78.9%。

实体消歧中特征文本选取研究

在实体消歧问题中,特征文本是指输入实体消歧系统的用于表征实体指称和候选实体的文本,其质量对于实体消歧的性能有重要的影响。论文对特征文本的选取问题进行研究,针对网络文本的特点,综合考虑文本中的特殊字符、特征文本的位置、特征文本是否包含实体指称和特征文本的单句长度等因素,对文本进行筛选和处理,产生特征文本,以提高实体消歧的效果。论文在深度结构语义网(Deep Structured Semantic Model,DSSM)和向量相似度模型(Vector Similarity Model,VSM)两个实体排序模型上验证了特征文本选取方法的效果。结果显示特征文本筛选提高了DSSM上排序准确性,在P@3、P@5和P@10上分别有12.2%、12.3%和12.2%的提高。其中特殊字符处理对VSM有5.5%的提高。实验结果表明,对特征文本进行合理的筛选及清洗,有助于提高实体消岐中候选实体排序步骤的效果。

基于上下文特征的领域文献实体消歧算法

目的面向生物医学领域基于文献的知识学习及应用需求,为解决实体识别中存在的词语歧义问题,提出一种基于上下文特征的实体消歧算法。方法实体消歧通常分为候选生成和实体消歧两部分。在候选生成阶段,本文采用基于知识库的方法对实体指称生成候选,并根据实体在知识库中的先验概率对候选实体进行筛选,这样保证了目标实体的召回率并有效减少消歧阶段的计算复杂度和噪声。在实体消歧阶段,本文提出一种基于上下文特征的实体消歧方法,构建概率模型计算实体上下文和实体指称上下文之间的相似度,选取相似度最大的实体作为目标实体。对从文献中识别出的命名指称做实体消歧实验,通过领域专家判断实体消歧结果的正确性,比较在不同算法下实体消歧的准确率。结果本文提出的方法在所选择的数据集中获得了83%的实体消歧准确率,高于其他算法。结论基于上下文特征的实体消歧算法在本领域的实体消歧工作中效果最佳。