面向领域的命名实体消歧方法改进研究

命名实体消歧是将自然语言文本中具有歧义的实体指称正确地映射到知识库中相应实体上的过程。现有命名实体消歧技术大多采用集体消歧,以利用更多的语义信息达到更高的精度,但存在效率偏低的问题。为此,提出一种基于领域的命名实体消歧方法,通过引入领域的概念来丰富特征集合,并利用特征集构建实体指称-候选实体的依赖图以实现集体消歧。在构建依赖图的过程中,在现有构造方法的基础上,利用实体指称间的关系在实体指称侧建立联系,进而完善整个依赖图的结构并间接地优化算法处理顺序。在真实评测数据集上的实验结果表明,这种方法比其他同类的方法具有更高的效率和准确度。

基于中文维基百科的命名实体消歧方法

该文提出一种面向中文命名实体的统计消歧方法。该方法采用中文维基百科作为世界知识,同时以待消歧命名实体在维基百科中的消歧页包含的词义选项为候选的命名实体概念,在充分利用维基百科页面信息和链接信息,以及命名实体上下文信息的基础上,实现中文命名实体的消歧。在一个小规模测试集上进行了实验,并获得87.5%的准确率,表明提出的方法具有可行性和有效性。

基于知识图谱的命名实体消歧方法研究

该文提出一种基于知识图谱的面向英文命名实体的消歧方法,该方法提取英文维基百科文章的简介部分,对简介部分预处理之后,使用SpaCy库来识别简介中的所有命名实体,接着利用锚文本频率和simHash两种方法实现候选集的生成,为了证明该方法的有效性,本文构建相应模型,将文本中的词转化为词向量输入双向LSTM,将其输出与知识图谱向量,一起作为前馈神经网络的输入,最终得到对应的真实实体。最后,在一个小规模测试集上进行了实验,与基准相比,准确率提高了8%。

结合实体链接与实体聚类的命名实体消歧

为了消除文本中命名实体的歧义,提出了一种结合实体链接与实体聚类的命名实体消歧算法,结合2种方法,可弥补单独使用其中一种方法的局限.该算法在背景文本中将待消歧实体指称扩充为全称,使用扩充后的全称在英文维基百科知识库中生成候选实体集合,同时提取多种特征对候选实体集合进行排序,对于知识库中没有对应实体的指称使用聚类消歧.实验结果表明,该算法在KBP2011评测数据上的F值为0.746,在KBP2012评测数据上的F值为0.670.

基于多步聚类的汉语命名实体识别和歧义消解

命名实体识别和歧义消解是自然语言理解的重要研究内容。针对提供实体知识库情况下的命名实体识别和歧义消解任务,该文提出了一种基于多步聚类的方法。首先通过两轮聚类将命名实体与知识库实体定义链接,然后通过层次聚合式聚类对知识库中未出现的实体进行聚类,最后进行普通词的识别和基于K-Means聚类的结果调整。在CLP-2012的汉语命名实体识别和歧义消解评测数据上的实验表明,该文的方法表现出良好的性能,在测试集上的F值高出评测参赛队伍最好水平6.46%,达到86.68%。

命名实体消歧研究进展综述

【目的】调研近年来命名实体消歧领域的相关研究和资源,重点介绍命名实体消歧方法研究进展。【文献范围】使用知网数据库、万方数据知识服务平台和EBSCO外文期刊平台检索命名实体消歧相关文献,共选择57篇代表性文献和电子资源。【方法】从实体显著性、上下文相似度、实体关联度、深度学习和特殊标识资源5个角度对命名实体消歧的方法和思路进行归纳总结,并对可用的辅助知识库和开源工具以及国际评测会议进行梳理。【结果】传统的方法经典易用,而近年来出现的深度学习等新方法,则明显地提升了消歧效果。有效的消歧模型往往整合了不同类型方法,以期达到最优消歧效果。【局限】基于已有文献对各种方法的对比分析尚存在一定的主观性。【结论】现有的命名实体消歧方法仍然处在发展阶段,未来可利用人工智能方法和领域资源进一步提升实体消歧效果。

多特征融合的中文命名实体链接方法研究

命名实体链接是利用知识库进行命名实体消歧,将文本中的实体指称映射至知识库中正确义项的一种方法。现有的命名实体链接研究与实践多利用维基百科实现西文实体的消歧,缺乏对中文命名实体消歧的研究。本文以百度百科作为基础知识库,提出了一种中文命名实体链接方法,该方法融合了单实体消歧和多实体消歧特征,并根据不同文本长度选用不同的特征组合,同时,在传统一阶段式消歧的基础上添加了第二阶段消歧以改善消歧结果。在真实中文语料上的实验表明,多特征叠加和两段式消歧可较大程度地提升消歧准确率。对比实验显示,本文提出的命名实体链接方法的总体性能优于当前主流同类系统的水平。

基于关联数据的命名实体识别

命名实体识别是自然语言处理的基础性任务,其结果具有广泛的应用。关联数据由于具有丰富的语义知识,能够对现有命名实体识别进一步完善。本文实现了一个基于关联数据的可配置的中英文命名实体识别系统,在识别过程中对实体进行消歧并对识别结果进行扩展,为命名实体识别的进一步完善提供了新的思路。具体包括:基于DBpedia构造了跨领域的中英文命名实体词典;设计了一个基于Hive的分布式管理数据存储模型,基于该模型实现了对DBpedia数据集的组织、存储以及扩展;设计了一个基于图的命名实体识别算法,该算法能够充分利用关联数据的语义关系对命名实体进行消歧,并且基于DBpedia Spotlight NER Corpus对算法进行测试,并将算法结果与DBpedia Spotlight、NERSO以及Zwmanta三个系统进行对比评价,结果表明本文实现的算法在查全率、查准率、F值上具有更好的表现。