基于少样本学习的知识图谱补全综述

知识图谱是大数据时代知识工程在人工智能研究领域的典型代表,是自然语言处理应用中不可或缺的基础资源.由于知识图谱天生不完整,众多研究者提出了知识图谱补全(Knowledge Graph Completion, KGC)的方法,以向知识图谱中添加新的三元组.然而,知识图谱补全方法常受长尾关系和新增实体的限制,缺乏足够的已知三元组用于训练.因此,少样本知识图谱补全(Few-shot Knowledge Graph Completion, FKGC)成为了知识图谱补全领域的研究热点.本文系统性地介绍了基于少样本知识图谱补全学习方法最新研究进展.以基于邻居信息的方法、基于关系分布的方法、基于元优化嵌入的方法、基于元强化学习的方法、基于数据增强的方法为主线,对少样本知识图谱补全的知识表示、算法模型进行详细描述,分析其主要原理以及优点与不足.本文还总结了目前常用的少样本知识图谱补全数据集、实验评估标准以及代表性方法的实验结果,并从多模态融合、噪声和错误信息处理、知识迁移、动态知识图谱等5个方面展望了少样本知识图谱补全的未来发展方向.

融合选择注意力的小样本知识图谱补全模型

在面对实体对关系复杂或目标邻域稀疏等情况时,现有的小样本知识图谱补全模型普遍存在关系表示学习能力不足以及忽略实体对相对位置和交互作用的问题。基于此,提出一种基于选择注意力机制和交互感知的小样本知识图谱补全模型(SAIA)。首先,通过在聚合邻域信息过程中引入选择注意机制,帮助邻域编码器聚焦更重要的邻居以减少噪声邻居的不良影响;其次,在关系表示学习阶段,利用背景知识图谱中与任务关系相关的信息学习更加准确的关系表示;最后,为了挖掘知识图谱实体之间的交互信息和位置信息,设计了一个实体对公共交互率指标(CIR)来衡量实体对三阶路径内的关联程度,然后结合实体语义信息共同预测新的事实。实验结果表明该方法优于目前最先进的小样本知识图谱补全模型。与基准模型最优的结果相比,SAIA在NELL-one和Wiki-one数据集上的5-shot链接预测中,平均倒数排名(MRR)、Hits@10、Hits@5以及Hits@1等性能评价指标分别提高了0.038、0.011、0.028和0.052以及0.034、0.037、0.029和0.027,验证了所提模型的有效性和可行性。

基于自适应上下文匹配网络的小样本知识图谱补全

知识图谱在构建过程中需要面对繁杂的现实世界信息,无法建模所有知识,因此需要补全。真实的知识图谱中很多类型的关系通常只有少量的训练实体样本对。因此,如何进行小样本知识图谱补全是一个十分有价值的问题。目前基于嵌入的方法一般通过注意力机制等方法聚合实体上下文信息,通过学习关系嵌入的方式来补全知识图谱,仅考虑关系层面的匹配程度,虽然能够预测未知关系,但往往准确度不高。针对小样本知识图谱补全问题,提出了一个自适应上下文匹配网络(Adaptive Context Matching Network,ACMN)。首先提出一个共性邻居感知编码器,聚合参考集实体上下文,即一跳邻居实体,获得共性邻居感知编码;接着提出一个任务相关实体编码器,挖掘任务实体上下文与共性上下文的相似度信息,区分一跳邻居对当前任务的贡献,增强实体表征;然后提出一个上下文关系编码器获得动态关系表征;最后通过加权求和综合考虑实体上下文和关系的匹配程度,完成补全。ACMN从实体上下文相似度和关系匹配程度两个方面综合评价查询三元组是否成立,能够在小样本的背景下有效提高预测准确性。在两个公共数据集上和其他8个广泛使用的算法进行比较,ACMN在不同规模的小样本情况下,取得了目前最好的补全结果。

基于图注意力网络的小样本知识图谱补全

提出了一种基于图注意力网络(graph attention network,GAT)的小样本知识图谱补全方法.该方法通过图注意力网络的注意力机制赋予邻居不同的权重,生成更强大的特征表示,通过匹配网络匹配查询集与参考集,选择相似性度量分数最高的候选实体作为补全后的尾实体.实验结果表明,图注意力网络模型对小样本知识图谱中缺失的链接能够进行有效的预测.

少样本知识图谱补全技术研究

少样本知识图谱补全(FKGC)是目前知识图谱补全任务的一个研究热点,旨在拥有少量样本数据的情况下,完成知识图谱补全任务。该任务在实际应用和知识图谱领域都有着重要的研究意义,为了进一步促进FKGC领域的发展,对目前各类方法进行了全面总结和分析。首先,描述了FKGC的概念和相关内容;其次,以技术方法作为分类依据,归纳总结出三类FKGC方法,包括基于度量学习的方法、基于元学习的方法以及基于其他模型的方法,并从模型核心、模型思路、优缺点等角度对每种方法进行分析和总结;然后,汇总了FKGC方法的数据集和评价指标,并从模型特点和实验结果两方面对FKGC方法进行分析与归纳;最后,从实际问题出发,总结了目前FKGC任务的难点问题,分析了问题背后的困难,给出了相应的解决方法,同时展望了该领域未来值得关注的几个发展方向。

基于关系学习的小样本知识图谱补全模型

在小样本知识图谱中,实体对之间的关系表示复杂多样。然而,现有的小样本知识图谱补全方法普遍存在关系学习能力不足和忽略实体上下文语义的问题。为解决这些问题,提出了一种基于关系学习的小样本知识图谱补全模型FRLC。首先,在聚合高阶邻域实体信息的过程中引入了门控机制,这一步骤旨在丰富中心实体表达的同时减少噪声对邻居的不良影响。其次,在关系学习阶段充分利用参考集实体对之间的相关性,实现更加准确的关系表示。最后,在Transformer学习器中,引入了LSTM结构进一步学习实体和关系的上下文语义信息,用于预测新的事实知识。为了验证FRLC的有效性,在公开的NELL-One和Wiki-One数据集上将FRLC与6个小样本知识图谱补全模型和5个传统模型的5-shot链接预测进行了对比实验,结果表明:FRLC在MRR、Hits@10、Hits@5和Hits@1这4个指标上都有所提升,证明了模型的有效性。

基于生成式对抗网络和正类无标签学习的知识图谱补全算法

随着知识图谱的应用越来越广泛,绝大多数真实世界的知识图谱通常具有不完备性,限制了知识图谱的实际应用效果。因此,知识图谱补全成为了知识图谱领域的热点。然而,现有方法大多集中在评分函数的设计上,少部分研究关注了负样本抽样策略。在改善负样本抽样的知识图谱补全算法的研究中,基于生成式对抗网络的方法取得了不错的进展。然而,现有研究并没有关注到负样本存在假阴性标签的问题,即生成的负样本中可能包含真实的事实。为了缓解假阴性标签问题,提出了一种基于生成式对抗网络和正类无标签学习的知识图谱补全算法。该方法利用生成式对抗网络生成无标签样本,并使用正类无标签学习缓解假阴性标签问题。在基准数据集上进行的大量实验证明了所提算法的有效性与准确性。

基于关系学习网络的小样本知识图谱补全模型

现实世界中的知识图谱由大量事实三元组构成,其中通常包含许多出现次数很少的小样本关系,面向这些小样本关系补全知识图谱中缺失的三元组是一项具有挑战性的工作。针对现有小样本知识图谱补全模型中普遍存在的小样本关系表示无法有效提取问题,提出一种基于关系学习网络的小样本知识图谱补全模型。考虑关系的相关性,对参考和查询三元组进行邻域聚合编码,获得增强的实体嵌入表示。基于融合Transformer编码器与长短期记忆神经网络的结构,将三元组的关系表示进行编码输出。利用注意力机制得出查询关系与动态参考关系的语义相似性,并结合平移模型的假设对查询三元组成立的可能性进行综合打分。实验结果表明,该模型通过融合路径发现与上下文语义有效提取了小样本关系的细粒度语义,在小样本链接预测任务中,相较于基线模型中评价指标的最优值平均提升了9.5个百分点。

多兴趣点融合多模态知识图谱的跨会话推荐

针对现有的会话推荐专注单一兴趣的上下文,忽略了单用户多兴趣,以及利用知识图谱时忽略多模态数据类型的不足,提出一种多兴趣点融合多模态知识图谱的跨会话推荐。受少样本学习在有限实例学习模型的启发,设计一个跨会话协作网络,将下一个项目推荐建模为少样本学习问题;从用户的行为序列中捕获用户的各种兴趣,根据用户的历史和当前行为序列构建兴趣图;引入多模态知识图注意力网络,通过使用多模态图注意力机制进行信息传播,得到聚集嵌入表示并进行推荐;设计一个相似会话检索网络,从历史会话中找出与当前会话相似的网络来补充和优化偏好表示。实验结果表明,所提算法在Recall@20和MRR@20指标上均优于基线。

基于关系冗余度的少样本实体关系自适应抽取

医学文本中丰富的医学知识可为构建医学知识图谱提供数据支撑,但医学文本中存在部分知识文本数量较少,导致了知识分布不平衡、循证类知识样本少等现实问题,且现有实体关系抽取模型对关系冗余、实体重叠等问题并没有很好的解决方案。论文针对上述问题,提出了一种基于关系冗余度的少样本实体关系自适应抽取模型,该模型弥补了现有抽取模型过度依赖大量标注语料、无法解决实体重叠等不足。使用医学相关文本展开实验,结果表明该模型较现有抽取模型F1性能提高了4.9%。

基于子图结构语义增强的少样本知识图谱补全

针对少样本场景下实体表示不充分的问题,提出一种基于子图结构语义增强的少样本知识图谱补全模型。首先,采用注意力机制,提取节点以关系交互为核心的文本语义特征,并提取节点以集群系数为核心的子图结构语义特征;接着,使用前馈神经网络实现实体语义聚合,并利用Transformer网络针对三元组进行编码;最后,通过原型匹配网络来计算链接预测分数。实验表明,所提模型优于所有基于度量学习的基线模型,对比最新基于元学习的基线模型,在NELL-One数据集上Hits@1指标得到改善,Wiki-One数据集上所有指标得到提升,表明所提模型在增强实体表示和提升实体链接的预测效果上是有效的。

知识图谱推理研究综述

近年来,随着互联网技术以及引用模式的快速发展,计算机世界的数据规模呈指数型增长,这些数据中蕴含着大量有价值的信息,如何从中筛选出知识并将这些知识进行有效组织和表达引起了广泛关注。知识图谱由此而生,面向知识图谱的知识推理就是知识图谱研究的热点之一,已经在语义搜索、智能问答等领域取得了重大成就。然而,由于样本数据存在各种缺陷,例如样本数据缺少头尾实体、查询路径过长、样本数据错误等,因此面对上述特点的零样本、单样本、少样本和多样本知识图谱推理更受瞩目。文中将从知识图谱的基本概念和基础知识出发,介绍近年来知识图谱推理方法的最新研究进展。具体而言,根据样本数据量大小的不同,将知识图谱推理方法分为多样本推理、少样本推理和零与单样本推理。模型使用超过5个实例数进行推理的为多样本推理,模型使用2~5实例数进行推理的为少样本推理,模型使用零个或者一个实例数进行推理的为零与单样本推理。根据方法的不同,将多样本知识图谱推理细分为基于规则的推理、基于分布式的推理、基于神经网络的推理以及基于其他的推理,将少样本知识图谱推理细分为基于元学习的推理与基于相邻实体信息的推理,具体分析总结这些方法。此外,进一步讲述了知识图谱推理的典型应用,并探讨了知识图谱推理现存的问题、未来的研究方向和前景。

结合类型感知注意力的少样本知识图谱补全

【目的】现有少样本知识图谱补全方法在处理复杂关系时不能很好地区分邻居重要性,导致实体预测性能不佳。考虑充分利用实体邻居信息,提高少样本知识图谱补全方法的性能。【方法】通过类型感知邻居编码器学习实体邻居中包含的隐含类型信息,得到类型感知注意力,增强实体表示;利用Transformer编码器捕获任务关系的不同含义;通过联合匹配原型网络聚合参考集得到参考集表示并进行实体预测。【结果】在NELL和Wiki两个公共数据集上进行实体预测任务,实验结果表明,MRR指标分别较Baseline方法提高了1.6和1.2个百分点。【局限】未对与实体相关性较低的邻居进行筛选,使类型感知注意力权重的分配受到噪声影响。【结论】本文方法能够通过学习更丰富的实体邻居信息来有效提高少样本知识图谱补全的性能。