类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素(实体和关系)表示在低维的连续向量空间中,可以有效地实现知识图谱补全并提高计算效率,是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组,忽略了知识的时间动态性和实体的类型特征,限制了它们在知识图谱补全和语义计算中的表现.针对这一问题,提出一种类型增强的时态知识图谱表示学习模型(type-enhanced temporal knowledge graph representation learning model,T-Temp),基于经典的张量分解技术,将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时,利用实体与关系间的类型兼容性,充分挖掘隐含在实体中的类型特征,进一步提升表示学习的准确性.此外,证明T-Temp模型具有完全表达性,且与同类模型相比,具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.

JCapsR:一种联合胶囊神经网络的藏语知识图谱表示学习模型

知识图谱表示学习是自然语言处理的一项关键技术,现有的知识图谱表示研究主要集中在英语、汉语等语言,而低资源语言的知识图谱表示学习研究还处于探索阶段,如藏语。该文基于前期构建的藏语知识图谱,提出了一种联合胶囊神经网络(JCapsR)的藏语知识图谱表示学习模型。首先,我们使用TransR模型生成藏语知识图谱的结构化信息表示。其次,采用融合多头注意力和关系注意力的Transfomer模型表示藏语实体的文本描述信息。最后,采用JCapsR进一步提取三元组在知识图谱语义空间中的关系,将实体文本描述信息和结构化信息融合,得到藏语知识图谱的表示,相比基线系统,联合胶囊神经网络JCapsR模型提高了在藏语知识图谱上实体链接预测的性能,相关研究为其他低资源语言知识图谱表示学习的拓展优化提供了参考借鉴意义。

面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石,知识图谱能够从互联网海量数据中抽取并表达先验知识,极大程度解决了智能系统认知决策可解释性差的瓶颈问题,对智能系统的构建与应用起关键作用.随着知识图谱技术应用的不断深化,旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫.链接预测是针对知识图谱中缺失的实体与关系进行预测的任务,是知识图谱构建与补全中不可或缺的一环.要充分挖掘知识图谱中的隐藏关系,利用海量的实体与关系进行计算,就需要将符号化表示的信息转换为数值形式,即进行知识图谱表示学习.基于此,面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点.从链接预测与表示学习的基本概念出发,系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展.具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述.以知识表示形式的发展历程为线索,分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模.基于表示学习建模方式,将现有方法细化为4类模型:平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型,并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型.在介绍链接预测的常用的数据集与评判标准基础上,分别对比分析二元关系、多元关系和超关系3类知识表示形式下,4类知识表示学习模型的链接预测效果,并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

融合人工智能图像特征的知识图谱表示学习研究

原有知识表示模型没有充分考虑知识图谱以外的丰富信息,在缺少对应信息时难以完成推理和补充,处理知识推理任务时会产生较大性能缺陷,本文研究了融合人工智能图像特征的知识图谱表示学习方法.采用最大似然值任务概率,在相似性计算函数中定义知识图谱实体.结合目标检测算法构建残差网络层次结构,在多输出维度中提取知识图谱局部特征.融合人工智能图像特征表示知识图谱,实现学习方法设计.实验结果表明:将本文方法应用在多个知识表示模型中,对缺失的实体关系完成推理预测,可以增加多个模型推理结果的准确性.

基于实体不可知表示学习的知识图谱嵌入

针对知识图谱嵌入(KGE)引发的参数存储效率低下的问题,本研究提出了一种创新的实体不可知表示学习方法。传统的知识图谱嵌入技术通过为知识图谱中的各个元素(涵盖实体和关系)分配特定的嵌入(即向量化表达),将其映射至连续的向量空间。然而,这种方法导致了嵌入参数随着知识图谱规模的扩大而呈现线性增长的趋势。在此基础上,我们提出了名为实体不可知表示学习(EARL)的模型。该模型仅学习一小部分实体的嵌入,这些实体被称为保留实体。为了获取完整实体集的嵌入,我们巧妙地结合关系、K近邻保留实体以及多跳邻居中的信息,以编码这些保留实体的独特特征。通过学习通用且实体不可知的编码器,我们将这些特征高效地转换为实体的嵌入。相较于传统的知识图谱嵌入技术,这种创新方法使得我们提出的EARL模型在保持高效的同时,具有更少的参数量,从而展现出更高的静态性。实验结果充分验证了EARL在链路预测任务上的卓越性能,并且在参数效率方面展现出显著优势,进一步凸显了其在减少参数使用方面的有效性。

ConvPiece:基于二维卷积和子图采样的大型知识图谱表示学习模型

基于浅层模型的知识图谱表示学习的目标是学习图上所有的实体和关系的嵌入表示向量,然而浅层模型难以学习到更具表达力的特征。浅层模型采用的嵌入表示矩阵使得训练过程需要消耗大量的计算资源,难以在现实中的大型知识图谱上进行训练。大型知识图谱表示学习模型——ConvPiece,基于锚节点和邻居节点及关系采样策略为知识图谱上的每个节点预计算子图表示,利用二维卷积和Transformer为每个节点聚合采样子图特征得到节点的表示向量,最终输入解码器计算得分并训练。在两个大型知识图谱数据集FB15k-237和WN18RR上的链路预测实验显示,ConvPiece在只有大模型十分之一参数量的情况下分别保持着88%和92%的性能,且分别高出参考模型9%和2%。

一种融合实体图上下文的三维旋转知识图谱表示学习

知识图谱表示学习旨在将实体和关系投影到低维、连续的向量空间中,学习实体和关系语义信息的向量表示.然而,大多数现有的模型难以有效建模知识图谱的基本特征,即对称/反对称、逆、组合关系模式.此外,许多模型将知识图谱简化成不相关三元组构成的集合,忽略三元组中的实体在图中的邻域信息.针对以上问题,本文提出一种融合实体图上下文的三维旋转知识图谱表示学习模型.该模型首先在四元数数学框架的基础上,将实体表示为三维空间中的一组向量,将关系解释为实体间的三维旋转变换,以更好建模各种关系模式.然后,利用注意力机制从相邻节点和边中学习实体图上下文表示,并将其引入到三元组打分函数,以将实体的图上下文信息融合到表示学习模型中.在两个公开数据FB15k-237与WN18RR上的实验结果表明了本文所提模型的有效性.

融合实体描述与路径信息的知识图谱表示学习模型

知识图谱表示学习方法是将知识图谱中的实体和关系通过特定规则表示成一个多维向量的过程。现有表示学习方法多用于解决单跳知识图谱问答任务,其多跳推理能力无法满足实际需求,为提升多跳推理能力,提出一种融合实体描述与路径信息的知识图谱表示学习模型。首先通过预训练语言模型RoBERTa得到融合实体描述的实体、关系表示学习向量;其次利用OPTransE将知识图谱转化成融入有序关系路径信息的向量。最后构建总能量函数,将针对实体描述和路径信息的向量进行融合。通过实验分析与对比该模型在链路预测任务上与主流知识图谱表示学习模型的性能,验证了该模型的可行性与有效性。

基于知识图谱表示学习的谣言早期检测方法

社交网络谣言是严重危害社会安全的一个重要问题.目前的谣言检测方法基本上都依赖用户评论数据.为了获取可供模型训练的足量评论数据,需要任由谣言在社交平台上传播一段时间,这就扩大了谣言的危害.本文提出了一种基于知识图谱表示学习的谣言检测方法.该方法不依赖用户评论数据.首先基于PN-KG2REC算法得到实体和关系的表示;然后将待检测三元组中的实体和关系表示进行拼接,得到三元组表示;最后对三元组的向量表示进行分类,并根据分类结果判断待检测三元组描述内容的真假性.采用公开数据的实验结果表明,本文提出的谣言检测方法在不依赖用户评论数据的前提下,能够有效地对谣言进行早期检测.

基于知识表示学习的KBQA答案推理重排序算法

现有的知识库问答(KBQA)研究通常依赖于完善的知识库,忽视了实际应用中知识图谱稀疏性这一关键问题。为了弥补该不足,引入了知识表示学习方法,将知识库转换为低维向量,有效摆脱了传统模型中对子图搜索空间的依赖,并实现了对隐式关系的推理,这是以往研究所未涉及到的。其次,针对传统KBQA在信息检索中常见的问句语义理解错误对下游问答推理的错误传播,引入了一种基于知识表示学习的答案推理重排序机制。该机制使用伪孪生网络分别对知识三元组和问句进行表征,并融合上游任务核心实体关注度评估阶段的特征,以实现对答案推理结果三元组的有效重排序。最后,为了验证所提算法的有效性,在中国移动RPA知识图谱问答系统与英文开源数据集下分别进行了对比实验。实验结果显示,相比现有的同类模型,该算法在hits@n、准确率、F_(1)值等多个关键评估指标上均表现更佳,证明了基于知识表示学习的KBQA答案推理重排序算法在处理稀疏知识图谱的隐式关系推理和KBQA答案推理方面的优越性。

基于链接实体回放的多源知识图谱终身表示学习

知识图谱存储大量的结构化知识和丰富的语义信息,已被广泛应用于知识驱动的智能软件.随着智能应用的不断发展,它们对知识图谱的需求也在发生变化.而单一知识图谱往往具有数据不完备等缺点,难以满足需求.因此,支持新数据来源、融合多源知识已成为迫切需求.传统的知识图谱表示学习和应用范式只考虑单一图谱,忽视了不同图谱间的知识迁移.多源知识图谱联合训练虽然可以带来性能提升,但不支持新增知识图谱的拓展表示学习.鉴于此,提出了多源知识图谱终身表示学习的新范式.给定一个知识图谱序列,终身表示学习的目标是在学习新知识图谱的同时,从已学习的知识图谱与模型中获得知识迁移.为实现这一目标,提出了一个基于链接实体回放的多源知识图谱终身表示学习框架.首先,设计了一个以Transformer为编码器的知识图谱表示学习模型作为框架核心,利用关系相关性进行实体的链接预测;其次,提出了链接子图构造方法,基于实体对齐构建并回放新增知识图谱和已有知识图谱之间的链接子图进行终身学习和知识迁移;最后,采用动态结构方法,为每个知识图谱存储相应的模型参数快照来避免灾难性遗忘.多个链接预测基准数据集上的实验结果表明:所提出的表示学习模型可以取得最先进的性能,且提出的终身表示学习框架可以实现有效的知识迁移.

基于关系聚合的时序知识图谱表示学习

针对静态知识图表示方法不能对时间进行建模的局限性,从时序图谱实际应用的需求出发,设计了基于关系聚合的时序图谱表示学习方法来描述和推理动态知识图谱的时间信息.与离散的快照时序网络不同,将时间信息视为实体间的链接属性,提出利用时间感知的关系图注意力编码器来学习时序图谱的实体表征.将中心节点的邻域关系和时间戳融入图结构中,然后分配不同的权重,高效地聚合时间知识.在公开的时序知识图谱数据集上运行,结果表明,与传统的时序图谱编码框架相比,面向注意力聚合的时序图谱表示学习方法在补全和对齐任务的性能上都有较强的竞争优势,尤其对高时间敏感度实体更加显著,体现出算法的优越性和强鲁棒性.

基于图表示学习的领域知识图谱推理技术研究

现有领域知识图谱推理模型多数是由基于百科类通用知识图谱的推理模型迁移而来,但是领域知识图谱的异构性并未得到妥善处理。同时,现有研究将关系预测与三元组分类视作2个独立的任务而忽视了两者之间的关联,且领域知识在领域模型的建立过程中也未得到充分的利用。针对上述问题,建立基于翻译距离的改进推理模型TransSep,为异构的实体类型分配不同的特征空间。提出一种联合训练的策略,使得关系预测与三元组分类2个任务互相指导对方的负采样过程,并交替地学习实体的嵌入特征,从而提升2个任务的训练效果。以医疗领域知识图谱为例,将领域知识通过元路径的思想引入TransSep模型中,增强模型的表达能力。在由复旦大学构建的精准医学知识图谱上进行实验,结果表明,相比TransE、DistMult、TriModel等模型,TransSep模型在关系预测任务中MR分数至少提高17.4%,三元组分类任务中的F1值提高至0.9286。

基于知识表示学习的知识图谱补全研究进展

知识图谱(KG)是一种基于图的数据结构,其知识是以三元组的形式呈现,即(头实体,关系,尾实体)。随着人工智能的发展,知识图谱已在系统推荐、智能问答、知识搜索等领域发挥了重要作用。然而构建的知识图谱具有不完整性,影响了知识图谱的下游任务应用,知识图谱补全能够很好地解决这一问题。近年来,基于知识表示学习的知识图谱补全方法成为研究的热点,其以表示向量的形式在低维连续向量空间中学习实体和关系的嵌入特征,旨在预测未知的事实信息进行知识图谱补全。根据KG类型的不同,将其分为静态知识图谱补全、时序知识图谱补全以及多模态知识图谱补全,对这三类知识图谱补全方法拟解决的关键问题、设计思路、模型评价等方面进行对比总结,展望知识图谱补全未来的发展方向,为相关领域的研究人员提供参考。

基于表示学习的知识图谱推理研究综述

知识图谱以结构化形式描述了现实世界中的客观知识,但面临着构建不完整或者无法处理新增知识等挑战。知识图谱推理方法成为了知识图谱补全和更新的重要手段,该方法旨在基于图谱中已有的事实推断出未知的事实。近年来,基于表示学习的知识图谱推理研究受到了广泛关注,其主要研究思路是将实体和关系嵌入到低维连续向量空间从而进行推理,具有计算效率快、推理性能高等优势。文中以基于表示学习的知识图谱推理方法为研究对象,首先对相关的符号表示、数据集、评价指标、训练方法以及评测任务进行了简要概述;其次介绍了基于平移距离和语义匹配的两种典型知识图谱推理方法;然后对融合多源信息的推理方法进行了分类和梳理,以及详细分析了近期流行的基于神经网络的推理研究进展;最后总结全文,同时对知识图谱推理的未来研究方向进行展望。

基于转移的航空安全事件知识图谱表示学习

通过构造航空安全事件知识图谱并对其进行推理预测,可以有效预防航空安全事件的发生。目前,对于知识图谱的表示学习大多采用转移模型TransE,虽然其具有简单、高效的优势,但是在处理复杂关系时存在局限性。航空安全事件知识图谱不同于其他领域知识图谱,其中每个事件相互独立且又联系紧密,存在大量复杂关系,TransE模型不能很好地对其进行表示学习。为此,通过对航空安全事件语料库进行抽取来构建ASIKG数据集,利用公开数据集和ASIKG数据集对TransE的改进模型进行训练,实验结果表明,TransR模型在公共数据集上链接预测效果较好,而TransH模型在ASIKG数据集上取得了较好的链接预测效果。

文本约束下基于表示学习的知识图谱补全研究

现今许多知识图谱补全的研究都围绕着知识表示学习进行并且取得了很好的成效,但多数经典的基于表示学习做图谱补全的模型只考虑了图谱的网络结构特征,这使得知识图谱的丰富文本信息未被有效利用,同时也存在部分仅利用文本信息做补全的研究,但其在计算量大的同时丢失了图谱结构特征。针对该情况,提出一个文本约束的表示学习模型,其基于结构特征提取较优秀的图卷积神经网络,将经预训练语言模型获取的实体描述文本表示用于关联度计算以约束聚合偏向性来做知识图谱补全。最后的实验结果也证明了该模型的有效性。

融合选择注意力的小样本知识图谱补全模型

在面对实体对关系复杂或目标邻域稀疏等情况时,现有的小样本知识图谱补全模型普遍存在关系表示学习能力不足以及忽略实体对相对位置和交互作用的问题。基于此,提出一种基于选择注意力机制和交互感知的小样本知识图谱补全模型(SAIA)。首先,通过在聚合邻域信息过程中引入选择注意机制,帮助邻域编码器聚焦更重要的邻居以减少噪声邻居的不良影响;其次,在关系表示学习阶段,利用背景知识图谱中与任务关系相关的信息学习更加准确的关系表示;最后,为了挖掘知识图谱实体之间的交互信息和位置信息,设计了一个实体对公共交互率指标(CIR)来衡量实体对三阶路径内的关联程度,然后结合实体语义信息共同预测新的事实。实验结果表明该方法优于目前最先进的小样本知识图谱补全模型。与基准模型最优的结果相比,SAIA在NELL-one和Wiki-one数据集上的5-shot链接预测中,平均倒数排名(MRR)、Hits@10、Hits@5以及Hits@1等性能评价指标分别提高了0.038、0.011、0.028和0.052以及0.034、0.037、0.029和0.027,验证了所提模型的有效性和可行性。

融合知识图谱和图注意力网络的旅游推荐算法

为缓解旅游推荐模型面临的数据稀疏和冷启动的问题,提出一种融合知识图谱和图注意力网络的旅游推荐算法KRGAT(knowledge ripple graph attention network)。借助水波网络从用户的历史旅游行为和知识图谱中挖掘用户偏好增强用户特征表示,针对当前旅游项目特征学习的方法难以提取节点深层特征的问题,利用图注意力网络聚合相关度更高的邻居节点信息,增强旅游项目特征表示。实验在自建立的旅游数据集上与5个基线方法进行对比,其结果表明,KRGAT的精确率(P)、召回率(R)和AUC值分别提升了5.73%、4.42%和1.42%。