融合实体语义及结构信息的知识图谱推理

目前,图注意力网络(GAT)通过引入注意力机制对目标实体的邻域实体赋予不同权重并进行信息聚合,使得它更关注实体的局部邻域,忽略了图结构中实体和关系之间的拓扑结构;而且在多头注意力后将输出嵌入向量简单拼接或平均,导致注意力头之间相互独立,未能捕捉不同注意力头的重要语义信息。针对GAT应用于知识图谱(KG)推理任务时未充分挖掘实体结构信息和语义信息的问题,提出融合实体语义及结构信息的知识图谱推理(FESSI)模型。首先,使用TransE将实体和关系表示为同一空间的嵌入向量。其次,提出交互注意力机制,将GAT中多头注意力重新融合成多个混合注意力,增强注意力头之间的交互性,以提取目标实体更丰富的语义信息;同时,利用关系图卷积网络(R-GCN)提取实体的结构信息,并通过权重矩阵学习GAT和R-GCN的输出特征向量。最后,使用ConvKB作为解码器进行评分。在知识图谱数据集Kinship、NELL-995和FB15K-237上的实验结果表明,FESSI模型的效果优于多数对比模型,在3个数据集的平均倒数排名(MRR)指标上的结果分别为0.964、0.565和0.562。

基于知识图谱推理的工控漏洞利用关系预测方法

工业控制系统漏洞数量呈快速增长态势,人工分析漏洞利用需要花费的时间与经济成本不断增加,当前推理方法存在信息利用不充分、可解释性差等缺陷.针对上述问题,提出了一种基于知识图谱推理的工控漏洞利用关系预测方法.该方法首先使用路径筛选算法约简漏洞利用路径,然后通过关键关系路径聚合获取路径信息,通过邻居关系信息融合获取邻居信息,最终预测漏洞利用关系.基于安全知识数据与工控场景数据构建了一个包含57333个实体的工控安全知识图谱,进行漏洞利用关系预测实验.结果表明,提出的方法预测准确率达到99.0%,可以辅助工控漏洞利用预测.

小样本关系下的时序知识图谱推理

在各大知识推理应用场景下,知识图谱中时序的缺失、知识图谱构建时实体关系的不完善,已然成为研究者们亟需解决的问题。为此,构造了一种融合时序信息与小样本关系的知识图谱推理模型,该模型将知识图谱的三元组表示扩展到含有时序信息的四元组表示,并通过时序信息来提高推理路径的准确性。此外,通过元学习从高频关系中学习元参数,并使用元参数适配小样本关系任务,提高模型在小样本关系中的泛化能力。实验表明,所提出的方法在Hits@1、Hits@3、Hits@10和MRR上均高于对比方法,并且均提高5%以上,表明所提出的方法可以完成知识图谱的推理,并且在小样本关系下具有较好的效果。

基于表示学习的知识图谱推理研究综述

知识图谱以结构化形式描述了现实世界中的客观知识,但面临着构建不完整或者无法处理新增知识等挑战。知识图谱推理方法成为了知识图谱补全和更新的重要手段,该方法旨在基于图谱中已有的事实推断出未知的事实。近年来,基于表示学习的知识图谱推理研究受到了广泛关注,其主要研究思路是将实体和关系嵌入到低维连续向量空间从而进行推理,具有计算效率快、推理性能高等优势。文中以基于表示学习的知识图谱推理方法为研究对象,首先对相关的符号表示、数据集、评价指标、训练方法以及评测任务进行了简要概述;其次介绍了基于平移距离和语义匹配的两种典型知识图谱推理方法;然后对融合多源信息的推理方法进行了分类和梳理,以及详细分析了近期流行的基于神经网络的推理研究进展;最后总结全文,同时对知识图谱推理的未来研究方向进行展望。

DL+:一种增强型双层知识图谱推理框架

知识图谱是图数据库的一个重要研究领域,它可以形式化地描述现实世界中的事物及其关系,但其不完整性和稀疏性阻碍了其在诸多领域中的应用。知识图谱推理技术旨在根据知识图谱中已有的知识来推断新的知识或识别错误的知识以完善知识图谱。尽管现有的各类推理方法可以获得部分有效知识,但仍然存在获取路径不全、忽略局部信息和引入噪声等问题。基于此,发现且明确提出路径连通性差问题并证明推理有效性与实体间路径连通比率呈正相关规律,进一步提出一种用于增强现有推理方法性能的双层框架DL+。模型第一层是知识增广器,主要利用社区发现算法在初始知识图谱上提取实体邻域信息,构建新知识以增广知识规模,然后设计社区剪枝优化去除构建时引入的噪声,最后将增广后的知识图谱抽取还原为与初始图谱表示相同的结构并输出到第二层以保证模型“即插即用”的特性。第二层是知识推理机,通过在知识增广后的图谱上进行学习推理以达到增强现有知识图谱推理模型的目的,使模型可以在图谱路径连通性比率较高的情况下获得更优的推理结果。最终在4个标准知识图谱数据集上进行的大量实验结果表明DL+算法可以有效缓解实体间路径连通性差的问题,与9类基准方法相比,所提算法的预测精度平均提高了4.798%。

基于Att_GCN模型的知识图谱推理算法

针对目前知识图谱推理方法中,传统神经网络方法不能有效考虑实体之间的相关性问题,提出了一种将图卷积神经网络(GCN)与注意力机制(Attention)相结合的知识图谱推理方法。该方法利用注意力机制对知识图谱中的实体与其邻域实体进行相关性计算,得到实体特征向量。通过图卷积神经网络的参数共享技术学习实体的所有邻域实体特征。将实体特征和关系特征进行特征融合,得到每个实体的隐性特征向量。通过实体分类实验和链接预测实验进行分析,结果表明,该方法的准确率较传统神经网络方法有进一步提高,为搜索、问答、推荐以及数据集成等领域提供了方法支持。

知识图谱推理问答研究综述

知识图谱问答(KGQA)通过对问题进行分析理解,结合知识图谱(KG)获取答案。但因自然语言问题的复杂性以及知识图谱的不完整性,答案准确率得不到有效提升。而知识图谱推理技术可以推断出知识图谱中缺失的实体以及实体间隐含的关系,因此,将知识图谱推理技术应用于知识图谱问答中可以进一步提升答案预测的准确性。近年来,知识图谱问答数据集的提出以及知识图谱推理技术的灵活应用,极大地推动了知识图谱问答的发展。对知识图谱推理问答从三方面进行归纳总结:首先对知识图谱推理问答进行了简要概述,并介绍了其面临的挑战以及相关数据集;其次对知识图谱推理在开放域问答、常识问答以及时序知识问答中的应用分别进行介绍,并分析了各问答方法的优劣,其中开放域问答方法进一步归纳为基于图嵌入的方法、基于深度学习的方法、基于逻辑的方法;最后总结工作,并根据当前知识图谱推理问答存在的问题对未来研究进行展望。

基于混合增强智能的知识图谱推理技术研究

如今,知识图谱被广泛应用在各个领域,例如问答系统、推荐系统等。而基于知识图谱的应用表现很大程度上依赖于知识图谱本身的知识完备性与准确性。单纯通过人工补齐与审核的方式来构建知识图谱已无法满足超大规模知识图谱的需求。针对上述问题,提出一种基于混合增强智能的知识图谱推理框架,即同时利用机器模型与人的知识信息来完成知识图谱推理。该框架在基于知识图谱嵌入的向量空间中,利用混合增强智能模型来寻找到实体节点之间的有效路径。与现有方法不同的是,该方法在训练模型时,高效地利用人的知识信息来指导模型的优化。实验表明,该框架在公开数据集上的表现相较于现有方法有一定提升。

联合规则推理模式和事实嵌入的知识图谱推理

知识图谱推理是解决知识图谱不完整性的重要手段之一.针对现有基于嵌入的推理模型依赖准确事实,可解释性较差,而基于规则的推理模型过于依赖图谱的完整性,数据稀疏时推理性能较低,无法准确表达推理模式.因此文中提出联合规则推理模式和事实嵌入的知识图谱推理模型(Knowledge Graph Reasoning Combining Rule Inference Patterns and Fact Embedding,RPFE).首先,将BoxE作为基础嵌入模型,实现事实的嵌入表示.再设计推理模式差异性函数,辅助嵌入模型捕获不同推理模式的规则,并对规则学习提供直观的嵌入解释.然后,提出事实距离一致性评分函数,强化嵌入表示.最后,优化规则和事实得分,弥补知识图谱高质量事实不足的缺陷,进而提升模型推理的可解释性.在3个公开数据集上的实验表明RPFE在知识图谱推理方面的优越性.

基于实体多元编码的时序知识图谱推理

【目的】解决时序知识图谱推理方法存在的实体信息获取片面和缺乏不同时间戳对于待推理事件重要性度量的问题。【方法】提出一种基于实体多元编码的时序知识图谱推理模型。实体多元编码旨在引入三种实体特征编码,包括当前时间戳的实体切片特征编码、融合时间戳嵌入和实体静态特征的实体动态特征编码以及历史时间步上相对稳定的实体片段特征编码。同时,设计时序注意力机制来学习不同时间戳内的局部结构信息对推理目标的重要性权重。【结果】该时序知识图推理模型在数据集ICEWS14上的实验结果为MRR:0.4704,Hits@1:40.31%,Hits@3:50.02%,Hits@10:59.98%;在ICEWS18上的实验结果为MRR:0.4385,Hits@1:37.55%,Hits@3:46.92%,Hits@10:56.85%;在YAGO上的实验结果为MRR:0.6564,Hits@1:63.07%,Hits@3:65.87%,Hits@10:68.37%,评估指标优于基线方法。【局限】在大规模数据集上运行速度较慢。【结论】本文方法捕获了时序知识图谱中包括实体切片特征、动态特征和片段特征的实体多元特征,所设计的时序注意力机制能够度量历史局部结构信息对推理的重要性,有效提升了时序知识图谱推理的性能。

基于知识图谱的网络攻击预测方法研究及应用

针对网络攻击知识图谱,同时引入了时序信息,提出一种基于知识图谱的网络攻击预测方案,并对其进行应用。通过对网络攻击知识图谱进行规则学习和应用,能够有效地得到网络攻击事件预测结果,为网络安全运维人员提供决策支持。以企业提供的网络安全运维知识图谱为例,将文中研究的方法应用到企业安全检测系统,结果证明该方法具有充分的准确性和可行性,同时为后续研究提供了思路。

基于先验知识图谱的多代理被遮挡目标类别推理模型

目标检测(Object Detection)是计算机视觉中最为热门的方向之一,在军事、医疗等重要领域都有广泛运用。然而,大多数目标检测模型都只能对可见物体进行识别,日常生活中的图片往往存在被遮挡(不可见)的目标物体,现有目标检测模型对图片中的被遮挡目标难以表现出较理想的检测性能。为此,文中提出了一种基于图库先验知识图谱的多代理协作式图片被遮挡目标类别推理模型(IMG-KGR-MAC)。具体而言,1)IMG-KGR-MAC根据给定图库中所有图片的可见目标及其之间的位置关系构建全局先验知识图谱;同时,根据图片自身所含目标及其位置关系,为各图片分别建立图片知识图谱;各图片内被遮挡目标的信息均不计入全局先验知识图谱和图片自身知识图谱;2)采用DDPG(Deep Deterministic Policy Gradient)深度强化学习思想,构建两个相互协作的代理;代理1根据当前图片语义信息从全局先验知识图谱挑选出与被遮挡目标最为适配的“类别标签”,将其作为新实体节点加入到给定图片自身的知识图谱中;代理2根据代理1新加入的实体,从全局先验知识图谱中进一步挑选〈实体,关系〉,扩展与新实体节点相关联的图谱结构;3)代理1与代理2通过共享任务环境和在奖励值上建立通信,相互协作地按“图片被遮挡目标(实体)→关联图谱结构”以及“关联图谱结构→图片被遮挡目标(实体)”原理,开展正向与反向推理,从而有效估计出给定图片被遮挡目标最为可能的类别标签。实验结果表明,与现有相关方法相比,所提出的IMG-KGR-MAC模型可以学习到给定图片被遮挡目标与全局先验知识图谱之间的语义关系,有效克服了现有模型对被遮挡目标难以检测的弊端,对于被遮挡目标有良好的推理能力,在MR(Mean Rank)以及mAP(Mean Average Precision)等多项指标上都有超过20%的提升。

审计知识图谱构建与推理在审计风险评估中的应用研究

随着“科技强审”新思维的提出,审计模式和数据基础都发生了巨大改变,传统审计方法已难以适应审计现状,亟需进行革新解决困境。本文提出并实现了审计知识图谱构建与推理的新型体系框架,以WD医疗科技股份有限公司2020年年报审计为案例,具体分析,智能识别潜在风险点,验证提出的体系框架,从理论和实践方面为人工智能在财务审计的应用场景提供参考与借鉴。

面向知识图谱的会话式机器阅读理解研究综述

对话式机器阅读理解随着数据集的发展而发展,目的在于让机器在理解文章内容的基础上能够进行多轮对话。但现有的模型方法无法从对话历史中捕获到与当前问题最相关的历史信息,模型的推理能力较差,很难获取实体间的隐含信息。知识图谱应用于推理问答是当前的一大研究热点。知识图谱技术可以推断出实体间的隐含关系,应用于推理问答则能够提升模型的推理问答能力,提高预测的准确率。近年来,知识图谱推理技术的广泛应用,极大地推动了知识图谱推理问答的发展。对基于知识图谱的会话式机器阅读理解从三方面进行总结:介绍了会话式机器阅读理解领域的数据集以及当前的一些典型的模型方法,并对模型的性能和优缺点作了简要的分析与比较;介绍了知识图谱的定义、架构以及四大核心技术,并简要介绍了三大类知识图谱推理问答的模型方法;最后总结工作,并根据会话式机器阅读理解的数据集特点和知识图谱推理问答模型的缺点,对未来的研究重点进行展望。

基于RE-GCN改进的时序知识图谱预测模型

为预测时序知识图谱中缺失的链接,解决时序知识图谱不完备性问题,改进现有时序知识图谱预测模型的RE-GCN模型,在模型演化单元部分进行结构依赖学习过程中,充分考虑与实体有关的所有事实,在考虑与实体相邻的事实基础上,延伸到所有历史事实,丰富实体之间的结构依赖关系。结果表明,改进后的RE-GCN模型与原模型相比,在ICEWS18数据集上,实体预测任务和关系预测任务的MMR分别提升2.02%和5.58%。

基于人才知识图谱推理的强化学习可解释推荐研究

【目的】为解决现有工作推荐存在的难以大规模应用、冷启动、缺乏新颖性和解释性等问题,提出基于人才知识图谱推理的强化学习可解释推荐方法。【方法】基于真实的简历数据集构建人才社会经历知识图谱,依据强化学习的理论在知识图谱上训练一个策略智能体,将一次推理过程分解为选择方向、选择节点两个子过程,使其能够在知识图谱上寻找潜在的优质推荐目标。【结果】相比于LR、BPR、JRL-int、JRL-rep及PGPR模型,基于人才知识图谱推理的强化学习可解释推荐模型在MRR@20(81.7%)、Hit@1(74.8%)、Hit@5(92.2%)以及Hit@10(97.0%)均表现最优。【局限】实验数据集规模和任务类型相对有限。【结论】该模型有效结合人才历史工作经历、相似人才工作经历进行推荐,结合知识图谱工作岗位的属性关联,在给出推荐结果的同时,提供推理路径,能够有效应对冷启动和缺乏新颖性、可解释性问题。

基于大规模语言模型的知识图谱可微规则抽取

知识图谱上的推理是预测不完整三元组中缺失的实体或关系,对结构化知识进行补全,并用于不同下游任务的过程。不同于被普遍研究的黑盒方法,如基于表示学习的推理方法,基于规则抽取的推理方法通过从知识图谱中泛化出一阶逻辑规则,实现一种可解释的推理范式。为解决离散的符号空间与连续的嵌入空间之间的鸿沟,提出一种基于大规模预训练语言模型的知识图谱可微规则抽取方法DRaM,将离散的一阶逻辑规则与连续的向量空间进行融合。针对规则中的原子公式顺序对推理过程产生的影响,通过引入大规模预训练语言模型对推理过程进行编码来解决。融合一阶逻辑规则的可微推理方法DRaM,在三个知识图谱数据集Family、Kinship和UMLS上进行的链接预测任务获得了较好的结果,尤其针对链接预测指标Hits@10,DRaM获得了最佳的推理结果。实验结果表明,DRaM能够有效地解决知识图谱上可微推理存在的问题,并且可以从推理过程中抽取带有置信度的一阶逻辑规则。DRaM不仅通过一阶逻辑规则增强了推理效果,同时增强了方法的可解释性。

复杂环境下电磁目标信号认知处理架构与应用研究

针对现代电磁频谱设备或终端具有网络化、捷变性、多功能、自适应、种类复杂多样和使用环境复杂多变等特性给认知电磁频谱战系统的信号分析与处理带来的巨大挑战的问题,提出了一种结合人工智能、适合复杂电磁环境下电磁目标信号认知处理与分析的架构。在该架构下电磁目标信号分析与处理被分为目标信号参数估计、目标信号类型分类、辐射源个体识别和目标信号的特征建库与知识图谱[1-3]的构建等4个层次,可以很好适应闭集和开集电磁目标信号的分析与处理;此外,在此架构下提出了未知辐射源辨识、跨模态辐射源智能识别和电磁辐射源的个体识别的算法框架,在实测数据集上的验证实验表明,该算法在闭集和开集电磁信号分析中有效可行。

基于变分推理的网络舆情传播模式分类

随着网络社交媒体的快速发展,对舆情信息的传播模式进行分析成为研究热点。针对网络舆情传播模式分类任务中,小样本数据多路径生成分类正确率低的问题,提出了舆情传播领域知识图谱结构定义,建立了基于微博数据的舆情传播知识图谱与舆情传播分析任务数据集,使用GraphDIVA模型进行舆情传播模式分类,并在自建数据集中进行了舆情传播模式分类25样本测试实验。结果表明:模型在经过20轮训练后,分类正确率从76%提升到89.4%,说明GraphDIVA模型在减少训练次数、提升分类正确率方面具有更优的效果。

煤矿领域知识图谱构建与推理方法研究综述

将煤矿领域来自不同数据源的知识进行抽取,形成知识网络,借助推理技术可辅助煤矿设备故障诊断、安全风险实时预警与处置、灾害事故原因分析、应急救援方案生成及生产组织和运营管理决策支持,从而推进智慧矿山建设。梳理了知识图谱尤其是煤矿领域知识图谱的研究现状,介绍了以知识为驱动的人工智能发展历程、基于知识图谱的人工智能系统架构、知识图谱的主要类型和代表性工作,剖析了煤矿领域已有知识图谱的知识建模情况、知识图谱构建方式、知识图谱使用方式和成熟度。从实体识别、关系抽取、知识图谱融合与纠错、知识图谱推理等方面,对煤矿领域知识图谱构建与推理技术面临的挑战进行了分析,指出针对上述挑战,需研究基于跨度的实体识别方法、基于多堆叠分类器的关系抽取方法、实体的嵌入表示方法、实体间关系的一致性约束建模方法;煤矿领域知识图谱推理技术的研究需以应用为驱动,与业务场景密切结合;煤矿领域存在大量图像、视频等多模态数据,未来可构建煤矿领域多模态知识图谱,还可融入时间信息构建煤矿领域时序知识图谱。