A New Method of Semantic Network Knowledge Representation Based on Extended Petri Net

Abstract： It was discussed that the way to reflect the internal relations between judgment and identification, the two most fundamental ways of thinking or cognition operations, during the course of the semantic network knowledge representation processing. A new extended Petri net is defined based on qualitative mapping, which strengths the expressive ability of the feature of thinking and the mode of action of brain. A model of semantic network knowledge representation based on new Petri net is given. Semantic network knowledge has a more efficient representation and reasoning mechanism. This model not only can reflect the characteristics of associative memory in semantic network knowledge representation, but also can use Petri net to express the criterion changes and its change law of recognition judgment, especially the cognitive operation of thinking based on extraction and integration of sensory characteristics to well express the thinking transition course from quantitative change to qualitative change of human cognition.

Semantic model and optimization of creative processes at mathematical knowledge formation

The aim of this work is mathematical education through the knowledge system and mathematical modeling. A net model of formation of mathematical knowledge as a deductive theory is suggested here. Within this model the formation of deductive theory is represented as the development of a certain informational space, the elements of which are structured in the form of the orientated semantic net. This net is properly metrized and characterized by a certain system of coverings. It allows injecting net optimization parameters, regulating qualitative aspects of knowledge system under consideration. To regulate the creative processes of the formation and realization of mathematical know- edge, stochastic model of formation deductive theory is suggested here in the form of branching Markovian process, which is realized in the corresponding informational space as a semantic net. According to this stochastic model we can get correct foundation of criterion of optimization creative processes that leads to “great main points” strategy (GMP-strategy) in the process of realization of the effective control in the research work in the sphere of mathematics and its applications.

Research of Dynamic Competitive Learning in Neural Networks

Introduce a method of generation of new units within a cluster and aalgorithm of generating new clusters. The model automatically builds up its dynamically growinginternal representation structure during the learning process. Comparing model with other typicalclassification algorithm such as the Kohonen's self-organizing map, the model realizes a multilevelclassification of the input pattern with an optional accuracy and gives a strong support possibilityfor the parallel computational main processor. The idea is suitable for the high-level storage ofcomplex datas structures for object recognition.

Graph CA: Learning From Graph Counterfactual Augmentation for Knowledge Tracing

With the popularity of online learning in educational settings, knowledge tracing(KT) plays an increasingly significant role. The task of KT is to help students learn more effectively by predicting their next mastery of knowledge based on their historical exercise sequences. Nowadays, many related works have emerged in this field, such as Bayesian knowledge tracing and deep knowledge tracing methods. Despite the progress that has been made in KT, existing techniques still have the following limitations: 1) Previous studies address KT by only exploring the observational sparsity data distribution, and the counterfactual data distribution has been largely ignored. 2) Current works designed for KT only consider either the entity relationships between questions and concepts, or the relations between two concepts, and none of them investigates the relations among students, questions, and concepts, simultaneously, leading to inaccurate student modeling. To address the above limitations,we propose a graph counterfactual augmentation method for knowledge tracing. Concretely, to consider the multiple relationships among different entities, we first uniform students, questions, and concepts in graphs, and then leverage a heterogeneous graph convolutional network to conduct representation learning.To model the counterfactual world, we conduct counterfactual transformations on students’ learning graphs by changing the corresponding treatments and then exploit the counterfactual outcomes in a contrastive learning framework. We conduct extensive experiments on three real-world datasets, and the experimental results demonstrate the superiority of our proposed Graph CA method compared with several state-of-the-art baselines.

Machine Learning Meets the Semantic Web

Remarkable progress in research has shown the efficiency of Knowledge Graphs(KGs)in extracting valuable external knowledge in various domains.A Knowledge Graph(KG)can illustrate high-order relations that connect two objects with one or multiple related attributes.The emerging Graph Neural Networks(GNN)can extract both object characteristics and relations from KGs.This paper presents how Machine Learning(ML)meets the Semantic Web and how KGs are related to Neural Networks and Deep Learning.The paper also highlights important aspects of this area of research,discussing open issues such as the bias hidden in KGs at different levels of graph representation。

基于Vitis AI的语义分割网络加速器研究与实现

本文基于Xilinx Vitis AI对语义分割网络U Net进行网络定点化、深度学习处理单元DPU定制、软硬件协同优化等加速方法,最终在Xilinx ZCU102异构平台上实现了语义分割加速器的设计,在较低的精度损失下降低硬件资源消耗,完成了整个U Net网络的软硬件系统开发。实验结果表明,整个U Net网络硬件加速器的处理帧率可达42 fps,证明了该神经网络加速方案的有效性。

融入三维语义特征的常识推理问答方法

现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,提出一种融入三维语义特征的常识推理问答方法。首先提出知识图谱节点的关系层级、实体层级、三元组层级三维语义特征量化指标;其次,通过注意力机制动态计算关系层级、实体层级、三元组层级三种维度的语义特征对不同实体节点间的重要性;最后,通过图神经网络进行多层聚合迭代嵌入三维语义特征,获得更多的外推知识表示,更新知识图谱子图节点表示,提升答案预测精度。与QA-GNN常识问答推理方法相比,所提方法在CommonsenseQA数据集上的验证集和测试集的准确率分别提高了1.70个百分点和0.74个百分点,在OpenBookQA数据集上使用AristoRoBERTa数据处理方法的准确率提高了1.13个百分点。实验结果表明,所提出的融入三维语义特征的常识推理问答方法能够有效提高常识问答任务准确率。

JCapsR:一种联合胶囊神经网络的藏语知识图谱表示学习模型

知识图谱表示学习是自然语言处理的一项关键技术,现有的知识图谱表示研究主要集中在英语、汉语等语言,而低资源语言的知识图谱表示学习研究还处于探索阶段,如藏语。该文基于前期构建的藏语知识图谱,提出了一种联合胶囊神经网络(JCapsR)的藏语知识图谱表示学习模型。首先,我们使用TransR模型生成藏语知识图谱的结构化信息表示。其次,采用融合多头注意力和关系注意力的Transfomer模型表示藏语实体的文本描述信息。最后,采用JCapsR进一步提取三元组在知识图谱语义空间中的关系,将实体文本描述信息和结构化信息融合,得到藏语知识图谱的表示,相比基线系统,联合胶囊神经网络JCapsR模型提高了在藏语知识图谱上实体链接预测的性能,相关研究为其他低资源语言知识图谱表示学习的拓展优化提供了参考借鉴意义。

基于潜层关系增强的实体和关系联合抽取

为充分发掘文本序列中潜层语义关系信息,提出一种实体和关系联合抽取的潜层关系增强模型SREM(text subtext relationship enhancement model)。在潜层关系表示层利用结构化对齐的方式,获取并保持文本序列中的语义信息结构。在融合注意力机制的关系网络层中对数据进行建模,提高模型对文本词汇间关系信息的捕获能力。结合注意力机制获取细粒度语义信息,对上下文信息进行选择过滤。实验结果表明,在数据集NYT和WebNLG上取得的F1值分别为92.40%和92.52%,验证了模型的有效性。

基于图表征知识蒸馏的图像分类方法

知识蒸馏的核心思想是利用1个作为教师网络的大型模型来指导1个作为学生网络的小型模型,提升学生网络在图像分类任务上的性能.现有知识蒸馏方法通常从单一的输入样本中提取类别概率或特征信息作为知识,并没有对样本间关系进行建模,造成网络的表征学习能力下降.为解决此问题,本文引入图卷积神经网络,将输入样本集视为图结点构建关系图,图中的每个样本都可以聚合其他样本信息,提升样本的表征能力.本文从图结点和图关系2个角度构建图表征知识蒸馏误差,利用元学习引导学生网络自适应学习教师网络更佳的图表征,提升学生网络的图建模能力.相比于基线方法,本文提出的图表征知识蒸馏方法在加拿大高等研究院(Canadian Institute For Advanced Research,CIFAR)发布的100种分类数据集上提升了3.70%的分类准确率,表明本文方法引导学生网络学习到了更具有判别性的特征空间,提升了图像分类能力.

邻域信息分层感知的知识图谱补全方法

知识图谱补全(KGC)旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络(GCN)应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。

知识互联视角下的作战行动判识方法

针对复杂战场环境中态势数据呈现出的大规模、碎片化特征,将知识图谱技术应用到态势感知工作中,从整体性和关联性的角度来判识作战行动。构建了作战行动知识图谱,将作战行动类型、作战力量以及属性等态势数据以图的形式进行组织,实现了作战行动知识的相互关联。设计了基于知识图谱的作战行动判识模型,该模型能够充分运用图谱中的属性信息和关联信息来得到更丰富的实体向量表示,通过衡量三元组的真实性来判识作战力量的作战行动类型以及作战力量之间的关系。实验表明,所提方法可以有效地对作战行动进行判识,有助于指挥人员深入地分析战场态势。

基于文本语义增强和评论立场加权的网络谣言检测

社交网络方便人们信息交流的同时也为谣言的传播提供了新的温床。由于社交媒体帖子通常十分精简,大多数基于内容语义特征的谣言检测方法面临着语义信息不足的挑战。同时,目前基于传播特征的谣言检测方法常常忽略了评论用户的个体特征,未能合理分配不同用户评论的权重。因此,提出一种结合文本语义增强和评论立场加权的网络谣言检测方法。通过外部知识图谱获取帖子中的实体和概念的解释,以提供更多上下文信息,从而增强语义理解。借助点互信息将增强后的文本转化为加权图表示,并利用加权图注意力网络学习帖子的增强语义特征。通过预训练的立场检测模型提取帖子中每条评论的立场信息,并根据评论用户的特征来学习立场信息的权重值。将评论立场的时序数据和相应的评论用户序列数据输入跨模态的Transformer,以学习评论立场的时序特征。将增强的语义特征与加权的评论立场时序特征进行自适应融合,并输入多层感知机中进行分类。在PHEME和Weibo两个数据集上的实验结果表明,该方法不仅准确率高于最先进的基线方法1.6个百分点以上,而且在早期谣言检测方面,比最好的基线方法提前12 h。

一种用于答案选择的知识增强图卷积网络

答案选择是问答领域的一个重要子任务,目标是根据问题从候选答案集合中选择最合适的答案.该任务的核心是问答语义匹配.近年来,随着深度神经网络和预训练语言模型的应用,许多端对端的问答匹配模型展现出优异的性能.但是,现有模型仍然存在语义信息提取不充分以及未有效利用外部知识信息等问题.针对上述问题,本文提出一种知识增强图卷积网络(A Knowledge-enhanced Graph Convolutional Network,KEGCN).首先,KEGCN提出一种基于图卷积神经网络的问题-答案结构信息提取机制,在利用BERT获得文本语义信息的基础上,KEGCN通过图卷积神经网络学习问答对之间的结构信息,增强语义信息.其次,KEGCN设计了一种基于自注意力门控网络的扩展知识语义构建机制,利用自注意力门控网络获取扩展知识实体之间的上下文语义关联并过滤知识噪声,增强模型的鲁棒性.最后,KEGCN利用多尺寸卷积神经网络提取多粒度的全局语义信息,以进一步提高答案选择推理的准确性.WikiQA和TrecQA数据集上的实验结果表明,与对比模型相比较,KEGCN的综合性能更加优异.

一种基于异构图神经网络和文本语义增强的实体关系抽取方法

信息化时代,如何从海量自然语言文本中提取结构化信息已经成为研究热点。电力系统中繁杂的知识信息需要通过构建知识图谱来解决,而实体关系抽取是其上游的信息抽取任务,其完成度直接关系到知识图谱的有效性。而随着深度学习的不断发展,利用深度学习技术来完成实体关系抽取任务的研究逐渐展开并取得了良好的效果。然而目前依然存在文本语义应用不完全等问题。针对这些问题本文尝试提出了一种基于异构图神经网络和文本语义增强的实体关系抽取方法,该方法使用词节点与关系节点学习语义特征,并通过BRET与预训练任务分别获得两种节点的初始特征,使用多层图网络结构迭代更新,并在每一层中使用基于多头注意力机制的信息传递实现两种节点的交互。通过该模型与其他实体关系抽取在两个公开数据集上实验对比,所提模型取得了预期效果,在多种情境下普遍优于对比模型。

基于语义和结构增强的时序知识图谱问答方法

知识图谱作为自然语言处理领域中的热门研究主题之一,一直受到学术界的广泛关注。在现实中,知识问答过程往往携带时间信息,因此,近年来,应用时序知识图谱来完成知识问答的技术广泛受到学者的青睐。传统的时序知识图谱问答技术主要通过对问题进行编码来完成推理过程,但其无法处理问题中包含的复杂的实体和时间关系。基于此,提出一种基于语义和结构增强的时序知识图谱问答方法,在推理过程中兼顾问题的语义信息和结构信息,提升对复杂问题正确回答的概率。首先,该方法解析出问题中的隐式时间表达,并基于时序知识图谱中的信息,用直接表达方式改写问题,再根据问题集合中的时间粒度,按照不同的时间粒度聚合时序知识图谱中的时间信息。其次,基于问题中的实体信息和时间信息,对问题语义信息进行表示和融合,以加强对于实体和时间语义的学习。再次,基于提取到的实体完成子图提取,并利用图卷积神经网络提取子图的结构信息。最后,将融合后的问题语义信息与结构信息进行拼接,并对候选答案进行评分,选取评分最高的实体作为答案。在MultiTQ数据集上进行对比测试,实验结果表明,提出的模型优于其他基准模型。

考虑审计要素多重语义关联的财务欺诈识别

现有的财务欺诈识别研究大多基于公司、审计师、会计师事务所等审计要素中较为简单的关系特征,罕有研究能够系统刻画各类审计要素之间错综复杂的关联关系.本文创新性地引入知识图谱(Knowledge Graph)技术,构建出包含公司、审计师和会计师事务所的多重语义关联网络,并利用图神经网络(Graph Neural Networks)方法捕捉知识图谱中审计要素之间复杂隐秘的关联关系以提高财务欺诈识别效果.基于我国2018年—2019年的上市公司样本,构建出包含12373个审计要素和111194条关系的审计知识图谱.实证研究发现引入审计要素关联关系能够提升财务欺诈识别准确率;在多种审计要素关联关系中,考虑审计师对公司出具的审计意见对欺诈识别更为重要;对比不同历史时长的审计要素,使用公司历史5年的审计要素识别财务欺诈的效果更好.本研究可以为投资者、分析师以及监管机构在大数据时代下的财务欺诈识别提供科学参考.

注塑模模架设计KBE系统及其智能关键技术

结合当前工程设计领域 KBE技术的发展和模架设计的数据流图 ,给出了注塑模模架设计KBE系统的基本框架 ,并对其关键技术进行了分析 :模架设计知识采用框架 -规则的方法表示 ,并给出了推理的流程图 ,通过面向子目标的方法提高了 KBE系统的知识表示和推理能力 ;将事例推理的方法结合在 KBE系统中 ,提高了系统对以往成功事例的参考能力 ;利用神经网络的自学习能力 ,解决了模架中镶块和前后模设计的计算问题 .通过实际的应用 。

基于人工神经网络的机械设计领域知识表达方法的研究

结合人工神经网络技术开展了机械设计领域经验型知识表达方法的研究，提出了一种基于多层神经网络的知识表达方法，该方法适合于数值型经验知识的表达，并对多层神经网络学习的ＢＰ算法进行了改进。

基于表示学习的双层知识网络链路预测

当前,针对知识网络的链路预测主要是基于网络拓扑结构的相似性,很少考虑作者的研究领域,导致信息利用不充分等问题,因此本文提出了双层知识网络的链路预测框架hypernet2vec。双层知识网络,即作者合著关系网络和学术领域关系网络,利用网络表示学习,分别将两层网络中的节点映射到低维的向量空间,再输入到专门设计的卷积神经网络中计算并进行链路预测。与经典的链路预测指标如RA指标、LP指标和LRW指标等相比,hypernet2vec模型预测的AUC(area under curve)值取得了显著的提升,平均提升幅度达11.17%。文章还从情报产生层面和复杂系统层面,对模型发生作用的深层机理进行了探讨。