基于MacBERT-BiLSTM-CRF模型的继电保护装置缺陷知识图谱构建方法

电网发展至今积累了大量继电保护装置缺陷文本数据,尚未被有效挖掘利用。此外,继电保护装置的缺陷排除工作过度依赖运行人员的专业能力,现场运维工作难度大。针对上述问题,提出基于MacBERT-BiLSTM-CRF模型的继电保护装置缺陷知识图谱构建方法。首先,分析继电保护装置缺陷文本的记录特点,对非结构化文本进行数据清洗、数据标注以及数据增强处理。其次,基于BERT-BiLSTM-CRF模型构建MacBERT-BiLSTM-CRF模型进行实体抽取任务。然后,定义继电保护装置缺陷文本的关系抽取规则,结合实体抽取模型共同完成关系抽取任务。最后,构建继电保护装置缺陷知识图谱的模式层,并利用Neo4j图数据库实现知识图谱数据层的存储。算例分析表明,所提数据处理方法能够得到高质量BIO标注数据集。相比于传统BERT-BiLSTM-CRF模型,MacBERT-BiLSTM-CRF模型的实体抽取效果更好。基于模式层完成了继电保护装置缺陷知识图谱的构建与可视化展示,并提出继电保护装置缺陷辅助决策的应用流程与知识图谱的更新方法。

图文数据的多级关系分析与挖掘方法

如何高效挖掘多模态数据间隐藏的语义关联是当前多模态知识抽取的重点任务之一,为更细粒度地挖掘图像与文本数据间关系,提出了一种多级关系分析与挖掘(MRAM)方法,引入BERT-Large模型,提取文本特征构建文本连接图,利用Faster-RCNN网络提取图像特征来学习空间位置关系和语义关系并构建图像连接图,进而完成单模态内部语义关系计算,在此基础上,使用节点切分方法和带多头注意力机制的图卷积网络(GCN-MA)进行局部和全局的图文关系融合。此外,为提升关系挖掘效率,采用了基于注意力机制的连边权重剪枝策略,用以增强重要分支表示,减少冗余信息干扰。在公开的Flickr30K、MSCOCO-1K、MSCOCO-5K数据集上进行方法实验,并与11种方法进行实验结果的对比分析,所提方法在Flickr30K上的平均召回率提高了0.97%和0.57%,在MSCOCO-1K上的平均召回率提高了0.93%和0.63%,在MSCOCO-5K上的平均召回率提高了0.37%和0.93%,实验结果验证了所提方法的有效性。

基于依存关系图注意力网络的SQL生成方法

研究基于自然语言问题的结构化查询语言(SQL)生成问题(Text-to-SQL).提出两阶段框架,旨在解耦模式链接和SQL生成过程,降低SQL生成的难度.第1阶段通过基于关系图注意力网络的模式链接器识别问题中提及的数据库表、列和值,利用问题的语法结构和数据库模式项之间的内部关系,指导模型学习问题与数据库的对齐关系.构建问题图时,针对Text-to-SQL任务的特点,在原始句法依存树的基础上,合并与模式链接无关的关系,添加并列结构中的从属词与句中其他成分间的依存关系,帮助模型捕获长距离依赖关系.第2阶段进行SQL生成,将对齐信息注入T5的编码器,对T5进行微调.在Spider、Spider-DK和Spider-Syn数据集上进行实验,实验结果显示,该方法具有良好的性能,尤其是对中等难度以上的Text-to-SQL问题具有良好的表现.

融合实体描述与关系路径信息的知识图谱嵌入模型

目前已有的知识图谱嵌入方法主要关注三元组结构信息,未充分利用外部文本补充知识图谱的语义信息,同时由于现有模型仅使用单跳输出结果进行知识图谱嵌入,这导致在嵌入过程中丢失了大量的路径信息.针对以上问题,本文提出了一种融合实体描述与关系路径信息的语义嵌入模型TPKGE,该模型首先利用软注意力机制对三元组和实体描述文本进行过滤,提取与特定关系相关的有效信息,其次以分层的方式学习多跳关系路径特征嵌入,最终将两部分结果合并到同一实体和关系嵌入表示中.在4个公开的数据集上进行实验,结果表明TPKGE与其他基线模型相比更具竞争力,验证了同时考虑文本描述以及多跳关系路径信息的有效性.

面向矿井提升机的故障知识图谱构建与应用

针对矿井提升机故障领域公开数据较少、故障知识难以被有效利用的问题,提出了一种矿井提升机故障知识图谱构建方法。该方法引入故障文本分类流程处理目标语料存在的信息冗余问题;利用词典嵌入BERT和BiLSTM-CRF结合进行实体识别,通过ERNIE进行实体关系抽取,并将抽取到的三元组存储在Neo4j图数据库中,在此基础上,实现了一个基于矿井提升机故障知识图谱的智能问答系统。该知识图谱能够较好地揭示矿井提升机故障间的复杂关联关系,实现相关故障的根因分析,为矿井提升机故障诊断提供支撑。

一种基于异构图神经网络和文本语义增强的实体关系抽取方法

信息化时代,如何从海量自然语言文本中提取结构化信息已经成为研究热点。电力系统中繁杂的知识信息需要通过构建知识图谱来解决,而实体关系抽取是其上游的信息抽取任务,其完成度直接关系到知识图谱的有效性。而随着深度学习的不断发展,利用深度学习技术来完成实体关系抽取任务的研究逐渐展开并取得了良好的效果。然而目前依然存在文本语义应用不完全等问题。针对这些问题本文尝试提出了一种基于异构图神经网络和文本语义增强的实体关系抽取方法,该方法使用词节点与关系节点学习语义特征,并通过BRET与预训练任务分别获得两种节点的初始特征,使用多层图网络结构迭代更新,并在每一层中使用基于多头注意力机制的信息传递实现两种节点的交互。通过该模型与其他实体关系抽取在两个公开数据集上实验对比,所提模型取得了预期效果,在多种情境下普遍优于对比模型。

基于要素关联图的汉越跨语言事件检索方法

汉越跨语言事件检索旨在根据输入的中文事件查询短语,检索出相关的越南语新闻事件文档。由于查询文档的新闻文本较长,中文事件查询短语与越南语的查询文档长度不一,表达差异较大,且查询文档中往往会包含大量与其描述的核心事件无关的噪声文本,现有的模型不能很好地捕获事件匹配特征,匹配效果欠佳。基于此,文中提出基于要素关联图的汉越跨语言事件检索方法。首先,预训练一个汉越双语词嵌入来解决跨语言问题;然后,抽取查询文档中的关键信息(关键词和实体)以构建要素关联图;最后,通过引入一个图编码器对构建的要素图进行编码,生成结构化的事件信息来增强传统的事件检索模型。实验结果表明文中提出的方法优于传统的基线方法。

基于高阶图卷积推理网络的任意形状文本检测

通用场景文本检测被广泛应用于地图导航、无人驾驶等多个领域。场景文本方向各异且形状复杂多变,使得文本检测难度大。针对这一问题,提出一种高阶图卷积推理网络。以文本检测框架DRRG为基础,设计高阶图方案,提出高阶图卷积推理网络,扩展了推理范围,有效组合高阶邻居提供的辅助信息。改进一阶邻居的设置,降低无关组件的干扰,提高了反向传播和组件链接的效率。引入SE聚合模块为每个节点独立且自适应地生成聚合方案,进一步提高了对高阶信息的利用率。实验结果表明,改进后的网络在Total-Text、CTW-1500和ICDAR2015数据集上的平均精度(F1)分别提升了1.4、1.05和1.26个百分点。

基于Bert-GNNs异质图注意力网络的早期谣言检测

网络谣言的广泛传播已经造成了很大的社会危害,因此早期谣言检测任务已成为重要的研究热点.现有谣言检测方法主要从文本内容、用户配置和传播结构中挖掘相关特征,但没有同时利用到文本全局语义关系和局部上下文语义关系.为了克服以上局限性,充分利用到谣言数据中的文本全局-局部上下文语义关系、文本语义内容特征和推文传播的结构特征,本文提出了一种基于Bert-GNNs异质图注意力网络的早期谣言检测算法(Bert-GNNs Heterogeneous Graph Attention Network,BGHGAN).该方法根据历史谣言集和用户特征构建一个推文-词-用户异质图,通过采用预训练语言模型Bert和图卷积神经网络(Graph Convolutional Network,GCN)结合的方法进行特征学习,以挖掘谣言的文本语义特征和文本之间的关系,并将异质图分解为推文-词子图和推文-用户子图,采用图注意力网络(Graph Attention network,GAT)的方式分别进行特征学习,从而更充分利用文本全局-局部上下文语义关系和传播图的全局结构关系以加强特征表达;最后,通过子图级注意力机制将不同模块的学习集成进行最终的谣言检测.所提算法在真实的Twitter15和Twitter16数据上进行实验,验证了该算法在检测准确率上分别为91.4%和91.9%,较现有最佳模型分别提高了1%和1.4%,也具备在早期阶段对谣言的检测能力;同时,本文通过实验探讨了不同特征对谣言检测的重要性、对异质图构建质量的重要性.

面向OLAP的高效海量数据存储技术研究与实现

文章在分析了OLAP大规模海量多维数据特点的基础上,针对当前一般规模关系数据库处理海量多维数据能力的不足,通过使用数据库分区技术和并行磁盘组技术,设计并实现了一种高效的、面向OLAP应用的数据存储管理结构。并针对传统查询优化器对于大规模海量数据统计信息更新不及时的问题,设计了一种基于分区技术的统计方法。实验证明,该设计可以对百TB级的多维海量文本数据进行有效的管理。

面向图形理解的工程语义研究

首次提出了工程语义层次划分准则和分类原则 ,即根据工程图样投影表达过程划分为表达方式语义、投影关系语义和尺寸约束语义等 3个层次 ,每一层次又根据信息表达的深度和语义描述的需要 ,划分为显式的低层语义和隐式的高层语义两大类 ,并较为系统地归类了显式语义和较为深入地挖掘了隐式语义 ,从而赋予了图样工程语义动态性、层次性、易于形式化等特征 。

基于图的特征词权重算法及其在文档排序中的应用

信息检索的核心工作包括文档的分类和排序等操作,如何对文档中的特征词权重进行有效度量是其中的一项关键技术。利用词的共现等关系为每个文档建立文本图,基于邻接词间重要性相互影响的思路,结合文档中特征词的词频特性,迭代计算每个词的权重,进一步结合文本图的密度等全局特性,对信息检索的结果进行排序。实验证实,算法在标准数据集上具有良好的效果。

“知网”的知识扩展和推理研究

在知网的基础上 ,通过增加新的关系描述———动态相互感应关系 ,建立了真实文本的概念关系图 ,并在此基础上进行了基于理解的推理 ,以探索“知网”

基于约束网络图的辅助尺寸优化标注设计技术研究

提出要实现辅助尺寸优化标注设计 ,必须用并行工程的观点从零件在整个产品装配中的作用来开始分析。运用层次分析的方法 ,在装配层分析零件间的约束关系 ,在零件层分析每个零件内部的几何要素间的约束。运用图论的知识来生成相应的约束网络图 ,进一步将零件的种种标注模式抽象为零件约束网络图的一棵棵生成树。本文的思想已经采用VisualBasic高级语言编程在AutoCAD2 0 0

面向领域知识图谱的实体关系联合抽取

文本数据中的实体和关系抽取是领域知识图谱构建和更新的来源.针对金融科技领域中文本数据存在重叠关系、训练数据缺乏标注样本等问题,提出一种融合主动学习思想的实体关系联合抽取方法.首先,基于主动学习,以增量的方式筛选出富有信息量的样本作为训练数据;其次,采用面向主实体的标注策略将实体关系联合抽取问题转化为序列标注问题;最后,基于改进的BERT-BiGRU-CRF模型实现领域实体与关系的联合抽取,为知识图谱构建提供支撑技术,有助于金融从业者根据领域知识进行分析、投资、交易等操作,从而降低投资风险.针对金融领域文本数据进行实验测试,实验结果表明,本文所提出的方法有效,验证了该方法后续可用于金融知识图谱的构建.

中文文本分类中一种基于语义的特征降维方法

文本提出了一种基于语义的特征降维方法。通过依存关系抽取实现一次降维;通过计算类别和依存关系特征项的语义相似度,结合互信息方法进行特征选择实现二次降维。对中文文本分类的实验结果表明,提出的特征降维方法具有较好的分类效果。

基于图数据库的电力设备绝缘状态文本数据存储

电力设备绝缘状态文本数据包含现场局放检测的原始记录,为提高数据的利用率、挖掘对设备绝缘状态产生影响的关联信息,需要对其进行统一的处理与存储。使用了知识图谱技术对绝缘状态文本数据进行处理,并规定了绝缘状态文本记录格式,进而基于图数据库完成了数据存储。通过与关系型数据库进行对比发现,图数据库有着更高效的复杂关系查询性能,更适于存储关系复杂的绝缘状态文本数据。

微博文本聚类中特征扩展策略研究

针对微博文本高维、稀疏的特点,比较基于同义词词林等外部知识库的文本扩展策略,利用Word2vec训练微博语料,并构建微博上下文相关词词表,通过种子词表和微博标签信息去扩展微博文本流中的关键词,最后提出了提取微博文本关键词及区分词向量中相似词和相关词的方法。实验结果证明,微博短文本经过Word2vec词向量相关词及微博标签扩展后,其聚类效果有了明显提高。

一种二维工程图向三维模型的尺寸映射算法

针对当前制造型企业内部存在二维工程图和三维CAD模型之间的数据共享问题,提出一种基于图匹配的二维工程图向三维CAD模型的尺寸映射算法,将二维工程图中的尺寸信息直接映射到对应的三维CAD模型上。首先将三维模型进行投影得到投影视图,然后将投影视图和二维工程图转化为一种空间关系图,对两个空间关系图进行图匹配,找出图元间的映射关系,并且利用工程图中尺寸标注的特点对算法进行改进,提高算法效率和可靠性。实验结果表明,该算法可以很好的实现二维工程图向三维CAD模型的尺寸映射。

改进传统文本结构关系图的文本结构分析

文本结构分析是文本处理领域中的重要内容,它可以有效地改进文本摘要、文本检索以及文本过滤的精度。文中简要描述了传统上使用文本结构关系图分析文本结构的方法并指出其缺点,然后提出改进方法,使经过文本结构分析后的文本更具有有序性和可操作性强,便于解释,不依赖于具体领域。最后通过实验证明,该改进方法是可行的。