基于依存关系图注意力网络的SQL生成方法

研究基于自然语言问题的结构化查询语言(SQL)生成问题(Text-to-SQL).提出两阶段框架,旨在解耦模式链接和SQL生成过程,降低SQL生成的难度.第1阶段通过基于关系图注意力网络的模式链接器识别问题中提及的数据库表、列和值,利用问题的语法结构和数据库模式项之间的内部关系,指导模型学习问题与数据库的对齐关系.构建问题图时,针对Text-to-SQL任务的特点,在原始句法依存树的基础上,合并与模式链接无关的关系,添加并列结构中的从属词与句中其他成分间的依存关系,帮助模型捕获长距离依赖关系.第2阶段进行SQL生成,将对齐信息注入T5的编码器,对T5进行微调.在Spider、Spider-DK和Spider-Syn数据集上进行实验,实验结果显示,该方法具有良好的性能,尤其是对中等难度以上的Text-to-SQL问题具有良好的表现.

图文数据的多级关系分析与挖掘方法

如何高效挖掘多模态数据间隐藏的语义关联是当前多模态知识抽取的重点任务之一,为更细粒度地挖掘图像与文本数据间关系,提出了一种多级关系分析与挖掘(MRAM)方法,引入BERT-Large模型,提取文本特征构建文本连接图,利用Faster-RCNN网络提取图像特征来学习空间位置关系和语义关系并构建图像连接图,进而完成单模态内部语义关系计算,在此基础上,使用节点切分方法和带多头注意力机制的图卷积网络(GCN-MA)进行局部和全局的图文关系融合。此外,为提升关系挖掘效率,采用了基于注意力机制的连边权重剪枝策略,用以增强重要分支表示,减少冗余信息干扰。在公开的Flickr30K、MSCOCO-1K、MSCOCO-5K数据集上进行方法实验,并与11种方法进行实验结果的对比分析,所提方法在Flickr30K上的平均召回率提高了0.97%和0.57%,在MSCOCO-1K上的平均召回率提高了0.93%和0.63%,在MSCOCO-5K上的平均召回率提高了0.37%和0.93%,实验结果验证了所提方法的有效性。

面向矿井提升机的故障知识图谱构建与应用

针对矿井提升机故障领域公开数据较少、故障知识难以被有效利用的问题,提出了一种矿井提升机故障知识图谱构建方法。该方法引入故障文本分类流程处理目标语料存在的信息冗余问题;利用词典嵌入BERT和BiLSTM-CRF结合进行实体识别,通过ERNIE进行实体关系抽取,并将抽取到的三元组存储在Neo4j图数据库中,在此基础上,实现了一个基于矿井提升机故障知识图谱的智能问答系统。该知识图谱能够较好地揭示矿井提升机故障间的复杂关联关系,实现相关故障的根因分析,为矿井提升机故障诊断提供支撑。

一种基于异构图神经网络和文本语义增强的实体关系抽取方法

信息化时代,如何从海量自然语言文本中提取结构化信息已经成为研究热点。电力系统中繁杂的知识信息需要通过构建知识图谱来解决,而实体关系抽取是其上游的信息抽取任务,其完成度直接关系到知识图谱的有效性。而随着深度学习的不断发展,利用深度学习技术来完成实体关系抽取任务的研究逐渐展开并取得了良好的效果。然而目前依然存在文本语义应用不完全等问题。针对这些问题本文尝试提出了一种基于异构图神经网络和文本语义增强的实体关系抽取方法,该方法使用词节点与关系节点学习语义特征,并通过BRET与预训练任务分别获得两种节点的初始特征,使用多层图网络结构迭代更新,并在每一层中使用基于多头注意力机制的信息传递实现两种节点的交互。通过该模型与其他实体关系抽取在两个公开数据集上实验对比,所提模型取得了预期效果,在多种情境下普遍优于对比模型。

基于要素关联图的汉越跨语言事件检索方法

汉越跨语言事件检索旨在根据输入的中文事件查询短语,检索出相关的越南语新闻事件文档。由于查询文档的新闻文本较长,中文事件查询短语与越南语的查询文档长度不一,表达差异较大,且查询文档中往往会包含大量与其描述的核心事件无关的噪声文本,现有的模型不能很好地捕获事件匹配特征,匹配效果欠佳。基于此,文中提出基于要素关联图的汉越跨语言事件检索方法。首先,预训练一个汉越双语词嵌入来解决跨语言问题;然后,抽取查询文档中的关键信息(关键词和实体)以构建要素关联图;最后,通过引入一个图编码器对构建的要素图进行编码,生成结构化的事件信息来增强传统的事件检索模型。实验结果表明文中提出的方法优于传统的基线方法。

基于高阶图卷积推理网络的任意形状文本检测

通用场景文本检测被广泛应用于地图导航、无人驾驶等多个领域。场景文本方向各异且形状复杂多变,使得文本检测难度大。针对这一问题,提出一种高阶图卷积推理网络。以文本检测框架DRRG为基础,设计高阶图方案,提出高阶图卷积推理网络,扩展了推理范围,有效组合高阶邻居提供的辅助信息。改进一阶邻居的设置,降低无关组件的干扰,提高了反向传播和组件链接的效率。引入SE聚合模块为每个节点独立且自适应地生成聚合方案,进一步提高了对高阶信息的利用率。实验结果表明,改进后的网络在Total-Text、CTW-1500和ICDAR2015数据集上的平均精度(F1)分别提升了1.4、1.05和1.26个百分点。

基于Bert-GNNs异质图注意力网络的早期谣言检测

网络谣言的广泛传播已经造成了很大的社会危害,因此早期谣言检测任务已成为重要的研究热点.现有谣言检测方法主要从文本内容、用户配置和传播结构中挖掘相关特征,但没有同时利用到文本全局语义关系和局部上下文语义关系.为了克服以上局限性,充分利用到谣言数据中的文本全局-局部上下文语义关系、文本语义内容特征和推文传播的结构特征,本文提出了一种基于Bert-GNNs异质图注意力网络的早期谣言检测算法(Bert-GNNs Heterogeneous Graph Attention Network,BGHGAN).该方法根据历史谣言集和用户特征构建一个推文-词-用户异质图,通过采用预训练语言模型Bert和图卷积神经网络(Graph Convolutional Network,GCN)结合的方法进行特征学习,以挖掘谣言的文本语义特征和文本之间的关系,并将异质图分解为推文-词子图和推文-用户子图,采用图注意力网络(Graph Attention network,GAT)的方式分别进行特征学习,从而更充分利用文本全局-局部上下文语义关系和传播图的全局结构关系以加强特征表达;最后,通过子图级注意力机制将不同模块的学习集成进行最终的谣言检测.所提算法在真实的Twitter15和Twitter16数据上进行实验,验证了该算法在检测准确率上分别为91.4%和91.9%,较现有最佳模型分别提高了1%和1.4%,也具备在早期阶段对谣言的检测能力;同时,本文通过实验探讨了不同特征对谣言检测的重要性、对异质图构建质量的重要性.

基于关系特征交互的方面级情感分类方法

方面级情感分类是一项细粒度的情感分析任务,其目的是识别一句话中的方面词、观点项及其对应的情感极性。现有的方面级情感分类方法对模型的构建存在不足,难以有效利用句子中的依存关系信息,从而导致分类准确率较低。基于此,该文提出一种基于关系交互的图注意力网络模型。该模型首先利用单词之间的依存关系构建句法依存树,并使用双向门控循环单元提取句子上下文特征,然后将两者融入图注意力网络和关系感知网络中进行关系交互,以学习句子间的句法和语义信息,最后将关系的表征结果结合并输出方面词的情感类别(正面、负面、中性)。在四个公开数据集上的实验结果表明,该模型在方面级情感分类任务上充分挖掘并利用了文本的句法关系信息,进一步提升了情感分类的准确率。

邻居关系感知的图卷积网络推荐模型

现有的基于图神经网络的推荐模型在更新目标节点向量时大多对邻居节点信息进行无差别的聚合,没有结合推荐系统本身引入更多有用的先验知识,从而区分目标节点与不同邻居节点之间的关系。针对此问题,提出一种基于邻居关系感知的图卷积网络推荐模型(neighbor relation-aware graph convolutional network,NRGCN),分别引入评分数值、评论文本和评分时间三种先验辅助信息实现对邻居节点的多层次聚合。具体来讲,以用户对物品的真实评分数值作为网络中不同邻居关系紧密程度的基础,利用评论文本的情感倾向对邻居关系进行修正补充,最后考虑到用户的兴趣随时间的变化情况,使用评分时间来标记不同时间交互下的邻居关系。在3组公开的数据集上,NRGCN的召回率高于多个基准算法,最大提高了12%。

医学语言模型研究

随着医疗行业不断发展,医学数据呈现指数级增长趋势,如何高效处理和利用这些数据成为当前医疗领域面临的一个重要问题。自然语言处理(NLP)技术的不断发展使得医学语言模型的构建成为可能,这为医学数据的挖掘和分析提供了新的途径。文章首先梳理了医学语言模型构建的准备步骤,之后从无监督学习、监督学习和迁移学习等方面叙述了医学语言模型的具体构建方法,并探讨医学语言模型所面临的挑战和未来发展方向。

基于关系型T5和重排名解码的Text-to-SQL方法分析

阐述针对Text-to-SQL任务,构建一个带有重排名解码模块的关系型T5模型。将关系感知的自我注意模块引入T5编码器,以此提高模型对各种关系结构的语义理解能力。在解码过程中,对PICARD获得的N-best列表引入重排名解码,可通过搜寻算法,检查列表中的每个预测实体名称是否在数据库中出现,以提高结果的选择正确性。

面向图形理解的工程语义研究

首次提出了工程语义层次划分准则和分类原则 ,即根据工程图样投影表达过程划分为表达方式语义、投影关系语义和尺寸约束语义等 3个层次 ,每一层次又根据信息表达的深度和语义描述的需要 ,划分为显式的低层语义和隐式的高层语义两大类 ,并较为系统地归类了显式语义和较为深入地挖掘了隐式语义 ,从而赋予了图样工程语义动态性、层次性、易于形式化等特征 。

基于图的特征词权重算法及其在文档排序中的应用

信息检索的核心工作包括文档的分类和排序等操作,如何对文档中的特征词权重进行有效度量是其中的一项关键技术。利用词的共现等关系为每个文档建立文本图,基于邻接词间重要性相互影响的思路,结合文档中特征词的词频特性,迭代计算每个词的权重,进一步结合文本图的密度等全局特性,对信息检索的结果进行排序。实验证实,算法在标准数据集上具有良好的效果。

“知网”的知识扩展和推理研究

在知网的基础上 ,通过增加新的关系描述———动态相互感应关系 ,建立了真实文本的概念关系图 ,并在此基础上进行了基于理解的推理 ,以探索“知网”

基于约束网络图的辅助尺寸优化标注设计技术研究

提出要实现辅助尺寸优化标注设计 ,必须用并行工程的观点从零件在整个产品装配中的作用来开始分析。运用层次分析的方法 ,在装配层分析零件间的约束关系 ,在零件层分析每个零件内部的几何要素间的约束。运用图论的知识来生成相应的约束网络图 ,进一步将零件的种种标注模式抽象为零件约束网络图的一棵棵生成树。本文的思想已经采用VisualBasic高级语言编程在AutoCAD2 0 0

面向OLAP的高效海量数据存储技术研究与实现

文章在分析了OLAP大规模海量多维数据特点的基础上,针对当前一般规模关系数据库处理海量多维数据能力的不足,通过使用数据库分区技术和并行磁盘组技术,设计并实现了一种高效的、面向OLAP应用的数据存储管理结构。并针对传统查询优化器对于大规模海量数据统计信息更新不及时的问题,设计了一种基于分区技术的统计方法。实验证明,该设计可以对百TB级的多维海量文本数据进行有效的管理。

面向领域知识图谱的实体关系联合抽取

文本数据中的实体和关系抽取是领域知识图谱构建和更新的来源.针对金融科技领域中文本数据存在重叠关系、训练数据缺乏标注样本等问题,提出一种融合主动学习思想的实体关系联合抽取方法.首先,基于主动学习,以增量的方式筛选出富有信息量的样本作为训练数据;其次,采用面向主实体的标注策略将实体关系联合抽取问题转化为序列标注问题;最后,基于改进的BERT-BiGRU-CRF模型实现领域实体与关系的联合抽取,为知识图谱构建提供支撑技术,有助于金融从业者根据领域知识进行分析、投资、交易等操作,从而降低投资风险.针对金融领域文本数据进行实验测试,实验结果表明,本文所提出的方法有效,验证了该方法后续可用于金融知识图谱的构建.

中文文本分类中一种基于语义的特征降维方法

文本提出了一种基于语义的特征降维方法。通过依存关系抽取实现一次降维;通过计算类别和依存关系特征项的语义相似度,结合互信息方法进行特征选择实现二次降维。对中文文本分类的实验结果表明,提出的特征降维方法具有较好的分类效果。

基于图数据库的电力设备绝缘状态文本数据存储

电力设备绝缘状态文本数据包含现场局放检测的原始记录,为提高数据的利用率、挖掘对设备绝缘状态产生影响的关联信息,需要对其进行统一的处理与存储。使用了知识图谱技术对绝缘状态文本数据进行处理,并规定了绝缘状态文本记录格式,进而基于图数据库完成了数据存储。通过与关系型数据库进行对比发现,图数据库有着更高效的复杂关系查询性能,更适于存储关系复杂的绝缘状态文本数据。

微博文本聚类中特征扩展策略研究

针对微博文本高维、稀疏的特点,比较基于同义词词林等外部知识库的文本扩展策略,利用Word2vec训练微博语料,并构建微博上下文相关词词表,通过种子词表和微博标签信息去扩展微博文本流中的关键词,最后提出了提取微博文本关键词及区分词向量中相似词和相关词的方法。实验结果证明,微博短文本经过Word2vec词向量相关词及微博标签扩展后,其聚类效果有了明显提高。