基于知识图谱多跳推理的中文矿物知识问答方法与系统

已有相关矿物数据库用于存储和查询相关矿物知识,常用的搜索引擎也可以对矿物知识进行查询,但无法回答用自然语言进行提问的矿物问题,查询返回的答案需要进一步筛选。亦有基于知识图谱进行矿物知识问答的相关研究,但只能回答涉及知识图谱中一个三元组的简单问题,无法回答涉及多个三元组的多跳复杂问题。为此,本文提出基于知识图谱多跳推理的矿物复杂知识问答方法,采用ComplEx模型将矿物实体、关系和问句表示为复数向量,以更好地获取相互之间的语义及推理关系。输入矿物问句后,通过Bert-LSTM-CRF获取其中心词,采用基于编辑距离及分词的方法获得中心词的候选实体集合,然后采用全连接网络确定最相关的实体作为推理起点,与矿物问句拼接后通过全连接网络获得当前跳的最相关关系。根据当前跳的起始实体及最相关关系,在矿物知识图谱中获得另一实体作为下一跳的推理起点,并将下一跳的问句更新为原问句,与当前跳最相关关系拼接,以将当前跳的推理信息带入到下一跳推理中,直到获得的最相关推理关系为预定义的结束标识符,推理结束,返回最后一跳的实体为答案,并给出推理路径。采用Python语言,在Tensorflow框架下实现了本文提出的矿物复杂知识问答并与相关模型进行对比,证明了本文方法的有效性。采用前后端分离架构,使用RESTful API、React、Ajax、echarts和Flask等框架和技术,开发了基于知识图谱多跳推理的矿物复杂知识问答系统,为矿物知识获取及相关地质研究提供了平台和工具。

多尺度融合与动态自适应图的公交客流预测模型

公交客流预测是公共交通规划和管理中的重要问题。虽然时空图卷积在地铁客流预测任务中获得了很好的预测效果,但是面对公交更复杂的线路、大规模的节点数据,现有的基于图卷积的空间建模方法将带来巨大的空间内存消耗。同时,公交客流量短时间范围内更可能受到瞬时交通状况的影响。为了解决这些挑战,提出了一种多尺度融合和动态自适应图的公交客流预测模型(MFDAG)。该模型融合客流、时刻和周信息以增加数据的特征维度,用动态自适应图的方法来学习不同站点之间的关系。进一步提出了一种多尺度融合传播的方法来表示复杂的空间依赖关系,同时设计了一种多尺度卷积传播的方法来学习不同尺度的时间依赖关系。在两个真实的客流数据集上进行了实验,并与其他交通预测方法进行了比较。实验结果表明,所提出的多尺度融合和动态自适应图的公交客流预测方法具有更高的预测准确度。

基于建筑信息模型数据驱动的铁路设备运维多模态知识图谱构建

铁路信号设备是保障行车安全、提高运输效率的核心装备,加强信号设备智能运维是降低铁路运行风险的必要基础保障。目前,针对我国基于建筑信息模型(BIM)的智能运维平台存在不能精准映射各设备的行为规律和相互之间互馈作用的机理,须同时依靠经验知识进行推断等问题。首先构建了铁路设备运维文本知识图谱;其次构建卷积神经网络(CNN)-团组图卷积神经网络(cgGCN)模型对BIM图像模态数据进行处理,完成对20种铁路信号设备零件图信息的标注,实验结果表明模型准确率达到95.38%,精确率和召回率的调和平均值F1达到95.58%;最后将BIM图像信息以视觉模态嵌入运维文本知识图谱,利用Neo4j图数据库实现多模态知识图谱可视化展示,从而精准映射各信号设备相互之间互馈作用的机理,为后续现场铁路运维人员实施安全管理和运维决策提供在线服务和指导。

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

基于多粒度阅读器和图注意力网络的文档级事件抽取

文档级事件抽取面临论元分散和多事件两大挑战,已有工作大多采用逐句抽取候选论元的方式,难以建模跨句的上下文信息。为此,提出了一种基于多粒度阅读器和图注意网络的文档级事件抽取模型,采用多粒度阅读器实现多层次语义编码,通过图注意力网络捕获实体对之间的局部和全局关系,构建基于实体对相似度的剪枝完全图作为伪触发器,全面捕捉文档中的事件和论元。在公共数据集ChFinAnn和DuEE-Fin上进行了实验,结果表明提出的方法改善了论元分散问题,提升了模型事件抽取性能。

利用知识图谱的多跳可解释问答

基于知识图谱的多跳问答需要分析和理解自然语言问题并在知识图谱的实体和关系上经过多次推理获取答案,是自然语言处理的重要研究领域.现有的模型一般通过知识图谱与问题嵌入,利用神经网络推断答案;或使用一阶逻辑规则结合概率方法预测答案;前者缺乏可解释性,后者在复杂问题中性能欠佳.为解决上述问题,本文提出一种基于知识图谱的多跳可解释问答方法(MIQA),它通过在实体间的多次跳跃推理来获取答案.MIQA首先使用BERT预训练模型获取自然语言问题表征向量以及问题分词后的词向量矩阵,在每一跳中,结合问题向量提取问题当前时刻的特征向量,根据特征向量的分类结果计算下一跳的关系分数和实体分数,多次跳跃后,综合分数最高的实体被作为答案,而获取该答案所对应的路径为推理路径.该方法推理准确率高,同时具有明显的可解释性.在MetaQA、WebQuestionsSP、ComplexWebQuestions这3个数据集上,通过和其他8个知名算法相比较,仿真结果表明MIQA性能优异,达到了当前的SOTA.

基于SHAP重要性排序和时空双流的多风场超短期功率预测

针对多风场风功率预测中时空特征提取不充分的问题,提出一种基于空间、时间双流特征提取的功率预测方法。采用沙普利加性解释(SHAP)方法分析原始高维数值天气预报(NWP)中各变量的重要性,选择贡献度高的变量子集作为预测模型输入,降低模型复杂度。构建基于自适应动态邻接矩阵的改进图注意力网络(IGAT)提取多风场的动态空间特征;同时将多头注意力机制(MHA)与时间卷积网络(TCN)结合,加强关键时序特征的学习。使用前馈神经网络输出多风场功率预测结果。以西北某十风场的数据进行案例研究,结果表明所提模型的预测效果优于其他模型。

一种MAKLINK图多节点链路建模的路径规划研究

针对传统MAKLINK图规划路径线路改变时,其最优化路径易与环境约束条件冲突的问题,提出了在MAKLINK图中各链路上增加节点数目的方法,以提高系统建模的适应性和鲁棒性。设计的多节点链路通过dijkstra算法得到更为理想的次优化路径,由蚁群算法进行迭代计算获得最优化路径,实现了在保证路径适应度的前提下,提高优化路径对环境约束条件的适应性。实验结果表明,与基本MAKLINK图路径规划算法相比,多节点链路的建模路径规划算法可有效提高次优路径的建模精度,最优路径的适应度值较单节点链路减小了1.43%,具有一定的建模优势。

基于多邻域感知的石油数据资产图谱实体对齐

实体对齐在自动融合多源异构的石油领域数据资产知识图谱过程中起着至关重要的作用。目前主流基于图神经网络的实体对齐模型多关注实体和图结构的信息,忽略了实体之间的关系、属性与属性值等多邻域的语义信息,在命名规则差异性大、行业特殊、语义实体多的石油领域数据资产知识图谱融合过程中性能一般。提出一种基于图注意力网络改进的多邻域感知网络(MNAN)模型,用于实体对齐。使用基于BERT的多语言预训练模型得到实体及多邻域的初始特征,通过带有Highway Networks的图卷积神经网络聚合邻域实体与图结构特征,利用多邻域感知和实体增强注意力网络聚合实体的多邻域特征,使用最小化基于边际的损失函数训练模型。在石油领域数据资产知识图谱数据集中的2个知识图谱上进行实体对齐实验,实验结果表明,MNAN模型优于所有对比的基于图神经网络实体对齐模型,Hits@1值达86.7%,优于表现最好的对比模型约2.3个百分点。

自适应相似图联合优化的多视图聚类

相比于单一视图学习,多视图学习往往可以获得学习对象更全面的信息,因而在无监督学习领域,多视图聚类受到了研究者的极大关注,其中基于图的多视图聚类,近年来取得了很大的研究进展.基于图的多视图聚类一般是先从各个视图原始数据学习相似图,再进行视图间相似图的融合来获得最终聚类结果,因此,多视图聚类的效果是由相似图质量和相似图融合方法共同决定的.然而,现有基于图的多视图聚类方法几乎都聚焦在视图间相似图的融合方法研究上,而缺乏对相似图本身质量的关注.这些方法大多数都是孤立地从各视图的原始数据中学习相似图,并且在后续图融合过程中保持相似图不变.这样得到的相似图不可避免地包含噪声和冗余信息,进而影响后续的图融合和聚类.而少量考虑相似图质量的研究,要么相似图构造和图融合过程是直接联立迭代的,要么在预定义相似图过程中提前利用秩约束进一步初始化,要么就是利用相似图存在的一些底层结构来获取融合图的.这些方法对相似图本身改进很小,最终聚类性能提升也十分有限.同时现有基于图的多视图聚类流程也缺乏对各视图间一致性和不一致性的综合考虑,这也会严重影响最终的多视图聚类性能.为了避免低质量预定义相似图对聚类结果的不利影响以及综合考虑视图间一致性与不一致性来提升最终聚类效果,本文提出了一种自适应相似图联合优化的多视图聚类方法.首先通过Hadamard积来获得视图间高质量一致性部分信息,再将每个预定义相似图和这部分信息对标,重构各个视图的预设相似图.这个过程强化了各视图间的一致性部分,弱化了不一致性部分.其次设计了相似图重构改进和图融合联合迭代优化框架,实现了相似图的自适应改进,最终达到相似图和聚类结果共同提升的效果.该方法将相似图改进过程与图融合过程联合起来进行自适应迭代优化,并且在迭代优化中不断强化各视图间的一致性,弱化视图间的不一致性.此外,本文的方法也集成了现有多视图聚类方法的一些优点,自加权以及无需额外聚类步骤等.在九个基准数据集上与八个对比方法的实验验证了本文方法的有效性与优越性.

多源知识融合的方面级情感分析模型

方面级情感分析(ABSA)是一项细粒度情感分析任务,其目的是针对评论语句中出现的特定方面给出对应的情感极性。现有的基于深度学习的ABSA方法大多侧重于评论语句语义和句法的挖掘,往往忽略了评论语句可能涉及的概念知识和情感程度信息。针对此问题,提出一种融合多源知识的神经网络模型,通过句法依赖揭示句子的结构框架、词共现捕捉单词之间的语义联系、情感网络和概念图谱的嵌入为模型提供情感和背景知识,共同实现评论语句上下文与评价方面的增强表示,并通过双交互注意力模式实现评论语句上下文与评价方面的协调优化。通过在4个公开数据集上的实验验证,该模型在ABSA任务中,准确率分别达到了75.00%、77.90%、81.55%、90.10%,与基准模型相比均有所提高。研究成果不仅验证了多源知识融合在ABSA任务中的有效性,也为未来的研究提供了新的思路和方法。

基于自动睡眠分期的多模态残差时空融合模型

高精度的睡眠分期对于正确评定睡眠情况起到了至关重要的作用。针对现有的卷积网络无法获取生理信号拓扑特征的问题,提出了一种基于多模态残差时空融合的睡眠分期算法。利用短时傅里叶变换和自适应图卷积获取时频图像和时空图像,将其转换为高维的特征向量;通过时频特征和时空特征提取模块实现特征信息流的轻量化交互;使用特征增强融合模块融合特征信息,输出睡眠分期结果。结果表明:该模型具有较高的准确率,在ISRUC-S3数据集上整体准确率为85.3%,F1分数为83.8%,Cohen's kappa为81%,N1阶段准确率达到69.81%。ISRUC-S1数据集上的实验证明了模型的普遍性。

基于多元语义特征和图卷积神经网络的短文本分类模型

在互联网和社交媒体迅猛发展的背景下,网络中出现了大量的短文本数据,这些数据在舆情监控、情感分析和新闻分类等自然语言处理领域展现出了非常高的经济和学术价值.但短文本数据固有的特征给短文本分类带来了不小的挑战,如文本稀疏和缺乏丰富的上下文语义等.针对这些问题,提出了一种结合多元语义特征和图卷积神经网络(GCN)的短文本分类模型,该模型通过哈尔滨工业大学的语言技术平台获取短文本的多种语义特征,并将这些语义特征同短文本一起构建一个多元异构图,然后将其作为GCN的输入,利用GCN学习短文本更深层特征,最后通过Softmax函数获取每个类别的概率分布,进而实现短文本分类.试验结果表明,本模型在短文本分类的F1评分上比传统单一模型提高了4%.

融合知识和约束图的远程监督关系抽取方法

远程监督关系抽取通过自动标注数据减少人工标注成本,但存在句子标签噪声和关系长尾分布两个问题.为解决上述问题,提出一种融合知识图中实体信息以及实体和关系间约束的关系抽取方法.该方法对目标实体和其邻居实体的属性进行编码,对目标实体和邻居实体构成的邻居图进行编码,对实体类型和关系间约束进行编码,并通过多源融合注意力模块进行信息整合,构建关系抽取模型.该方法在NYT-10数据集上的AUC值为0.524,P@100值为94.8%,长尾指标Hits@K较之前最先进模型均有提升,取得了优异表现,表明该方法融合实体信息和约束信息解决远程监督关系抽取两个主要问题的有效性.

基于图半监督与多任务学习的配电网故障区段与类型统一辨识

为解决深度学习类配电网故障辨识方法在量测不足和标记率低时准确率不高的问题,提出了基于图半监督与多任务学习的故障区段与类型统一辨识方法。首先,设计了故障区段与类型统一辨识的图神经网络架构,在图嵌入层中融入网络拓扑和线路参数信息,以充分挖掘不同位置、类型的故障特征。其次,采用多任务注意力网络构建了故障区段定位和类型辨识两个任务,以提取故障的多重信息,实现不同任务间知识转移。再次,将图嵌入特征与无标签样本的编码压缩特征进行融合,得到新的多任务共享特征,以充分利用未标记数据,增强模型泛化能力。最后,通过算例测试表明,所提方法的故障辨识精度优于传统神经网络,且在实时量测少、标签率低及不同量测噪声条件下具有更好的鲁棒性。

面向测井领域的多模态知识图谱构建

针对测井解释过程中数据多源异构、数据间难以互补融合,不能很好应用于风险评估、解释评价和决策知识提供等问题,提出了一种面向测井领域的多模态知识图谱构建方法。该方法从测井角度出发,采用自顶向下的方式将知识整理分类为通用知识、区域知识和辅助知识等,结合测井解释过程中文本、图片、音视频等多模态资料深入挖掘实体属性关系,搭建了测井领域本体层,并基于CasRel实体关系联合抽取,余弦相似度多模态知识融合和TransR多模态表示学习技术完成了测井领域多模态知识图谱的构建。通过大庆测试服务分公司现场实际验证表明,基于该文构造的测井领域多模态知识图谱有效增强了测井知识的整合、互联和共享。

分布式事件触发下的多智能体系统二分一致性

研究了基于分布式事件触发的多智能体控制系统中的二分一致性问题,设计了一种合作和竞争并存拓扑结构的一致性控制协议,使多智能体系统收敛于二模相同且符号不同的状态.在图论与矩阵论的基础上,将多智能体系统的二分一致性问题转化为闭环误差系统的稳定性问题,通过建立一个合适的Lyapunov函数,验证了闭环误差系统渐进稳定,且针对每个智能体提出了事件触发条件,以减少控制更新频率与通信资源的损耗,同时证明每个智能体相邻触发时间间隔都有严格的正下界,即避免了Zeno现象,最后利用仿真实例验证了所提方法的可行性和有效性.

行人重识别模型的多任务损失设计

行人重识别是一项利用计算机视觉技术判断图像中是否存在特定行人的任务。为研究Re-ID模型使用身份标签不能有效地学习不同行人之间的相似局部外观问题,提出了一种基于多任务损失的Re-ID方法。首先,通过主干网络提取全局特征以及局部特征,借助姿态估计算法检测行人身体部位,将身体部位的特征与局部特征组进行融合形成人体姿态引导特征;其次,通过多任务损失方法指导模型对人体姿态引导特征以及全局特征进行优化,从而增强模型对遮挡以及不具有区分性局部外观的鲁棒性。结果表明:多任务损失方法在Occluded-Duke、Market 1501和DukeMTMC-reID数据集上的mAP/Rank-1的精度分别达到了59.7%/67.9%,88.4%/94.9%和80.6%/89.9%。为避免训练集与测试集数据之间分布的差异性导致预训练模型产生次优检索结果的问题,提出了一种基于图卷积网络的重排序方法,该方法利用图卷积算子在图上将行人的最近邻特征传播,从而优化了每个图像的表示,以获得更优的检索结果。

基于知识图谱增强的领域多模态实体识别

针对特定领域中文命名实体识别存在的局限性,提出一种利用学科图谱和图像提高实体识别准确率的模型,旨在利用领域图谱和图像提高计算机学科领域短文本中实体识别的准确率。使用基于BERT-BiLSTMAttention的模型提取文本特征,使用ResNet152提取图像特征,并使用分词工具获得句子中的名词实体。通过BERT将名词实体与图谱节点进行特征嵌入,利用余弦相似度查找句子中的分词在学科图谱中最相似的节点,保留到该节点距离为1的邻居节点,生成最佳匹配子图,作为句子的语义补充。使用多层感知机(MLP)将文本、图像和子图3种特征映射到同一空间,并通过独特的门控机制实现文本和图像的细粒度跨模态特征融合。最后,通过交叉注意力机制将多模态特征与子图特征进行融合,输入解码器进行实体标记。在Twitter2015、Twitter2017和自建计算机学科数据集上同基线模型进行实验比较,结果显示,所提方法在领域数据集上的精确率、召回率和F1值分别可达88.56%、87.47%和88.01%,与最优基线模型相比,F1值提高了1.36个百分点,表明利用领域知识图谱能有效提升实体识别效果。