基于建筑信息模型数据驱动的铁路设备运维多模态知识图谱构建

铁路信号设备是保障行车安全、提高运输效率的核心装备,加强信号设备智能运维是降低铁路运行风险的必要基础保障。目前,针对我国基于建筑信息模型(BIM)的智能运维平台存在不能精准映射各设备的行为规律和相互之间互馈作用的机理,须同时依靠经验知识进行推断等问题。首先构建了铁路设备运维文本知识图谱;其次构建卷积神经网络(CNN)-团组图卷积神经网络(cgGCN)模型对BIM图像模态数据进行处理,完成对20种铁路信号设备零件图信息的标注,实验结果表明模型准确率达到95.38%,精确率和召回率的调和平均值F1达到95.58%;最后将BIM图像信息以视觉模态嵌入运维文本知识图谱,利用Neo4j图数据库实现多模态知识图谱可视化展示,从而精准映射各信号设备相互之间互馈作用的机理,为后续现场铁路运维人员实施安全管理和运维决策提供在线服务和指导。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

基于知识图谱增强的领域多模态实体识别

针对特定领域中文命名实体识别存在的局限性,提出一种利用学科图谱和图像提高实体识别准确率的模型,旨在利用领域图谱和图像提高计算机学科领域短文本中实体识别的准确率。使用基于BERT-BiLSTMAttention的模型提取文本特征,使用ResNet152提取图像特征,并使用分词工具获得句子中的名词实体。通过BERT将名词实体与图谱节点进行特征嵌入,利用余弦相似度查找句子中的分词在学科图谱中最相似的节点,保留到该节点距离为1的邻居节点,生成最佳匹配子图,作为句子的语义补充。使用多层感知机(MLP)将文本、图像和子图3种特征映射到同一空间,并通过独特的门控机制实现文本和图像的细粒度跨模态特征融合。最后,通过交叉注意力机制将多模态特征与子图特征进行融合,输入解码器进行实体标记。在Twitter2015、Twitter2017和自建计算机学科数据集上同基线模型进行实验比较,结果显示,所提方法在领域数据集上的精确率、召回率和F1值分别可达88.56%、87.47%和88.01%,与最优基线模型相比,F1值提高了1.36个百分点,表明利用领域知识图谱能有效提升实体识别效果。

中国省域交通碳排放空间关联格局的驱动特征

利用我国2003~2020年省级交通碳排放数据,基于模体结构分析和指数随机图模型对中国交通碳排放空间关联网络的宏观格局、微观连通和驱动特征进行研究.结果表明,中国交通碳排放空间关联网络呈现周期波动特征,等级均衡化发展和核心虹吸的空间分布,演化出少核心—多半核心—边缘新格局,碳转移路径表现出明显的空间惰性与时间惯性以及区域集中性;经纪属性在推动跨区域交通协同减排的经济活动中发挥重要作用;内生网络的互惠性、连通性、集聚性对交通碳排放网络形成具有重要驱动作用,行为者属性中发出、接收、抑制、互惠的驱动关系明显,外部网络的影响具有明显的地理邻近效应,呈现出地理距离衰减规律特征.由此提出短期重大项目驱动,推动绿色交通转型联动;中期提升协同水平,加强跨区域交通碳减排协调机制;长期顶层零碳设计,工业化-产业化-市场化全面协同等政策建议.

融合语义增强和位置编码的图文匹配方法

图文匹配是跨模态基础任务之一,其核心是如何准确评估图像语义与文本语义之间的相似度。现有方法是通过引入相关阈值,最大限度地区分相关和无关分布,以获得更好的语义对齐。然而,对于特征本身,其语义之间缺乏相互关联,且对于缺乏空间位置信息的图像区域与文本单词很难准确对齐,从而不可避免地限制了相关阈值的学习导致语义无法准确对齐。针对此问题,本文提出一种融合语义增强和位置编码的自适应相关性可学习注意力的图文匹配方法。首先,在初步提取特征的基础上构造图像(文本)无向全连通图,使用图注意力去聚合邻居的信息,获得语义增强的特征。然后,对图像区域的绝对位置信息编码,在具备了空间语义的图像区域与文本单词相似性的基础上获得最大程度区分的相关和无关分布,更好地学习两个分布之间的最优相关边界。最后,通过公开数据集Flickr 30 k和MSCOCO,利用Recall@K指标对比实验,验证本文方法的有效性。

面向测井领域的多模态知识图谱构建

针对测井解释过程中数据多源异构、数据间难以互补融合,不能很好应用于风险评估、解释评价和决策知识提供等问题,提出了一种面向测井领域的多模态知识图谱构建方法。该方法从测井角度出发,采用自顶向下的方式将知识整理分类为通用知识、区域知识和辅助知识等,结合测井解释过程中文本、图片、音视频等多模态资料深入挖掘实体属性关系,搭建了测井领域本体层,并基于CasRel实体关系联合抽取,余弦相似度多模态知识融合和TransR多模态表示学习技术完成了测井领域多模态知识图谱的构建。通过大庆测试服务分公司现场实际验证表明,基于该文构造的测井领域多模态知识图谱有效增强了测井知识的整合、互联和共享。

基于知识图谱与BERT的多模态虚假新闻检测模型

面对多模态虚假新闻的检测挑战,文章提出一种融合知识图谱与基于Transformer的双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的多模态虚假新闻检测模型。该模型先利用知识图谱深化对实体间关系的理解,然后借助BERT模型对文本内容进行深入分析,从而实现文本、图像及知识数据高效整合。多数据集实验结果显示,该模型在多模态新闻检测,特别是含图像与视频内容的新闻检测上,展现了显著的优势。这为虚假新闻的准确检测开辟了新途径。

基于图卷积的无监督跨模态哈希检索算法

为解决当前无监督跨模态哈希检索在全局相似性矩阵构建和异构数据语义信息融合中存在的困难,提出一种基于图卷积的无监督跨模态哈希检索算法(GCUH)。采用分层次聚合的方式,将各个模态的相似性结构编码到全局相似性矩阵中,获得跨模态的成对相似性信息来指导学习。使用图卷积模块融合跨模态信息,消除邻居结构中的噪声干扰,形成完备的跨模态表征,提出两种相似性保持的损失函数约束哈希码的一致性。与基线模型相比,GCUH在NUS-WIDE数据集上使用64位哈希码执行文本检索图片任务的检索精度提升了6.3%。

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

基于多源异构数据的风机多模态装配工艺知识图谱建模

风力发电机装配工艺信息通常分散于以三维模型、自然文本、图像等多模态信息构成的工艺文件中,导致数据维护和工艺知识获取成本高、效率低.针对这一问题,提出一种基于多源异构数据的风力发电机多模态装配工艺知识图谱建模方法.首先,分析工艺特点给出风力发电机多模态知识工艺图谱(MPKG-WT)中各类概念,完成图谱本体构建;其次,基于多源异构数据及各模态特点,利用数据分析、知识抽取和语义相似度计算等技术实现图谱的自动实例化;最后,以某风力发电机企业装配工艺数据为例,实现MPKG-WT构建,并开发辅助装配工艺设计系统进行验证.研究结果表明,MPKG-WT较单模态图谱蕴含更丰富的知识,且不同模态数据之间能够互补,显著提升装配工艺设计效率.

基于图文多模态融合推理的产品创新方案设计方法研究

目的针对当前产品创新设计领域中对基于图像-文本多模态知识支撑创新设计方法研究不足的问题,提出了一套基于图文多模态的产品创新方案设计方法。方法首先,对设计师的设计草图与文本要求进行预处理,然后引入产品设计知识图谱来促进设计思维的发散和创新;其次,通过微调的生成式预训练变换器模型和扩散模型生成产品方案及其概念图;最后,利用深度多模态设计评估模型对产品设计方案的可行性和市场潜力进行评估。结果通过产品设计知识图谱,及深度多模态设计评估模型的引入,该设计流程可以生成富有创新性且具备可行性的产品方案。结论基于图文多模态的产品创新方案设计流程结合了最新的深度学习技术,不仅提高了设计的效率,还为设计师提供了更广阔的创新视角和灵感来源。

基于图学习的缺失脑网络生成及多模态融合诊断方法

融合大脑结构和功能网络的多模态脑网络能够挖掘不同模态间的互补信息,有效提高癫痫等神经系统疾病的诊断准确率,在神经疾病诊断上具有优势。然而,由于多模态数据采集时间长、成本高,在实际应用中常面临模态缺失问题,导致可用数据量减少,模型的诊断精度和泛化能力下降。针对某一模态数据完全缺失问题,提出了基于图学习与循环一致生成对抗网络(Cycle-consistent generative adversarial networks,CycleGAN)的图CycleGAN方法。该方法通过引入图卷积神经网络与图注意力机制等图学习方法捕捉脑网络不同脑区间的特征信息,强化生成框架对图形式脑网络的特征提取能力,实现脑结构网络与功能网络的相互生成。此外,针对目前较少利用诊断结果评估生成数据质量的情况,提出了一种融合真实脑网络与生成脑网络的多模态融合分类模型,以进一步评估生成脑网络的有效性。在癫痫数据集上的实验结果表明,图CycleGAN方法能够有效利用已有的模态信息,实现缺失脑网络的生成。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

基于双融合图注意力网络多模态知识图谱链路预测

知识图谱链路预测是一种根据知识图谱已存在的事实去预测缺失事实的任务,旨在解决知识图谱不完整性问题。但是现有的知识图谱链路预测有一定的缺陷,传统方法只使用单一的数据模态,没有充分利用不同数据模态的丰富信息,并且在图神经网络中孤立地看待实体和关系,没有考虑到不同邻域实体关系权重的不同。为了解决上述缺陷,提出了基于双融合图注意力网络的多模态知识图谱链路预测模型。首先,使用了图像、文本和属性3种模态,同时为了保证数据模态特征的一致性和互补性,设计了一个基于早期融合和晚期融合结合的双融合机制对多模态信息进行融合;然后,为了加强知识图中实体关系的融合以及邻域关系,同时考虑了实体以及关系的多样性,融合了实体表示和关系表示,并通过图注意力网络进行聚合以加强实体的特征表示。通过在4个公开的数据集FB15K-237、WN18RR、DB15K以及YAGO15K进行模拟实验,结果表明,提出的多模态知识图谱链路预测方法具有较好的性能。

基于图搜索的陆空两栖平台3D路径规划算法

为了解决陆空两栖平台路径规划能效与寻径效率问题,提出了一种基于图搜索算法的全局路径规划算法。考虑了空中飞行能耗与地面行驶能耗模型的不同,结合起飞阈值、地面移动成本系数、空中移动成本系数等参数决定模态切换机制,在遇到难以越过的障碍时使用逃脱算法脱困,当允许地面通过时优先采用地面行驶的方式到达目标点以提升寻径效率与能效。为验证该算法,分别建立了针对陆空2种模式下的能耗模型,在现有交通规则约束下完成城市场景和虚拟迷宫测试。结果表明:本算法的搜索效率相较于对照组算法提升了30%以上,有效提升搜寻效率的同时降低了能量消耗。

基于模态相似性路径的统一多模态实体对齐

实体对齐(EA)的目标是从多个知识图谱(KG)中识别等价的实体对,并构建一个更全面、统一的知识图谱。大多数EA方法主要关注KG的结构模式,缺乏对多模态信息的探索。已有的一些多模态EA方法在这个领域做出了良好的尝试。但是,它们存在两个缺点:(1)针对不同模态信息采用复杂且不同的建模方式,导致模态建模不一致且建模低效;(2)由于EA中各模态间的异质性,模态融合效果往往不佳。为了解决这些挑战,该文提出了PathFusion,使用模态相似性路径作为信息载体,有效地合并来自不同模态的信息。在真实世界的数据集上的实验结果显示,与最先进的方法相比,PathFusion在Hits@1上提高了22.4%~28.9%,在MRR上提高了0.194~0.245,验证了PathFusion的优越性。

基于二重语义相关性图卷积网络的跨模态检索方法

随着深度神经网络的不断发展,跨模态检索模型的构建也随之取得了长足的进步。以图卷积网络(GCN)为基础的跨模态检索方法可以较好地捕获数据的语义相关性,因此越来越受到人们的关注。但是,目前大部分研究多将标签之间和样本之间的相关性融入到跨模态表示当中,并没有考虑到标签集合之间的相关性对于跨模态检索模型性能的影响。在多标签场景下,标签集合之间的多标签相关性可以有效地描述对应样本之间的语义关系,因此充分发现多标签相关性并将其融入到跨模态表示中,对于提高跨模态检索模型的性能有着重要的意义。提出了一种基于二重语义相关性图卷积网络(dual semantic correlation graph convolutional networks,DSCGCN)的跨模态检索方法,该方法利用GCN自适应地发现标签之间和多标签之间的语义相关性,并将此二重语义相关性融入到样本公共表示中。此外,还提出了一种多标签相似性损失,用于使生成的样本公共表示相似性更接近于语义相似性。通过在NUS-WIDE、MIRFlickr-25K和MS-COCO三个数据集上的实验可以发现,由于引入了多标签语义相关性,DSCGCN可以获得令人满意的检索效果。

基于知识图谱的航空多模态数据组织与知识发现技术研究

航空产品在研制使用生命周期过程中产生的数据呈现出多源多模态的特性,面向此类数据进行知识工程建设时,传统基于关键词的文本检索方式已经无法满足科研人员在科研过程中对知识的获取需求。知识图谱作为当前人工智能领域对知识表示的一种方式,可以对知识单元以及数据之间的体系性和关系性进行充分表达和规范化存储,是垂直领域数据组织与知识发现服务的一种有效途径。因此提出以知识图谱作为航空领域知识表达模型,以标准知识单元作为数据载体,对科研人员的业务思维进行建模,同时利用深度神经网络作为多模态数据的特征编码器,构建适合机器理解与计算的特征向量,结合两者的特点构建面向多模态数据的搜索、推荐引擎。在此技术基础上设计系统架构并实现知识发现平台,将多模态数据在知识层面进行组织索引,满足航空科研人员的多模态知识检索需求。

融合跨模态Transformer的外部知识型VQA

针对外部知识型的视觉问答(visual question answering,VQA)任务性能效果不佳的问题,构建一种融合跨模态Transformer的外部知识型VQA模型框架,通过在VQA模型外引入外接知识库来提高VQA模型在外部知识型任务上的推理能力。进一步地,模型借助双向交叉注意力机制提升文本问题、图像、外接知识的语义交互融合能力,用于优化VQA模型在面对外部知识时普遍存在的推理能力不足的问题。结果表明:与基线模型LXMERT相比,在OK VQA数据集上,本文模型整体性能指标overall提升了15.01%。同时,与已有最新模型相比,在OK VQA数据集上,本文模型整体性能指标overall提升了4.46%。可见本文模型在改进外部知识型VQA任务性能方面有所提升。

融合改进图卷积的跨模态检索

针对现有跨模态检索在公共子空间度量时难以充分挖掘模态内局部一致性的问题,提出了一种融合改进图卷积的跨模态检索方法。为了提升各模态内的局部一致性,以单个完整样本为节点构建模态图,充分挖掘特征间的交互信息;为了解决图卷积网络只能做浅层学习的问题,采用在每一层图卷积添加初始残差链接和权重恒等映射的方法来缓解此现象;为了通过高低阶邻居信息共同更新中心节点特征,提出减少邻居节点、增加图卷积网络层数的改进;为了学习高度局部一致且语义一致的公共表征,共享公共表征学习层权重,并联合优化公共子空间中模态内的语义约束和模态间的模态不变约束。实验结果表明,在Wikipedia和Pascal sentence这两个跨模态数据集上,不同检索任务的平均mAP值比11种现有方法分别提升了2.2%~42.1%和3.0%~54.0%。