一种多模态知识图谱实体对齐方法

多模态知识图谱的融合需要解决知识融合过程中的实体对齐问题。在多模态知识图谱中,多模态属性可以提供关键对齐信息来提升实体对齐的能力。本文提出一种基于多模态属性嵌入和图注意力网络的多模态知识图谱实体对齐方法。首先,根据多模态知识图谱中图像、文本和图谱结构信息,将多模态知识图谱划分成子图;其次,利用图注意力网络提取文本和图结构信息,利用视觉几何组(visual geometry group, VGG)网络提取图像特征信息;然后,将文本、图像和图结构特征生成嵌入表示到向量空间;最后,综合子图的多模态特征和图结构特征用于对齐。实验结果表明,在对齐任务中该模型相比于4种基线模型性能有明显提升(Hits@1、Hits@10和MRR提升了10.64%、5.60%和0.227)。

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

基于多源异构数据的风机多模态装配工艺知识图谱建模

风力发电机装配工艺信息通常分散于以三维模型、自然文本、图像等多模态信息构成的工艺文件中,导致数据维护和工艺知识获取成本高、效率低.针对这一问题,提出一种基于多源异构数据的风力发电机多模态装配工艺知识图谱建模方法.首先,分析工艺特点给出风力发电机多模态知识工艺图谱(MPKG-WT)中各类概念,完成图谱本体构建;其次,基于多源异构数据及各模态特点,利用数据分析、知识抽取和语义相似度计算等技术实现图谱的自动实例化;最后,以某风力发电机企业装配工艺数据为例,实现MPKG-WT构建,并开发辅助装配工艺设计系统进行验证.研究结果表明,MPKG-WT较单模态图谱蕴含更丰富的知识,且不同模态数据之间能够互补,显著提升装配工艺设计效率.

社交网络舆情多模态知识图谱构建框架研究

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上,提出社交网络舆情多模态知识图谱的构建框架,并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架,为交互方式日趋丰富的社交网络舆情治理提供有益参考。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

多模态健身运动知识图谱构建

构建健身运动知识图谱可以为人们科学运动提供直观便捷的指导,对推动健身研究领域的发展和促进人们身体健康具有重要意义。而如何全面获取科学健身运动的多模态知识,并进行系统的关联和集成以及形成多模态知识图谱,目前相关研究较少,且面临着诸多挑战。针对上述问题,利用自然语言处理、深度学习技术、视觉识别技术等,以人机结合的方式探索构建多模态科学健身运动知识图谱。具体步骤包括:1)数据选择和处理,确保知识图谱的基础数据可靠且全面;2)设计多模态知识体系,以整合文字、图像等多种信息形式;3)运用关键技术获取知识,特别是将运动视频转换为细粒度运动文本进行描述;4)构建可视化平台,使知识图谱更加直观和易于使用。通过系统地关联和集成多模态的健身知识,构建了一个包含丰富信息的健身运动知识图谱。该图谱系统不仅能够有效地将运动视频转换为详细的文本描述,还能可视化地直观展示图片、视频等信息,为用户提供易于理解和使用的科学运动指导。多模态科学健身运动知识图谱的构建,为其在健身方面的应用提供了重要参考。这表明,多模态知识的获取和集成是实现科学健身指导的重要途径,能够有效推动健身研究领域的发展以及促进人们的身体健康。

多模态知识图谱构建技术及其在军事领域的应用综述

随着数据资源类型的丰富与大模型技术的发展,能够处理多源异构数据的多模态知识图谱(multimodal knowledge graph,MMKG)以出色的数据处理与管理能力而被广泛关注。结合领域需求与特性,对多模态知识图谱构建技术及其在军事领域的应用展开总体概述。基于传统文本知识图谱的相关概念,对多模态知识图谱的基本概念、研究现状进行梳理,分析总结了多模态信息抽取、多模态实体链接、多模态表示学习三个多模态知识图谱构建的关键技术,以及大模型技术在多模态知识图谱构建过程中的应用,探讨了多模态知识图谱在军事领域中的应用场景。最后结合大模型热点和军事需求,对多模态知识图谱构建技术的发展前景及军事应用进行总结与展望。

多模态知识图谱构建及其在智慧知识服务中的应用

伴随大数据、人工智能、5G等技术的迅速发展,数据量越来越大,数据形态也多种多样,多模态知识图谱能够发现语料文本中的实体知识信息,并建立实体知识关系,形成一个实体知识网络。多模态知识图谱的应用场景丰富,作为文献资源和知识服务中心的图书馆也非常重视对多模态资源的组织利用。文章以教育领域为研究对象,采用深度神经网络识别数据实体,实现对图片、视频等多模态数据的表达,通过基于开放数据融合的知识抽取、基于多特征的跨领域知识融合,构建了教育领域多模态知识图谱,并对其在某高校中的实体匹配效果和课程重构中的应用效果作出分析。以期拓宽多模态知识图谱在图书馆智慧知识服务中的应用思路。

面向医学教育的多模态知识图谱构建方法及其在智能教学辅助平台中的应用

采用多模态知识图谱,利用YOLOv3-tiny模型进行目标检测训练,结合自顶向下和自底向上方法构建医学知识图谱。智能教学平台使用MVC 3层模型,MySQL和Neo4j数据库,Elasticsearch作为搜索引擎数据库。研究模型第五次训练显著提升效率,医学教学图片搜索中,模型识别精度达81.0%,运行时间2.7 s,损失函数下降至约0.25。实践证明构建的多模态知识图谱很成功,利用智能教学平台实现了对医学教学图片的高效搜索,为医学教育领域的智能化发展提供了基础。

多模态大模型驱动的学科知识图谱进化及教育应用

当前,以GPT-4为代表的多模态大模型正在促进通用人工智能向多模态融合的方向发展。受益于多模态思维链、涌现能力和提示工程等应用技术,学科知识图谱能够更好地形成一种将抽象的符号概念和多模态的数据加以关联的智能扩展范式,有效解决现有图谱构建中存在的诸多不足,进一步推动多模态学科知识图谱的创生,为智慧教育服务的发展提供有力的支持。基于此,文章首先解构多模态大模型与学科知识图谱的关系;然后,文章探析了多模态大模型对学科知识图谱的驱动前提,从进化角度探讨多模态学科知识图谱的基本内涵和构建框架;最后,文章提出多模态学科知识图谱的四大教育应用场景,包括推动教育资源多元聚合、助力智能教学产品开发、赋能学科资源个性推荐以及促进人机协同智慧教学,以期为学科知识图谱的相关研究提供借鉴与启发。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

基于多模态知识图谱的南海疆维权证据链系统构建

[研究目的]大国博弈背景下,南海疆维权关乎国家安全、区域和平与亚太经济发展。南海疆维权证据链系统的构建,可以为南海疆维权的实际工作提供重要的数据与工具支撑。[研究方法]首先,总结了南海疆维权证据链的国内外研究现状,指出了证据链构建面临的挑战;然后,在定义南海疆维权证据链相关概念的基础上,设计了南海疆维权证据链系统的总体架构与核心功能;接着,提出了基于多模态知识图谱的南海疆维权证据链系统构建技术体系;最后,从南海疆主权维护、数据挖掘与知识发现以及数字人文叙事三个方面论述了基于多模态知识图谱的南海疆维权证据链系统的应用价值。[研究结论]基于多模态知识图谱的南海疆维权证据链系统的架构、功能与技术体系设计,为南海疆维权证据链系统的构建奠定了基础。进一步,需要以应用需求为导向、多学科融合为途径、人工与计算协同为方法,迭代式、增量式地推进南海疆维权证据链系统的实现与优化。

基于多级特征融合和强化学习的多模态实体对齐

针对传统实体对齐方法未充分利用多模态信息,且在特征融合时未考虑模态间潜在的交互影响等问题,该文提出了一种多模态实体对齐方法,旨在充分利用实体的不同模态特征,在不同多模态知识图谱中找到等价实体。首先通过不同的特征编码器获得属性、关系、图像和图结构的嵌入表示,同时引入数值模态以增强实体语义信息;其次在特征融合阶段,在对比学习的基础上同时进行跨模态互补性和相关性建模,并引入强化学习优化模型输出,减小获得的联合嵌入和真实模态嵌入之间的异构差异;最后计算两个实体之间的余弦相似度,筛选出候选对齐实体对,并将其迭代加入对齐种子,指导新的实体对齐。实验结果表明,该文所提方法在多模态实体对齐任务中是有效的。

基于农业时空多模态知识图谱的水稻精准施肥决策方法

为构建基于农业时空大数据的管理系统,实现田间养分精细化管理,提出了一种面向精准施肥的农业时空多模态知识图谱的构建及其控制与决策方法。通过基于深度学习的子图匹配方法,将地块待查询图和农业时空多模态知识图谱中的节点和关系嵌入表示;利用向量相似度计算获取候选子图,并从存储历史数据信息的子图中获取适合查询地块的施肥模型数据。结果显示,基于实例化后的待施肥地块查询图,在农业时空多模态知识图谱中可获取与给定地块查询图同构的子图,并从存储历史决策信息的子图中,获得适合当前地块的农业施肥模型。结果表明,基于农业时空多模态知识图谱的农业模型自动化选择结果可为精准施肥任务提供新思路和决策支撑。

结合多模态知识图谱与大语言模型的风机装配工艺问答系统

风力发电机是风能发电的基础,但其装配工艺信息通常分散于以三维模型、自然文本和图像等多模态信息构成的工艺文件中,导致历史工艺难以高效复用,装配工艺设计效率低下。针对这一问题,文中通过构建多模态知识图谱的方式整合风力发电机历史装配工艺信息,并且为了能对工艺信息进行有效利用,提出了结合多模态知识图谱与大语言模型的风力发电机装配工艺问答系统,利用大语言模型进行自然语言问题的粗粒度解析,再结合模式层关系细粒度解析问题,最后获得答案。在风力发电机装配工艺数据集上与其他最新KBQA方法和最新大语言模型对比取得优异结果,并在装配工艺可视化问答系统上进行验证,研究结果表明:风机装配工艺设计效率有显著提升。

深度学习视角下基于多模态知识图谱的MOOC课程重构

文章以在线学习者的深度学习需求为出发点,首先提取来自不同平台的MOOC课程资源所蕴含的知识实体及其层级关系,构建以"知识实体—关系—知识实体"三元组为核心的多模态知识图谱。随后,文章通过多个相同内容的MOOC课程的资源融合,重构面向学习者深度学习需求的个性化MOOC课程。最后,文章依据在线学习者所设定的学习目标生成动态学习路径,为学习者提供优质课程资源推荐服务,解决MOOC课程的学习导航问题和优质课程资源的跨平台融合问题。实验表明,基于多模态知识图谱的MOOC课程重构能够降低MOOC课程的辍学率,提高在线学习者的学习成效和学习效率。

基于学科核心素养的多模态教学知识图谱构建研究

多模态教学知识图谱是促进智慧教育的主要手段之一。文章根据学科核心素养发展理念,通过梳理多模态知识图谱的研究现状,以高中“信息技术”课程为例,收集了图片、音频、视频等形式的关于高中信息技术课程的多模态教学资源,设计基于学科核心素养的多模态教学知识图谱构建框架,使用Neo4j图数据库构建了关于高中信息技术课程的多模态教学知识图谱模式。

基于多模态模式迁移的知识图谱实体配图

构建多模态知识图谱的核心在于为知识图谱中的实体匹配正确合适的图像。现有的实体配图方法主要将百科图谱以及图像搜索引擎作为实体候选图像的来源,但对图像数据元的应用方式比较简单,不能准确把握图像数据来源的特点,且可扩展性较差。提出一种基于多模态模式迁移的知识图谱实体配图方法,从不同类别的头部实体中抽取对应的语义模板及视觉模式迁移到同类非头部实体的图像获取过程中,其中语义模板用于构建搜索引擎检索关键词,视觉模式用于对检索结果去噪,最终为WikiData中25类共1.278×10^(5)个实体收集1.8×10^(6)幅图像。实验结果表明,与IMGpedia、VisualSem、Richpedia和MMKG这4种多模态知识图谱相比,利用该方法构建所得的知识图谱中实体对应的图像在准确性和多样性上更具优势,在下游任务链接预测中,通过引入该方法收集到的图像可使模型的预测链接准确性得到显著提升,在Hits@10的指标上取得59.74%的准确率,较对比方法提高12.7个百分点以上。

融合大模型的多模态知识图谱及在金融业的应用

本文综述了最新的多模态知识图谱的构建和应用技术以及知识图谱在金融行业各业务场景的最新应用。特别地,综述了GPT等大模型用于知识图谱构建,以及知识图谱支撑大模型应用等方面的最新进展,揭示了大模型、多模态和知识图谱三者融合的巨大潜力。同时,本文还探讨了未来知识图谱研究和应用的三大机会——更容易构建知识图谱,扩展知识图谱的研究范畴,融合大模型与知识图谱以拓宽应用范围。最后,本文还探讨了以人为本的通用人工智能有关的内容。