一种多模态知识图谱实体对齐方法

多模态知识图谱的融合需要解决知识融合过程中的实体对齐问题。在多模态知识图谱中,多模态属性可以提供关键对齐信息来提升实体对齐的能力。本文提出一种基于多模态属性嵌入和图注意力网络的多模态知识图谱实体对齐方法。首先,根据多模态知识图谱中图像、文本和图谱结构信息,将多模态知识图谱划分成子图;其次,利用图注意力网络提取文本和图结构信息,利用视觉几何组(visual geometry group, VGG)网络提取图像特征信息;然后,将文本、图像和图结构特征生成嵌入表示到向量空间;最后,综合子图的多模态特征和图结构特征用于对齐。实验结果表明,在对齐任务中该模型相比于4种基线模型性能有明显提升(Hits@1、Hits@10和MRR提升了10.64%、5.60%和0.227)。

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

社交网络舆情多模态知识图谱构建框架研究

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上,提出社交网络舆情多模态知识图谱的构建框架,并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架,为交互方式日趋丰富的社交网络舆情治理提供有益参考。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

多模态知识图谱构建技术及其在军事领域的应用综述

随着数据资源类型的丰富与大模型技术的发展,能够处理多源异构数据的多模态知识图谱(multimodal knowledge graph,MMKG)以出色的数据处理与管理能力而被广泛关注。结合领域需求与特性,对多模态知识图谱构建技术及其在军事领域的应用展开总体概述。基于传统文本知识图谱的相关概念,对多模态知识图谱的基本概念、研究现状进行梳理,分析总结了多模态信息抽取、多模态实体链接、多模态表示学习三个多模态知识图谱构建的关键技术,以及大模型技术在多模态知识图谱构建过程中的应用,探讨了多模态知识图谱在军事领域中的应用场景。最后结合大模型热点和军事需求,对多模态知识图谱构建技术的发展前景及军事应用进行总结与展望。

多模态知识图谱构建及其在智慧知识服务中的应用

伴随大数据、人工智能、5G等技术的迅速发展,数据量越来越大,数据形态也多种多样,多模态知识图谱能够发现语料文本中的实体知识信息,并建立实体知识关系,形成一个实体知识网络。多模态知识图谱的应用场景丰富,作为文献资源和知识服务中心的图书馆也非常重视对多模态资源的组织利用。文章以教育领域为研究对象,采用深度神经网络识别数据实体,实现对图片、视频等多模态数据的表达,通过基于开放数据融合的知识抽取、基于多特征的跨领域知识融合,构建了教育领域多模态知识图谱,并对其在某高校中的实体匹配效果和课程重构中的应用效果作出分析。以期拓宽多模态知识图谱在图书馆智慧知识服务中的应用思路。

面向医学教育的多模态知识图谱构建方法及其在智能教学辅助平台中的应用

采用多模态知识图谱,利用YOLOv3-tiny模型进行目标检测训练,结合自顶向下和自底向上方法构建医学知识图谱。智能教学平台使用MVC 3层模型,MySQL和Neo4j数据库,Elasticsearch作为搜索引擎数据库。研究模型第五次训练显著提升效率,医学教学图片搜索中,模型识别精度达81.0%,运行时间2.7 s,损失函数下降至约0.25。实践证明构建的多模态知识图谱很成功,利用智能教学平台实现了对医学教学图片的高效搜索,为医学教育领域的智能化发展提供了基础。

基于多模态知识图谱的南海疆维权证据链系统构建

[研究目的]大国博弈背景下,南海疆维权关乎国家安全、区域和平与亚太经济发展。南海疆维权证据链系统的构建,可以为南海疆维权的实际工作提供重要的数据与工具支撑。[研究方法]首先,总结了南海疆维权证据链的国内外研究现状,指出了证据链构建面临的挑战;然后,在定义南海疆维权证据链相关概念的基础上,设计了南海疆维权证据链系统的总体架构与核心功能;接着,提出了基于多模态知识图谱的南海疆维权证据链系统构建技术体系;最后,从南海疆主权维护、数据挖掘与知识发现以及数字人文叙事三个方面论述了基于多模态知识图谱的南海疆维权证据链系统的应用价值。[研究结论]基于多模态知识图谱的南海疆维权证据链系统的架构、功能与技术体系设计,为南海疆维权证据链系统的构建奠定了基础。进一步,需要以应用需求为导向、多学科融合为途径、人工与计算协同为方法,迭代式、增量式地推进南海疆维权证据链系统的实现与优化。

基于多模态知识感知注意力机制的问答方法

随着网络的普及,越来越多人遇到身体不适时,会选择在网站上搜索相关症状.随着在线医疗问答网站的出现,如春雨医生、寻医问药等,患者可以便捷地医生交流.现有的问答系统方法,聚焦于词级别的交互与语义信息,却很少考虑在回答问题时,回答者还利用了与问答本身无直接联系的常识.在实际生活中,除了病人的表述,医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法,它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示;然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑,并刻画问答对之间的交互关系.此外,该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集,实验结果表明:该方法比当前最好的方法准确度提升了2%以上.

基于农业时空多模态知识图谱的水稻精准施肥决策方法

为构建基于农业时空大数据的管理系统,实现田间养分精细化管理,提出了一种面向精准施肥的农业时空多模态知识图谱的构建及其控制与决策方法。通过基于深度学习的子图匹配方法,将地块待查询图和农业时空多模态知识图谱中的节点和关系嵌入表示;利用向量相似度计算获取候选子图,并从存储历史数据信息的子图中获取适合查询地块的施肥模型数据。结果显示,基于实例化后的待施肥地块查询图,在农业时空多模态知识图谱中可获取与给定地块查询图同构的子图,并从存储历史决策信息的子图中,获得适合当前地块的农业施肥模型。结果表明,基于农业时空多模态知识图谱的农业模型自动化选择结果可为精准施肥任务提供新思路和决策支撑。

结合多模态知识图谱与大语言模型的风机装配工艺问答系统

风力发电机是风能发电的基础,但其装配工艺信息通常分散于以三维模型、自然文本和图像等多模态信息构成的工艺文件中,导致历史工艺难以高效复用,装配工艺设计效率低下。针对这一问题,文中通过构建多模态知识图谱的方式整合风力发电机历史装配工艺信息,并且为了能对工艺信息进行有效利用,提出了结合多模态知识图谱与大语言模型的风力发电机装配工艺问答系统,利用大语言模型进行自然语言问题的粗粒度解析,再结合模式层关系细粒度解析问题,最后获得答案。在风力发电机装配工艺数据集上与其他最新KBQA方法和最新大语言模型对比取得优异结果,并在装配工艺可视化问答系统上进行验证,研究结果表明:风机装配工艺设计效率有显著提升。

基于多模态知识图的用户微行为会话推荐

基于会话推荐的目标是根据给定的会话预测下一个交互项.针对现有基于会话推荐大多只关注某个用户交互项的连续项来捕获相关信息;以及利用知识图谱提供辅助信息的过程中忽略了多模态知识图中各种数据类型的问题.本文提出多模态知识图的用户微行为的会话模型,将用户微行为和多模态知识纳入基于会话推荐的多任务学习中,用户微行为对项目的建模在微观行为级别上,使用一系列项目操作对来充分捕获会话中的用户意图.提出多模态知识图注意力网络,通过使用多模态图注意机制进行信息传播,将得到的聚集嵌入表示进行推荐.考虑候选项目信息来平衡局部和全局表示的门控模块,门控模块利用多层感知器层对候选项目、最近交互项目和每个用户的全局偏好之间的关系进行建模来计算权重.在两个基准数据集的实验结果表明,本文所提模型优于最新基于会话的推荐,有利于提升推荐的准确率.

深度学习视角下基于多模态知识图谱的MOOC课程重构

文章以在线学习者的深度学习需求为出发点,首先提取来自不同平台的MOOC课程资源所蕴含的知识实体及其层级关系,构建以"知识实体—关系—知识实体"三元组为核心的多模态知识图谱。随后,文章通过多个相同内容的MOOC课程的资源融合,重构面向学习者深度学习需求的个性化MOOC课程。最后,文章依据在线学习者所设定的学习目标生成动态学习路径,为学习者提供优质课程资源推荐服务,解决MOOC课程的学习导航问题和优质课程资源的跨平台融合问题。实验表明,基于多模态知识图谱的MOOC课程重构能够降低MOOC课程的辍学率,提高在线学习者的学习成效和学习效率。

融合大模型的多模态知识图谱及在金融业的应用

本文综述了最新的多模态知识图谱的构建和应用技术以及知识图谱在金融行业各业务场景的最新应用。特别地,综述了GPT等大模型用于知识图谱构建,以及知识图谱支撑大模型应用等方面的最新进展,揭示了大模型、多模态和知识图谱三者融合的巨大潜力。同时,本文还探讨了未来知识图谱研究和应用的三大机会——更容易构建知识图谱,扩展知识图谱的研究范畴,融合大模型与知识图谱以拓宽应用范围。最后,本文还探讨了以人为本的通用人工智能有关的内容。

大数据时代AIGC与多模态知识图谱的思考与展望

现今,随着大数据及人工智能技术的不断进步,AIGC(生成式AI)技术和多模态知识图谱技术在不同领域中的应用也得到了广泛关注。AIGC技术通过对人工智能算法的发展和优化,实现了从经验和数据中自我学习及自我完善的能力,从而在自然语言处理、图像识别、语音识别等领域实现了重要突破。而多模态知识图谱技术则是将多种类型的知识进行组合,结合自然语言理解、计算机视觉、语音识别等技术,形成一个全面且可扩展的领域知识图谱,提高了人机交互的效率和准确性。本文分别从大数据时代AIGC的发展历程、基础原理、应用情况等五个方面进行探讨,然后围绕AIGC技术与多模态知识图谱技术的关系及未来发展趋势进行阐述,为两者的发展提供一些有益的思路。

在线体育课程多模态知识图谱的构建与应用研究

文章提出,将多模态知识图谱技术引入在线体育教学,通过论述多模态知识图谱的构建策略与应用方法,证明其可行性与有效性,解决现阶段在线体育教学存在互动性、锻炼性和个性化缺失等问题。研究结果:以在线健身气功课程为例,阐述知识图谱中多模态实体节点和关系节点的构建步骤,及其在健身气功课程中的应用方法。研究建议:通过构建在线体育课程多模态知识图谱,弥补在线体育教学缺乏互动性、锻炼性与个性化的问题,提升在线体育教学课程效果,通过科教融合不断创新在线体育教学方法,为在线体育教学提供新思路。

基于多源异构数据的风机多模态装配工艺知识图谱建模

风力发电机装配工艺信息通常分散于以三维模型、自然文本、图像等多模态信息构成的工艺文件中,导致数据维护和工艺知识获取成本高、效率低.针对这一问题,提出一种基于多源异构数据的风力发电机多模态装配工艺知识图谱建模方法.首先,分析工艺特点给出风力发电机多模态知识工艺图谱(MPKG-WT)中各类概念,完成图谱本体构建;其次,基于多源异构数据及各模态特点,利用数据分析、知识抽取和语义相似度计算等技术实现图谱的自动实例化;最后,以某风力发电机企业装配工艺数据为例,实现MPKG-WT构建,并开发辅助装配工艺设计系统进行验证.研究结果表明,MPKG-WT较单模态图谱蕴含更丰富的知识,且不同模态数据之间能够互补,显著提升装配工艺设计效率.

多模态健身运动知识图谱构建

构建健身运动知识图谱可以为人们科学运动提供直观便捷的指导,对推动健身研究领域的发展和促进人们身体健康具有重要意义。而如何全面获取科学健身运动的多模态知识,并进行系统的关联和集成以及形成多模态知识图谱,目前相关研究较少,且面临着诸多挑战。针对上述问题,利用自然语言处理、深度学习技术、视觉识别技术等,以人机结合的方式探索构建多模态科学健身运动知识图谱。具体步骤包括:1)数据选择和处理,确保知识图谱的基础数据可靠且全面;2)设计多模态知识体系,以整合文字、图像等多种信息形式;3)运用关键技术获取知识,特别是将运动视频转换为细粒度运动文本进行描述;4)构建可视化平台,使知识图谱更加直观和易于使用。通过系统地关联和集成多模态的健身知识,构建了一个包含丰富信息的健身运动知识图谱。该图谱系统不仅能够有效地将运动视频转换为详细的文本描述,还能可视化地直观展示图片、视频等信息,为用户提供易于理解和使用的科学运动指导。多模态科学健身运动知识图谱的构建,为其在健身方面的应用提供了重要参考。这表明,多模态知识的获取和集成是实现科学健身指导的重要途径,能够有效推动健身研究领域的发展以及促进人们的身体健康。

面向中文电子病历的多模态知识图谱构建方法研究

[目的/意义]为了对结构复杂、专业性强的多模态电子病历数据进行深度序化和组织,基于多模态深度学习和自然语言处理方法构建面向中文电子病历的多模态知识图谱,进而为临床决策支持和领域知识服务提供更全面地支撑。[方法/过程]首先对多模态数据进行预处理以构建多模态电子病历数据集;接着利用ResNet和BERT预训练模型分别提取医学图像和文本特征;然后基于多层级视觉提示机制的多模态融合方法构建多模态实体关系联合抽取模型;最后使用图数据库存储并可视化呈现电子病历中不同模态知识。[结果/结论]构建面向中文电子病历的多模态知识图谱,进一步丰富该领域文本和图像模态知识关联,推进多模态知识组织的实践范畴,为医疗健康领域知识序化、精准知识服务和深度知识发现奠定基础。