基于多模态知识图谱的河姆渡文化资源库系统设计与实现

以河姆渡遗址群考古报告为数据源,通过信息提取、实体链接等方法构建多模态知识图谱,并设计信息系统,实现了河姆渡文化遗产资源的数据管理和检索。参考学术论文及考古研究,设计一种河姆渡文化知识图谱的本体知识体系,并提出一种从考古报告中提取图像与知识图谱实体进行对齐的算法,实现了多模态文化资源与实体节点的精准匹配。在此基础上,开发了一个河姆渡文化资源库管理系统。该系统具有多模态检索、图谱化展示等功能,并为用户提供了交互式、可视化的数据浏览和分析工具,有助于用户更深入地理解和利用河姆渡文化遗产资源;也可为研究人员、文化机构和公众提供便捷的工具,以更好地探索和理解河姆渡文化,为文化遗产的管理、研究和教育提供了一种新的手段。

一种多模态知识图谱实体对齐方法

多模态知识图谱的融合需要解决知识融合过程中的实体对齐问题。在多模态知识图谱中,多模态属性可以提供关键对齐信息来提升实体对齐的能力。本文提出一种基于多模态属性嵌入和图注意力网络的多模态知识图谱实体对齐方法。首先,根据多模态知识图谱中图像、文本和图谱结构信息,将多模态知识图谱划分成子图;其次,利用图注意力网络提取文本和图结构信息,利用视觉几何组(visual geometry group, VGG)网络提取图像特征信息;然后,将文本、图像和图结构特征生成嵌入表示到向量空间;最后,综合子图的多模态特征和图结构特征用于对齐。实验结果表明,在对齐任务中该模型相比于4种基线模型性能有明显提升(Hits@1、Hits@10和MRR提升了10.64%、5.60%和0.227)。

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

社交网络舆情多模态知识图谱构建框架研究

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上,提出社交网络舆情多模态知识图谱的构建框架,并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架,为交互方式日趋丰富的社交网络舆情治理提供有益参考。

多模态知识图谱构建技术及其在军事领域的应用综述

随着数据资源类型的丰富与大模型技术的发展,能够处理多源异构数据的多模态知识图谱(multimodal knowledge graph,MMKG)以出色的数据处理与管理能力而被广泛关注。结合领域需求与特性,对多模态知识图谱构建技术及其在军事领域的应用展开总体概述。基于传统文本知识图谱的相关概念,对多模态知识图谱的基本概念、研究现状进行梳理,分析总结了多模态信息抽取、多模态实体链接、多模态表示学习三个多模态知识图谱构建的关键技术,以及大模型技术在多模态知识图谱构建过程中的应用,探讨了多模态知识图谱在军事领域中的应用场景。最后结合大模型热点和军事需求,对多模态知识图谱构建技术的发展前景及军事应用进行总结与展望。

多模态知识图谱构建及其在智慧知识服务中的应用

伴随大数据、人工智能、5G等技术的迅速发展,数据量越来越大,数据形态也多种多样,多模态知识图谱能够发现语料文本中的实体知识信息,并建立实体知识关系,形成一个实体知识网络。多模态知识图谱的应用场景丰富,作为文献资源和知识服务中心的图书馆也非常重视对多模态资源的组织利用。文章以教育领域为研究对象,采用深度神经网络识别数据实体,实现对图片、视频等多模态数据的表达,通过基于开放数据融合的知识抽取、基于多特征的跨领域知识融合,构建了教育领域多模态知识图谱,并对其在某高校中的实体匹配效果和课程重构中的应用效果作出分析。以期拓宽多模态知识图谱在图书馆智慧知识服务中的应用思路。

面向医学教育的多模态知识图谱构建方法及其在智能教学辅助平台中的应用

采用多模态知识图谱,利用YOLOv3-tiny模型进行目标检测训练,结合自顶向下和自底向上方法构建医学知识图谱。智能教学平台使用MVC 3层模型,MySQL和Neo4j数据库,Elasticsearch作为搜索引擎数据库。研究模型第五次训练显著提升效率,医学教学图片搜索中,模型识别精度达81.0%,运行时间2.7 s,损失函数下降至约0.25。实践证明构建的多模态知识图谱很成功,利用智能教学平台实现了对医学教学图片的高效搜索,为医学教育领域的智能化发展提供了基础。

金融业融合大模型多模态知识图谱的构建研究

文章首先从核心能力、应用特点、技术特点等维度简要阐述多模态知识图谱的构建方法,并从应用层、技能层、能力协同层和多模态数据层等方面分析研究了知识图谱与大模型协同赋能上层应用的通用技术框架;其次,结合金融业多模态业务知识图谱,以五家金融机构为研究对象,进行了实验和数据分析,对比传统方法数据后,融合大模型的多模态知识图谱准确率得到了有效提升;最后,对金融业多模态知识图谱的应用进行研究探讨,并调查分析了其在银行和保险公司等机构中的有效应用,以期为后续金融业融合大模型多模态知识图谱的构建提供新的借鉴和思路。

基于多模态知识图谱的南海疆维权证据链系统构建

[研究目的]大国博弈背景下,南海疆维权关乎国家安全、区域和平与亚太经济发展。南海疆维权证据链系统的构建,可以为南海疆维权的实际工作提供重要的数据与工具支撑。[研究方法]首先,总结了南海疆维权证据链的国内外研究现状,指出了证据链构建面临的挑战;然后,在定义南海疆维权证据链相关概念的基础上,设计了南海疆维权证据链系统的总体架构与核心功能;接着,提出了基于多模态知识图谱的南海疆维权证据链系统构建技术体系;最后,从南海疆主权维护、数据挖掘与知识发现以及数字人文叙事三个方面论述了基于多模态知识图谱的南海疆维权证据链系统的应用价值。[研究结论]基于多模态知识图谱的南海疆维权证据链系统的架构、功能与技术体系设计,为南海疆维权证据链系统的构建奠定了基础。进一步,需要以应用需求为导向、多学科融合为途径、人工与计算协同为方法,迭代式、增量式地推进南海疆维权证据链系统的实现与优化。

基于多模态知识感知注意力机制的问答方法

随着网络的普及,越来越多人遇到身体不适时,会选择在网站上搜索相关症状.随着在线医疗问答网站的出现,如春雨医生、寻医问药等,患者可以便捷地医生交流.现有的问答系统方法,聚焦于词级别的交互与语义信息,却很少考虑在回答问题时,回答者还利用了与问答本身无直接联系的常识.在实际生活中,除了病人的表述,医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法,它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示;然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑,并刻画问答对之间的交互关系.此外,该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集,实验结果表明:该方法比当前最好的方法准确度提升了2%以上.

基于农业时空多模态知识图谱的水稻精准施肥决策方法

为构建基于农业时空大数据的管理系统,实现田间养分精细化管理,提出了一种面向精准施肥的农业时空多模态知识图谱的构建及其控制与决策方法。通过基于深度学习的子图匹配方法,将地块待查询图和农业时空多模态知识图谱中的节点和关系嵌入表示;利用向量相似度计算获取候选子图,并从存储历史数据信息的子图中获取适合查询地块的施肥模型数据。结果显示,基于实例化后的待施肥地块查询图,在农业时空多模态知识图谱中可获取与给定地块查询图同构的子图,并从存储历史决策信息的子图中,获得适合当前地块的农业施肥模型。结果表明,基于农业时空多模态知识图谱的农业模型自动化选择结果可为精准施肥任务提供新思路和决策支撑。

基于多模态知识图的用户微行为会话推荐

基于会话推荐的目标是根据给定的会话预测下一个交互项.针对现有基于会话推荐大多只关注某个用户交互项的连续项来捕获相关信息;以及利用知识图谱提供辅助信息的过程中忽略了多模态知识图中各种数据类型的问题.本文提出多模态知识图的用户微行为的会话模型,将用户微行为和多模态知识纳入基于会话推荐的多任务学习中,用户微行为对项目的建模在微观行为级别上,使用一系列项目操作对来充分捕获会话中的用户意图.提出多模态知识图注意力网络,通过使用多模态图注意机制进行信息传播,将得到的聚集嵌入表示进行推荐.考虑候选项目信息来平衡局部和全局表示的门控模块,门控模块利用多层感知器层对候选项目、最近交互项目和每个用户的全局偏好之间的关系进行建模来计算权重.在两个基准数据集的实验结果表明,本文所提模型优于最新基于会话的推荐,有利于提升推荐的准确率.

结合多模态知识图谱与大语言模型的风机装配工艺问答系统

风力发电机是风能发电的基础,但其装配工艺信息通常分散于以三维模型、自然文本和图像等多模态信息构成的工艺文件中,导致历史工艺难以高效复用,装配工艺设计效率低下。针对这一问题,文中通过构建多模态知识图谱的方式整合风力发电机历史装配工艺信息,并且为了能对工艺信息进行有效利用,提出了结合多模态知识图谱与大语言模型的风力发电机装配工艺问答系统,利用大语言模型进行自然语言问题的粗粒度解析,再结合模式层关系细粒度解析问题,最后获得答案。在风力发电机装配工艺数据集上与其他最新KBQA方法和最新大语言模型对比取得优异结果,并在装配工艺可视化问答系统上进行验证,研究结果表明:风机装配工艺设计效率有显著提升。

深度学习视角下基于多模态知识图谱的MOOC课程重构

文章以在线学习者的深度学习需求为出发点,首先提取来自不同平台的MOOC课程资源所蕴含的知识实体及其层级关系,构建以"知识实体—关系—知识实体"三元组为核心的多模态知识图谱。随后,文章通过多个相同内容的MOOC课程的资源融合,重构面向学习者深度学习需求的个性化MOOC课程。最后,文章依据在线学习者所设定的学习目标生成动态学习路径,为学习者提供优质课程资源推荐服务,解决MOOC课程的学习导航问题和优质课程资源的跨平台融合问题。实验表明,基于多模态知识图谱的MOOC课程重构能够降低MOOC课程的辍学率,提高在线学习者的学习成效和学习效率。

融合大模型的多模态知识图谱及在金融业的应用

本文综述了最新的多模态知识图谱的构建和应用技术以及知识图谱在金融行业各业务场景的最新应用。特别地,综述了GPT等大模型用于知识图谱构建,以及知识图谱支撑大模型应用等方面的最新进展,揭示了大模型、多模态和知识图谱三者融合的巨大潜力。同时,本文还探讨了未来知识图谱研究和应用的三大机会——更容易构建知识图谱,扩展知识图谱的研究范畴,融合大模型与知识图谱以拓宽应用范围。最后,本文还探讨了以人为本的通用人工智能有关的内容。

大数据时代AIGC与多模态知识图谱的思考与展望

现今,随着大数据及人工智能技术的不断进步,AIGC(生成式AI)技术和多模态知识图谱技术在不同领域中的应用也得到了广泛关注。AIGC技术通过对人工智能算法的发展和优化,实现了从经验和数据中自我学习及自我完善的能力,从而在自然语言处理、图像识别、语音识别等领域实现了重要突破。而多模态知识图谱技术则是将多种类型的知识进行组合,结合自然语言理解、计算机视觉、语音识别等技术,形成一个全面且可扩展的领域知识图谱,提高了人机交互的效率和准确性。本文分别从大数据时代AIGC的发展历程、基础原理、应用情况等五个方面进行探讨,然后围绕AIGC技术与多模态知识图谱技术的关系及未来发展趋势进行阐述,为两者的发展提供一些有益的思路。

在线体育课程多模态知识图谱的构建与应用研究

文章提出,将多模态知识图谱技术引入在线体育教学,通过论述多模态知识图谱的构建策略与应用方法,证明其可行性与有效性,解决现阶段在线体育教学存在互动性、锻炼性和个性化缺失等问题。研究结果:以在线健身气功课程为例,阐述知识图谱中多模态实体节点和关系节点的构建步骤,及其在健身气功课程中的应用方法。研究建议:通过构建在线体育课程多模态知识图谱,弥补在线体育教学缺乏互动性、锻炼性与个性化的问题,提升在线体育教学课程效果,通过科教融合不断创新在线体育教学方法,为在线体育教学提供新思路。

多模态特征增强的双层融合知识推理方法

现有的多模态知识推理方法大多采用拼接或注意力的方式,将预训练模型提取到的多模态特征直接进行融合,往往忽略了不同模态之间的异构性和交互的复杂性。为此,提出了一种多模态特征增强的双层融合知识推理方法。结构信息嵌入模块采用自适应图注意力机制筛选并聚合关键的邻居信息,用来增强实体和关系嵌入的语义表达;多模态嵌入信息模块使用不同的注意力机制关注不同模态数据的独有特征,以及多模态数据间的共性特征,利用共性特征的互补信息进行模态交互,以减少模态间异构性差异;多模态特征融合模块采用将低秩多模态特征融合和决策融合相结合的双层融合策略,实现了多模态数据在模态间和模态内的动态复杂交互,并综合考虑每种模态在推理中的贡献度,得到更全面的预测结果。为了验证方法的有效性,分别在FB15K-237、DB15K和YAGO15K数据集上进行了实验。结果表明:该方法相比多模态推理方法,在FB15K-237数据集上MRR和Hits@1分别平均提升3.6%和2.2%;相比单模态推理方法,MRR和Hits@1分别平均提升13.7%和14.6%。