多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

社交网络舆情多模态知识图谱构建框架研究

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上,提出社交网络舆情多模态知识图谱的构建框架,并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架,为交互方式日趋丰富的社交网络舆情治理提供有益参考。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

基于农业时空多模态知识图谱的水稻精准施肥决策方法

为构建基于农业时空大数据的管理系统,实现田间养分精细化管理,提出了一种面向精准施肥的农业时空多模态知识图谱的构建及其控制与决策方法。通过基于深度学习的子图匹配方法,将地块待查询图和农业时空多模态知识图谱中的节点和关系嵌入表示;利用向量相似度计算获取候选子图,并从存储历史数据信息的子图中获取适合查询地块的施肥模型数据。结果显示,基于实例化后的待施肥地块查询图,在农业时空多模态知识图谱中可获取与给定地块查询图同构的子图,并从存储历史决策信息的子图中,获得适合当前地块的农业施肥模型。结果表明,基于农业时空多模态知识图谱的农业模型自动化选择结果可为精准施肥任务提供新思路和决策支撑。

结合多模态知识图谱与大语言模型的风机装配工艺问答系统

风力发电机是风能发电的基础,但其装配工艺信息通常分散于以三维模型、自然文本和图像等多模态信息构成的工艺文件中,导致历史工艺难以高效复用,装配工艺设计效率低下。针对这一问题,文中通过构建多模态知识图谱的方式整合风力发电机历史装配工艺信息,并且为了能对工艺信息进行有效利用,提出了结合多模态知识图谱与大语言模型的风力发电机装配工艺问答系统,利用大语言模型进行自然语言问题的粗粒度解析,再结合模式层关系细粒度解析问题,最后获得答案。在风力发电机装配工艺数据集上与其他最新KBQA方法和最新大语言模型对比取得优异结果,并在装配工艺可视化问答系统上进行验证,研究结果表明:风机装配工艺设计效率有显著提升。

基于多模态知识图的用户微行为会话推荐

基于会话推荐的目标是根据给定的会话预测下一个交互项.针对现有基于会话推荐大多只关注某个用户交互项的连续项来捕获相关信息;以及利用知识图谱提供辅助信息的过程中忽略了多模态知识图中各种数据类型的问题.本文提出多模态知识图的用户微行为的会话模型,将用户微行为和多模态知识纳入基于会话推荐的多任务学习中,用户微行为对项目的建模在微观行为级别上,使用一系列项目操作对来充分捕获会话中的用户意图.提出多模态知识图注意力网络,通过使用多模态图注意机制进行信息传播,将得到的聚集嵌入表示进行推荐.考虑候选项目信息来平衡局部和全局表示的门控模块,门控模块利用多层感知器层对候选项目、最近交互项目和每个用户的全局偏好之间的关系进行建模来计算权重.在两个基准数据集的实验结果表明,本文所提模型优于最新基于会话的推荐,有利于提升推荐的准确率.

融合大模型的多模态知识图谱及在金融业的应用

本文综述了最新的多模态知识图谱的构建和应用技术以及知识图谱在金融行业各业务场景的最新应用。特别地,综述了GPT等大模型用于知识图谱构建,以及知识图谱支撑大模型应用等方面的最新进展,揭示了大模型、多模态和知识图谱三者融合的巨大潜力。同时,本文还探讨了未来知识图谱研究和应用的三大机会——更容易构建知识图谱,扩展知识图谱的研究范畴,融合大模型与知识图谱以拓宽应用范围。最后,本文还探讨了以人为本的通用人工智能有关的内容。

大数据时代AIGC与多模态知识图谱的思考与展望

现今,随着大数据及人工智能技术的不断进步,AIGC(生成式AI)技术和多模态知识图谱技术在不同领域中的应用也得到了广泛关注。AIGC技术通过对人工智能算法的发展和优化,实现了从经验和数据中自我学习及自我完善的能力,从而在自然语言处理、图像识别、语音识别等领域实现了重要突破。而多模态知识图谱技术则是将多种类型的知识进行组合,结合自然语言理解、计算机视觉、语音识别等技术,形成一个全面且可扩展的领域知识图谱,提高了人机交互的效率和准确性。本文分别从大数据时代AIGC的发展历程、基础原理、应用情况等五个方面进行探讨,然后围绕AIGC技术与多模态知识图谱技术的关系及未来发展趋势进行阐述,为两者的发展提供一些有益的思路。

在线体育课程多模态知识图谱的构建与应用研究

文章提出,将多模态知识图谱技术引入在线体育教学,通过论述多模态知识图谱的构建策略与应用方法,证明其可行性与有效性,解决现阶段在线体育教学存在互动性、锻炼性和个性化缺失等问题。研究结果:以在线健身气功课程为例,阐述知识图谱中多模态实体节点和关系节点的构建步骤,及其在健身气功课程中的应用方法。研究建议:通过构建在线体育课程多模态知识图谱,弥补在线体育教学缺乏互动性、锻炼性与个性化的问题,提升在线体育教学课程效果,通过科教融合不断创新在线体育教学方法,为在线体育教学提供新思路。

基于多模态知识图谱的南海疆维权证据链系统构建

[研究目的]大国博弈背景下,南海疆维权关乎国家安全、区域和平与亚太经济发展。南海疆维权证据链系统的构建,可以为南海疆维权的实际工作提供重要的数据与工具支撑。[研究方法]首先,总结了南海疆维权证据链的国内外研究现状,指出了证据链构建面临的挑战;然后,在定义南海疆维权证据链相关概念的基础上,设计了南海疆维权证据链系统的总体架构与核心功能;接着,提出了基于多模态知识图谱的南海疆维权证据链系统构建技术体系;最后,从南海疆主权维护、数据挖掘与知识发现以及数字人文叙事三个方面论述了基于多模态知识图谱的南海疆维权证据链系统的应用价值。[研究结论]基于多模态知识图谱的南海疆维权证据链系统的架构、功能与技术体系设计,为南海疆维权证据链系统的构建奠定了基础。进一步,需要以应用需求为导向、多学科融合为途径、人工与计算协同为方法,迭代式、增量式地推进南海疆维权证据链系统的实现与优化。

基于多模态知识感知注意力机制的问答方法

随着网络的普及,越来越多人遇到身体不适时,会选择在网站上搜索相关症状.随着在线医疗问答网站的出现,如春雨医生、寻医问药等,患者可以便捷地医生交流.现有的问答系统方法,聚焦于词级别的交互与语义信息,却很少考虑在回答问题时,回答者还利用了与问答本身无直接联系的常识.在实际生活中,除了病人的表述,医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法,它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示;然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑,并刻画问答对之间的交互关系.此外,该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集,实验结果表明:该方法比当前最好的方法准确度提升了2%以上.

深度学习视角下基于多模态知识图谱的MOOC课程重构

文章以在线学习者的深度学习需求为出发点,首先提取来自不同平台的MOOC课程资源所蕴含的知识实体及其层级关系,构建以"知识实体—关系—知识实体"三元组为核心的多模态知识图谱。随后,文章通过多个相同内容的MOOC课程的资源融合,重构面向学习者深度学习需求的个性化MOOC课程。最后,文章依据在线学习者所设定的学习目标生成动态学习路径,为学习者提供优质课程资源推荐服务,解决MOOC课程的学习导航问题和优质课程资源的跨平台融合问题。实验表明,基于多模态知识图谱的MOOC课程重构能够降低MOOC课程的辍学率,提高在线学习者的学习成效和学习效率。

基于多源异构数据的风机多模态装配工艺知识图谱建模

风力发电机装配工艺信息通常分散于以三维模型、自然文本、图像等多模态信息构成的工艺文件中,导致数据维护和工艺知识获取成本高、效率低.针对这一问题,提出一种基于多源异构数据的风力发电机多模态装配工艺知识图谱建模方法.首先,分析工艺特点给出风力发电机多模态知识工艺图谱(MPKG-WT)中各类概念,完成图谱本体构建;其次,基于多源异构数据及各模态特点,利用数据分析、知识抽取和语义相似度计算等技术实现图谱的自动实例化;最后,以某风力发电机企业装配工艺数据为例,实现MPKG-WT构建,并开发辅助装配工艺设计系统进行验证.研究结果表明,MPKG-WT较单模态图谱蕴含更丰富的知识,且不同模态数据之间能够互补,显著提升装配工艺设计效率.

移动新媒体环境下图书馆多模态应急知识挖掘与推荐服务研究

文章在对多模态应急知识的内涵与分类进行详细分析后,提出了包含四个层次的多模态应急知识挖掘层次模型,并进一步对移动新媒体环境下图书馆多模态应急知识推荐服务的实现路径进行了探讨,旨在为图书馆用户提供更加全面、准确和及时的应急知识支持,帮助其提升应对突发应急事件的效率和水平。

面向医学教育的多模态知识图谱构建方法及其在智能教学辅助平台中的应用

采用多模态知识图谱,利用YOLOv3-tiny模型进行目标检测训练,结合自顶向下和自底向上方法构建医学知识图谱。智能教学平台使用MVC 3层模型,MySQL和Neo4j数据库,Elasticsearch作为搜索引擎数据库。研究模型第五次训练显著提升效率,医学教学图片搜索中,模型识别精度达81.0%,运行时间2.7 s,损失函数下降至约0.25。实践证明构建的多模态知识图谱很成功,利用智能教学平台实现了对医学教学图片的高效搜索,为医学教育领域的智能化发展提供了基础。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

基于多级特征融合和强化学习的多模态实体对齐

针对传统实体对齐方法未充分利用多模态信息,且在特征融合时未考虑模态间潜在的交互影响等问题,该文提出了一种多模态实体对齐方法,旨在充分利用实体的不同模态特征,在不同多模态知识图谱中找到等价实体。首先通过不同的特征编码器获得属性、关系、图像和图结构的嵌入表示,同时引入数值模态以增强实体语义信息;其次在特征融合阶段,在对比学习的基础上同时进行跨模态互补性和相关性建模,并引入强化学习优化模型输出,减小获得的联合嵌入和真实模态嵌入之间的异构差异;最后计算两个实体之间的余弦相似度,筛选出候选对齐实体对,并将其迭代加入对齐种子,指导新的实体对齐。实验结果表明,该文所提方法在多模态实体对齐任务中是有效的。

知识驱动的多模态语义理解研究综述

基于深度学习模型的多模态学习方法已在静态、可控等简单场景下取得较优的语义理解性能,但在动态、开放等复杂场景下的泛化性仍然较低.近期已有不少研究工作尝试将类人知识引入多模态语义理解方法中,并取得不错效果.为了更深入了解当前知识驱动的多模态语义理解研究进展,文中在对相关方法进行系统调研与分析的基础上,归纳总结关系型和对齐型这两类主要的多模态知识表示框架.然后选择多个代表性应用进行具体介绍,包括图文匹配、目标检测、语义分割、视觉-语言导航等.此外,文中总结当前相关方法的优缺点并展望未来可能的发展趋势.

多模态大模型驱动的学科知识图谱进化及教育应用

当前,以GPT-4为代表的多模态大模型正在促进通用人工智能向多模态融合的方向发展。受益于多模态思维链、涌现能力和提示工程等应用技术,学科知识图谱能够更好地形成一种将抽象的符号概念和多模态的数据加以关联的智能扩展范式,有效解决现有图谱构建中存在的诸多不足,进一步推动多模态学科知识图谱的创生,为智慧教育服务的发展提供有力的支持。基于此,文章首先解构多模态大模型与学科知识图谱的关系;然后,文章探析了多模态大模型对学科知识图谱的驱动前提,从进化角度探讨多模态学科知识图谱的基本内涵和构建框架;最后,文章提出多模态学科知识图谱的四大教育应用场景,包括推动教育资源多元聚合、助力智能教学产品开发、赋能学科资源个性推荐以及促进人机协同智慧教学,以期为学科知识图谱的相关研究提供借鉴与启发。