一种多模态知识图谱实体对齐方法

多模态知识图谱的融合需要解决知识融合过程中的实体对齐问题。在多模态知识图谱中,多模态属性可以提供关键对齐信息来提升实体对齐的能力。本文提出一种基于多模态属性嵌入和图注意力网络的多模态知识图谱实体对齐方法。首先,根据多模态知识图谱中图像、文本和图谱结构信息,将多模态知识图谱划分成子图;其次,利用图注意力网络提取文本和图结构信息,利用视觉几何组(visual geometry group, VGG)网络提取图像特征信息;然后,将文本、图像和图结构特征生成嵌入表示到向量空间;最后,综合子图的多模态特征和图结构特征用于对齐。实验结果表明,在对齐任务中该模型相比于4种基线模型性能有明显提升(Hits@1、Hits@10和MRR提升了10.64%、5.60%和0.227)。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

跨模态语义对齐和信息细化的多模态情感分析

为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refinement for multi-modal sentiment analysis),可以有效地解决多模态语义不对齐、语义噪声等问题,实现多模态数据更好地交互融合。使用多模态特征嵌入模块(multi-modal feature embedding,MFE)增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块(inter-modal semantic alignment,ISA)进行双模态时间维度的对齐。通过一个模态内的信息细化模块(intra-modal information refinement,IIR)进行情感解析和情感细化。通过多模态门控融合模块(multi-modal gated fusion,MGF)实现模态的有效融合。在流行的多模态情感分析数据集上进行实验,证明了CM-SAIR框架与最先进的基线相比的优势。

运用多模态学习改进张量分解的知识补全方法

基于单一模态实体之间建立关联所形成的语义关系网难以准确理解现实世界中的多模态语义。为增强多源知识图谱的补全能力以及解决知识图谱语义缺失问题,提出一种基于多模态嵌入张量分解的方法ME-TD(multimodal embedding tensor decomposition)。利用由图像、描述文本和知识构成的三元组作为张量分解模型的输入,分别对图像和文本进行特征提取,研究3种融合方法:相加融合、相乘融合以及连接映射方法,通过高维映射形成一个多模态的三阶张量;经过三模式分解,产生一个核心张量与每一个维度因子矩阵的乘积,通过链接预测计算三元组正确的概率。实验结果表明,ME-TD方法在知识补全中对多模态矩阵预测效果相较于其它方法有较为明显提升。

病房嵌入式多模态数字化手术室设计探讨

为满足临床医疗发展需求,中国医学科学院阜外医院提出了“病房嵌入式多模态数字化手术室”的设计方案,在病房内设置采用多模态影像技术的数字化杂交手术间,合理地整合医疗资源,提升科室诊疗技术水平,实现短、平、快的结构性心脏病诊疗模式。

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。

基于图像描述的实验室气瓶危险场景辨识方法

针对实验室气瓶场景提出了一种结合目标检测与文本检测识别的图像描述生成方法,用于辨识气瓶场景中的潜在危险信息,并以文本形式警示监控人员。该方法首先提取场景物体的特征与瓶身上文字的特征,而后将特征映射入多模态嵌入空间,接着使用Transformer模型生成描述结果,最后根据描述语句判断场景是否危险。实验结果表明,通过本方法生成的描述语句可以有效辨识出实验室气瓶场景中的危险物品与危险原因。

基于语义时空轨迹的位置预测

时空数据稀疏性导致位置预测准确率较低,利用轨迹点的多源语义信息扩充轨迹序列的维度,缓解数据稀疏性带来的负面影响,已成为位置预测研究的重要突破口。提出了基于语义时空轨迹的位置预测模型SemanPredict。首先,将传统轨迹序列转换为包括停留点、停留时间以及活动类型的语义轨迹;其次,利用多模态联合嵌入方法,建立轨迹点之间的隐含关系;最后,采用长短期记忆(Long Short-Term Memory,LSTM)神经网络建模语义轨迹序列进行位置预测。在WiFi时空数据集和Twitter签到数据集上进行实验验证,结果表明,相较于传统模型,SemanPredict模型能够更好地捕捉用户移动规律,预测准确率更高。