多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

面向肝细胞癌微血管侵犯评估的高效多模态贡献度感知网络研究

微血管侵犯(MicroVascular Invasion,MVI)是肝细胞癌(HepatoCellular Carcinoma,HCC)切除或移植患者出现早期复发和长期预后不良的重要影响因素,因此在HCC患者术前评估是否存在MVI具有非常重要的临床价值.近年来,深度学习为MVI影像诊断评估提供了有价值的解决方法,但受数据标注收集困难等因素的影响,目前研究多独立利用电子计算机断层扫描(Computed Tomography,CT)或核磁共振成像(Magnetic Resonance Imaging,MRI)手段采集影像中的单模态序列,缺乏对各成像手段中多模态序列的综合应用.在小样本场景下,为有效利用多模态序列数据,提高诊断效能,本文提出一种高效多模态贡献度感知网络.该网络可以利用模态分组卷积和高效多模态自适应加权模块,在极少计算开销的引入下,学习CT或MRI的各模态影像信息在复杂多样的MVI表象下的诊断贡献.本文在三甲医院收集的临床数据集上进行实验,结果表明该网络模型可以在少量有标注数据的支持下,取得优于多种基于注意力机制的神经网络模型的MVI诊断性能,为专业医师的诊断分析提供了有效参考.

多模态方面级情感分析的多视图交互学习网络

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

社交网络舆情多模态知识图谱构建框架研究

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上,提出社交网络舆情多模态知识图谱的构建框架,并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架,为交互方式日趋丰富的社交网络舆情治理提供有益参考。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性:简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息(即区域或单词)。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络(MMTN)模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明:所提模型达到了最先进的性能。

面向视频数据的多模态情感分析

多模态情感分析旨在从文本、图像和音频数据中提取和整合语义信息,从而识别在线视频中说话者的情感状态。尽管多模态融合方案在此研究领域已取得一定成果,但是已有方法在处理模态间分布差异和关系知识的融合方面仍有欠缺,为此,提出一种多模态情感分析方法。设计一种多模态提示门(MPG)模块,其能够将非语言信息转换为融合文本上下文的提示,利用文本信息对非语言信号的噪声进行过滤,得到包含丰富语义信息的提示,以增强模态间的信息整合。此外,提出一种实例到标签的对比学习框架,在语义层面上区分隐空间中的不同标签以进一步优化模型输出。在3个大规模情感分析数据集上的实验结果表明,该方法的二分类精度相对次优模型提高了约0.7%,三分类精度提高了超过2.5%,达到0.671。该方法能够为将多模态情感分析引入用户画像、视频理解、AI面试等领域提供参考。

一种多模态隐喻数据集的构建和验证方法

隐喻的目的是启发理解、说服他人。目前,隐喻呈现文本、图像、视频等多模态融合的趋势,因此,识别多模态信息中蕴含的隐喻语义对互联网内容安全具有研究价值。由于缺乏多模态隐喻数据集,难以建立研究模型,因此,当前学者更关注基于文本的隐喻检测。针对这一不足,作者首先从图像-文本、隐喻出现、情感表达和作者意图等角度构建新型多模态隐喻数据集;其次,对数据集的标注者进行Kappa分数计算;最后,借助预训练模型和注意力机制融合图像属性特征、图像实体对象特征和文本特征,构建多模态隐喻检测模型,验证多模态数据集的质量和价值。实验结果表明:具有情感和意图表达的隐喻数据集可提升隐喻模型检测效果,多模态信息间相互关系有助于隐喻的理解。

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,该多模态学习方法在多个评价指标上优于基线方法.

非语言信息增强和对比学习的多模态情感分析模型

因具有突出的表征和融合能力,深度学习方法近年来越来越多地被应用于多模态情感分析领域。已有的研究大多利用文字、面部表情、语音语调等多模态信息对人物的情绪进行分析,并主要使用复杂的融合方法。然而,现有模型在长时间序列中未充分考虑情感的动态变化,导致情感分析性能不佳。针对这一问题,该文提出非语言信息增强和对比学习的多模态情感分析网络模型。首先,使用长程文本信息去促使模型学习音频和视频在长时间序列中的动态变化,然后,通过门控机制消除模态间的冗余信息和语义歧义。最后,使用对比学习加强模态间的交互,提升模型的泛化性。实验结果表明,在数据集CMU-MOSI上,该模型将皮尔逊相关系数(Corr)和F1值分别提高了3.7%和2.1%;而在数据集CMU-MOSEI上,该模型将“Corr”和“F1值”分别提高了1.4%和1.1%。因此,该文提出的模型可以有效利用模态间的交互信息,并去除信息冗余。

图文语义增强的多模态命名实体识别方法

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F 1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。

融合多模态数据的中文医学实体识别研究

[目的/意义]医学实体识别是医疗健康知识挖掘和知识组织的关键环节。深入挖掘多模态数据间语义关联可以提升医学实体识别效果,进而为领域知识补全和知识推理提供支撑。[方法/过程]提出一种基于双线性注意力融合机制的多模态中文医学实体识别模型BAF-MNER。首先通过视觉和文本编码器进行多模态医学数据的语义特征学习;接着利用双线性注意力网络实现图像和文本跨模态语义交互,并引入门控机制过滤视觉噪声;然后融合基于注意力机制的视觉特征和文本特征进而构建多模态特征表示,同时增加批量归一化层优化深度神经网络;最后将多模态特征向量输入CRF层解码获取预测标签。[结果/结论]本模型能够有效提升中文医学实体识别效果,在多模态医学数据集上的F1值较单模态基线模型提升4.07%,较多模态基线模型提升1.65%;在多模态公开数据集上的实验表明模型具有良好的泛化能力。

基于间接融合方式的多模态情感分析门控算法

由于Transformer的并行结构,在多模态情感分析领域借助其间接融合的模型大多难以建模时间维度上的语义关系、不能针对不同模态的重要程度有效控制信息输出。为此,提出AGRU-Transfusion-MGN融合算法。算法在门控循环单元上添加软注意力机制,提取时序情感信息;在Transformer的编码器和解码器间构造反向转换,使用平均绝对误差弥合解码特征与相应目标特征的融合损失;设置门控函数搭建多模态门控机制,综合判断不同模态的重要性。为验证算法性能,在多模态情感数据集CMU-MOSEI上进行实验,使用加权精度、平均绝对误差以及符号检测作为评价指标,结果显示本方法优于当前见刊的先进方法。

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力:在分类指标(Acc_(2),F_(1))和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明,同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。

多尺度视觉语义增强的多模态命名实体识别方法

为解决多模态命名实体识别(Multimodal named entity recognition,MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题,提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semantic enhancement for multimodal named entity recognition method,MSVSE).该方法提取多种视觉特征用于补全图像语义,挖掘文本特征与多种视觉特征间的语义交互关系,生成多尺度视觉语义特征并进行融合,得到多尺度视觉语义增强的多模态文本表示;使用视觉实体分类器对多尺度视觉语义特征解码,实现视觉特征的语义一致性约束;调用多任务标签解码器挖掘多模态文本表示和文本特征的细粒度语义,通过联合解码解决语义偏差问题,从而进一步提高命名实体识别准确度.为验证该方法的有效性,在Twitter-2015和Twitter-2017数据集上进行实验,并与其他10种方法进行对比,该方法的平均F1值得到提升.

CLGLF:置信学习引导标签融合的多模态命名实体识别方法

为解决多模态命名实体识别中存在的视觉语义理解和多模态语义的偏差问题,本文提出了置信学习引导标签融合的多模态命名实体识别方法 .该方法调用BLIP-2预训练模型生成图像描述,将其与输入的文本拼接,进行图文联合编码实现多模态特征融合,对多模态表征和文本表征解码后得到候选标签和文本标签;在采用KL散度损失函数对齐两组标签的基础上,计算置信分数用来评估多模态表征质量,设置置信阈值辅助筛选出有偏差的候选标签,并使用相应位置的文本标签替换有偏差的候选标签,实现标签的融合,最终完成多模态命名实体识别.为了验证本文方法,在Twitter-2015和Twitter-2017多模态数据集上进行实验,并将实验结果与MSB、UMT等7种主流方法进行对比,实验结果证明了本文方法的有效性.

一种基于多模态特征增强网络的抑郁症检测方法

针对传统的多模态融合方法在抑郁症检测中忽略了模态之间的交互性、未能充分提取出更全面的特征表示的问题,本研究提出一种基于多模态特征增强网络的抑郁症检测方法,该方法有效地集成了视频、音频和远程光电容积脉搏(photoplethysmographic,rPPG)信号3种模态,通过模态间Transformer、模态内Transformer和多头自注意力机制,共同学习输入模态序列每个时间步的模态内和模态间的动态关系,达到了特征增强的目的。最终,拼接3个模态增强后的特征获得全面特征表示。在AVEC2013公共数据集上的实验结果显示,该方法的平均绝对误差为7.07,优于单模态抑郁症检测,表明该方法有效促进了模态之间的交互,并实现了特征增强,在自动抑郁症检测任务中展现出显著的有效性。

视频广告中多模态隐喻与转喻的研究——以一则泸州老窖广告为例

文章以多模态隐喻与转喻为视角,对泸州老窖的一则视频广告做出认知分析,旨在探究白酒视频广告的语篇意义及其正面形象的建构问题。语言学中多模态的研究成果应用在广告分析之中,有助于拓展概念隐喻的研究范围,揭示概念隐喻的思维本质,同时也对产品的广告设计和营销策略给出了有价值的语言学参考。From the perspective of multimodal metaphor and metonymy, this paper conducts a cognitive analysis of a video advertisement of Luzhou Laojiao, exploring the textual meaning of Baijiu video advertisement and the construction of its positive image. The application of multimodal research findings in advertising analysis helps to expand the research scope and reveal the essence of conceptual metaphors, thereby providing valuable linguistic references for product advertising design and marketing strategies.

基于数字化多模态创编提升中学生多元读写能力的案例研究

在新媒体时代,语言创作过程已不再仅限于纯文字的表达。越来越多的师生开始尝试将文字与其他多种模态(如图像、声音、画面等)符号设计成多模态语篇的形式,这就是多模态创编的过程。本文从多元读写能力以及新媒体时代的要求出发,介绍了数字化多模态创编这种新的教学活动形式,并通过一个以创编前的导入课、创编中的活动课和创编后的展示课所开展的单元活动案例,展示了数字化多模态创编活动的教学过程及注意事项。这个案例展示了数字化多模态创编活动如何激发学生带着问题意识去分析问题、解决问题,从而真正地提高他们用英语做事的综合语言运用能力。该案例特别强调,创编后对多模态作品及任务的评价方法是创编活动中至关重要的一环。

多模态学习的研究进展与趋势:跨学科的透视

多模态学习注重信息的多样存在形式以及多种感知通道对认知与学习过程的积极影响,在智能技术助力教与学的时代具有重要价值,系统性地梳理多模态学习相关研究是其进一步理论与实践研究的关键。首先,从不同多模态学习的来源出发进行概念辨析,并提出多模态学习的概念内涵;其次,从三个学科视角分析多模态学习的研究进展,即计算机科学视角的多模态数据表示、融合、对齐以及应用等研究,认知心理学视角的信息加工、学习注意以及数据采集等研究,教育学视角的多模态学习环境、学习分析以及学习效果等研究。最后,提出多模态学习的研究趋势,即推进多模态学习跨学科融合研究、优化多模态数据中的异质性、强化多模态学习的教育实践指导、解决多模态数据分析的伦理问题,为进一步多模态学习的理论与实践研究提供参考。