人工智能驱动的跨模态语义通信系统

概述了跨模态语义通信的相关研究背景,具体包括语义通信面临的两大挑战、跨模态通信的核心思想,以及跨模态语义通信具有的优势与存在的研究空白。针对跨模态语义通信尚存在的研究空白,在人工智能技术的驱动下,提出跨模态语义通信系统架构,详细介绍了跨模态语义通信的核心思想、关键技术,以及实践落地中需要考虑的重要因素,探讨了跨模态语义通信系统的应用场景以及存在的挑战。

基于模态语义增强的跨模态食谱检索方法

在跨模态食谱检索任务中,如何有效地对模态进行特征表示是一个热点问题。目前一般使用两个独立的神经网络分别获取图像和食谱的特征,通过跨模态对齐实现跨模态检索。但这些方法主要关注模态内的特征信息,忽略了模态间的特征交互,导致部分有效模态信息丢失。针对该问题,提出一种通过多模态编码器来增强模态语义的跨模态食谱检索方法。首先使用预训练模型提取图像和食谱的初始语义特征,并借助对抗损失缩小模态间差异;然后利用成对跨模态注意力使来自一个模态的特征反复强化另一个模态的特征,进一步提取有效信息;接着采用自注意力机制对模态的内部特征进行建模,以捕捉丰富的模态特定语义信息和潜在关联知识;最后,引入三元组损失最小化同类样本间的距离,实现跨模态检索学习。在Recipe 1M数据集上的实验结果表明,该方法在中位数排名(MedR)和前K召回率(R@K)等方面均优于目前的主流方法,为跨模态检索任务提供了有力的解决方案。

知识驱动的多模态语义理解研究综述

基于深度学习模型的多模态学习方法已在静态、可控等简单场景下取得较优的语义理解性能,但在动态、开放等复杂场景下的泛化性仍然较低.近期已有不少研究工作尝试将类人知识引入多模态语义理解方法中,并取得不错效果.为了更深入了解当前知识驱动的多模态语义理解研究进展,文中在对相关方法进行系统调研与分析的基础上,归纳总结关系型和对齐型这两类主要的多模态知识表示框架.然后选择多个代表性应用进行具体介绍,包括图文匹配、目标检测、语义分割、视觉-语言导航等.此外,文中总结当前相关方法的优缺点并展望未来可能的发展趋势.

多模态语义通信研究综述

随着人工智能与通信的交叉融合,文本、图像、音频、视频等多模态数据处理技术蓬勃发展,模态语义的共享维度被深度挖掘,多模态语义信息的高度抽象、智能简约等特性被充分利用,为语义通信带来了全新的思路和手段。首先,介绍了语义通信的基础理论和分类,分别针对文本、图像、音频、视频综述了单模态语义通信的研究现状;然后,综述了多模态语义通信的研究现状,介绍了多模态数据融合技术和安全语义通信的研究;最后,总结了多模态语义通信面临的挑战。

基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注

图像属性标注是一种更细化的图像标注,它能缩小认知与特征间“语义鸿沟”.现有研究多基于单特征且未挖掘属性蕴含的深层语义,故无法准确刻画图像内容.改进有效区域基因选择算法融合图像特征,并设计迁移学习策略,实现材质属性标注;基于判别相关分析挖掘特征间跨模态语义,以改进相对属性模型,标注材质属性蕴含的深层语义-实用属性.实验表明:材质属性标注精准度达63.11%,较最强基线提升1.97%;实用属性标注精准度达59.15%,较最强基线提升2.85%;层次化的标注结果能全面刻画图像内容.

基于Rough集的模态语义数据分析

1.引言 知识的表示与管理一直是当今人工智能领域的研究热点课题,而逻辑表示是人工智能中使用最早的表示模式之一[1],特别是模态逻辑的研究越来越得到人们的重视.模态逻辑中加入了"必然"和"可能"两种模态算子,从而对命题演算给出了恰当的非真值系统,使其从纯粹逻辑领域走向应用领域[2].虽然用模态表示的知识模式具有很好的优点,如证明过程的推理规则有效,具有很好的理解形式语义的能力,但是其最大的、难以克服的缺点是表示和处理的分离,如何用可操作的方法来处理逻辑表示的数据一直是研究者探讨的热点.目前关于Rough集和模态逻辑的工作主要是通过Rough集的近似计算和模态算子的相似性来对Rough理论进行研究[3,4].本文通过对Rough集理论的研究,证明了其近似算子、模态算子与关系运算的等价性,并从关系运算的角度给出了模态算子与近似集计算的步骤.特别地,我们通过对模态逻辑中特定实例的研究,得出其数据表示中知识的精确定义,并在一般情况下根据可达关系(accessibility relation),运用Rough集概念对知识进行近似描述.

SLDNF-归结原理关于模态语义的完备性(英文)

Baratella定义了正规谓词逻辑程序的模态完全化语义 ,并证明了该语义关于 SL DNF-归结的部分完备性 .本文首先给出了逻辑程序的模态直承算子 ,并研究了相关的理论性质 ,进而证明了模态完全化语义关于 SL DNF-归结的完备性 .

CLGLF:置信学习引导标签融合的多模态命名实体识别方法

为解决多模态命名实体识别中存在的视觉语义理解和多模态语义的偏差问题,本文提出了置信学习引导标签融合的多模态命名实体识别方法 .该方法调用BLIP-2预训练模型生成图像描述,将其与输入的文本拼接,进行图文联合编码实现多模态特征融合,对多模态表征和文本表征解码后得到候选标签和文本标签;在采用KL散度损失函数对齐两组标签的基础上,计算置信分数用来评估多模态表征质量,设置置信阈值辅助筛选出有偏差的候选标签,并使用相应位置的文本标签替换有偏差的候选标签,实现标签的融合,最终完成多模态命名实体识别.为了验证本文方法,在Twitter-2015和Twitter-2017多模态数据集上进行实验,并将实验结果与MSB、UMT等7种主流方法进行对比,实验结果证明了本文方法的有效性.

C^(2)Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C^(2)Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc,Pre,Recall,Dice,Voe与Rvd分别为:97.95%,94.94%,94.31%,96.98%,92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。

面向跨模态检索的查询感知双重对比学习网络

近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,提出一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络(QACLN),该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,提出一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.

基于语义理解的短视频一键成片系统设计与实现

介绍一个基于语义理解的一键成片系统,为市场营销和媒体短视频制作提供高效的短视频生成解决方案。对于市场营销类场景,系统能够快速生成风格统一、信息准确且视觉效果突出的产品宣传视频,以满足大规模的营销需求。在媒体类应用中,系统侧重于视频质量,通过语义理解生成脚本,并结合口播驱动的方式匹配相关视频素材,进而生成高质量的混剪短视频。该系统利用人工智能(Artificial Intelligence,AI)有效提高短视频的生产效率,降低了人力成本,激发视频制作的创意潜能。

基于主动样本精选与跨模态语义挖掘的图像情感分析

图像情感分析是机器视觉领域的研究热点,它面临的关键问题是:标注者的主观差异导致情感标签明确的高质量样本匮乏,且异构图像特征间跨模态语义未有效利用.为此,提出基于主动样本精选与跨模态语义挖掘的图像情感分析模型ASRF^(2)(active sample refinement&feature fusion):融合主动学习与样本精选思想,设计主动样本精选策略,优选情感标签明确的样本;对异构图像特征执行判别相关分析,生成能准确刻画图像情感内容的低维跨模态语义;采用跨模态语义训练Catboost模型,实现图像情感分析.在Twitter I与FI数据集上验证ASRF^(2)模型,识别准确率分别达90.06%和75.77%,优于主流基线且实时效率良好.与基线相比,ASRF^(2)模型仅需两类特征,参数调制简单,更易复现.ASR策略还具备一定的泛化性,可为基线模型提供优质训练样本,以改善识别性能.

双分支线索深度感知与自适应协同优化的多模态虚假新闻检测

深度学习方法促使多模态虚假新闻检测领域快速发展,现有的检测模型通常从全局角度学习新闻图文间的跨模态语义关联,并利用共享语义内容获取检测的关键信息.然而,新闻内部的局部语义差异可能会限制模型有效利用跨模态语义关联的能力,其中潜在的非共享语义内容作为重要线索能够有效揭示虚假新闻的篡改意图和目的.为了解决上述问题,本文提出了一种双分支线索深度感知与自适应协同优化的多模态虚假新闻检测模型.该模型首先从图像显著区域和文本语义单词中提取细粒度的新闻特征,并使用跨模态加权残差网络从中学习共享语义线索.同时,根据所有图像区域和文本单词之间的语义相关性,双分支图文线索感知模块显式地建模共享与非共享语义内容的语义关联.其中,线索关联优化分支对两类语义内容的关联边界持续迭代优化,促使模型准确区分非共享语义线索;线索关联分析分支刻画两类语义内容的可信程度,并在此基础上引导模型实现线索的自主融合.通过上述自适应协同优化框架,本文提出的模型能够在复杂新闻语境下进行线索的深度感知与融合,实现更准确、更可解释的多模态虚假新闻检测.在广泛使用的中英文真实数据集上的实验结果表明,本文提出的模型明显优于基线方法,在准确率和虚假新闻检测精确率上分别平均提高了4.85%和4.50%.

卡尔纳普的量化模态逻辑形式语义学

鲁道夫.卡尔纳普首次为模态逻辑提供了语义学理论。他也第一个为量化理论与模态逻辑(S4和S5类型)相组合的逻辑类型提供了公理系统。他将三个伟大哲学家的学术传统汇集于一身。弗雷格使他对语义学产生了兴趣,并帮助他掌握了对涵与外延相区别的方法;从莱布尼茨那里他吸取了把必然分析为在所有的可能世界为真这一重要思想;而维特根斯坦的某些思想则形成了卡尔纳普自身工作的某些部分的起点。卡尔纳普给出了"状态描述"的定义,指出状态描述代表莱布尼茨的可能世界或者维特根斯坦的事物的可能状态。为解释量词,卡尔纳普引入了"个体概念"的概念。

多模态审讯心理语义分析助力审讯智能化

公安机关日常审讯办案是一个高强度的心理对抗和心理博弈过程,审讯过程中犯罪嫌疑的微表情、眼动、语音、体态等生物行为表达往往隐含了其真实的思维意识、意志行为。如果能够及时、准确的识别和利用犯罪嫌疑人的这些情感表达,就可以有效辅助侦查讯问人员识别谎言、发现线索、防范心理风险,提升办案效率和办案质量。

现代模态逻辑的多元视野

模态逻辑作为一个新兴的逻辑学科,产生了非常之多的模态系统,这些系统的起源是多元的;模态逻辑的历史发展经历了语形时期、经典时期和现代时期;在模态逻辑的现代时期,计算机科学的发展从根本上改变了人们对模态逻辑能够用来干什么以及模态逻辑如何付诸运用的期待。

基于跨模态对比学习的视觉问答主动学习方法

视觉自动问答技术是一个新兴的多模态学习任务,它联系了图像内容理解和文本语义推理,针对图像和问题给出对应的回答.该技术涉及多种模态交互,对视觉感知和文本语义学习有较高的要求,受到了广泛的关注.然而,视觉自动问答模型的训练对数据集的要求较高.它需要多种多样的问题模式和大量的相似场景不同答案的问题答案标注,以保证模型的鲁棒性和不同模态下的泛化能力.而标注视觉自动问答数据需要花费大量的人力物力,高昂的成本成为制约该领域发展的瓶颈.针对这个问题,本文提出了基于跨模态特征对比学习的视觉问答主动学习方法(CCRL).该方法从尽可能覆盖更多的问题类型和尽可能获取更平衡的问题分布两方面出发,设计了视觉问题匹配评价(VQME)模块和视觉答案不确定度度量(VAUE)模块.视觉问题评价模块使用了互信息和对比预测编码作为自监督学习的约束,学习视觉模态和问题模式的匹配关系.视觉答案不确定性模块引入了标注状态学习模块,自适应地选择匹配的问题模式并学习跨模态问答语义关联,通过答案项的概率分布评估样本不确定度,寻找最有价值的未标注样本进行标注.在实验部分,本文在视觉问答数据集VQA-v2上将CCRL和其他最新的主动学习算法进行了性能比较,实验结果表明该方法在各个问题模式下均超越之前的方法,该方法对比当前性能最好的主动学习方法在不同的采样率下平均提升了1.65%的准确率.在仅标注30%的数据下,该方法可以达到100%样本标注下性能的96%;在40%的标注比例之下,该方法可以达到100%样本标注下性能的97%.这说明该方法可以选取出具有高指导价值的样本,节约了标注花费的同时最大化视觉自动问答的模型性能.

模态虚构论及其发展现状

模态语义学关于可能世界的量化导致了对可能世界的本体论承诺,然而绝大多数人并不相信“可能世界”是存在的。罗森通过引入“故事前缀”的策略谋求既可以在语义学中量化可能世界但又不在本体论上承诺可能世界,并将这一策略称为模态虚构论。模态虚构论避免了模态实在论的本体论代价,但却引发了许多激烈的讨论,关于某些重要论题的讨论至今仍然在持续并不断推陈出新。

语义融合的革命文物图像以文标图算法研究

革命文物蕴含着丰富的红色文化和光荣历史,具有重要的研究价值和传承意义。但目前对革命文物的梳理和解读仍缺乏数字化的方法。基于革命文物的多模态数据组织形式,本文提出了一种全新的面向革命文物图文数据的领域化、标签化和结构化方法——“以文标图”,对革命文物进行数字化标注。针对革命文物图像标签化问题,构建多模态语义融合模型提取图像标签,使用多特征TF‑IWF方法提取文本标签,最后基于标签语义相似度对标签重排序,得到图像相关性高、信息粒度细的图像标签。针对革命文物图文数据结构化,构建图文模态融合模型帮助数据结构化,并将传统的基于序列标注的命名实体识别方法转化为属性名预测和属性值预测两部分。本文算法实现了图文模态的语义信息互补,提高了图文数据标签化和结构化的效果,为革命文物信息标注和解读提供了技术路径。

内涵与本质属性

在一种不拒绝内涵的意义理论中,内涵和本质属性应该如何得到充分而又完整的刻画呢?本文分析了弗雷格的含义-指称理论和卡尔纳普的内涵-外延理论对这个问题的回答,并指出在现今逐渐成为主流的蒙太古内涵语义,作为卡尔纳普意义理论的一个变种,并不能让内涵和本质属性得到充分而又完整的刻画。