深度双模态源域对称迁移学习的跨模态检索

基于深度网络的跨模态检索经常面临交叉训练数据不足的挑战,这限制了训练效果并容易导致过拟合。迁移学习在源域中训练数据的知识迁移学习到目标域中,能有效解决训练数据不足的问题。然而,现有的大部分迁移学习方法致力于将知识从单模态(如图像)源域迁移到多模态(如图像和文本)目标域,而如果源域中已存在多种模态信息,这样的非对称迁移会忽略源域中包含的潜在的模态间语义信息;同时这些方法不能很好地提取源域与目标域中相同模态的相似性,进而减小域差异。因此,提出一种深度双模态源域对称迁移学习的跨模态检索(DBSTL)方法。该方法旨在实现从双模态源域到跨模态目标域的知识迁移,并获得跨模态数据的公共表示。DBSTL由模态对称迁移子网和语义一致性学习子网构成。模态对称迁移子网采用混合对称结构,在知识迁移过程中,使模态间信息具有更高的一致性,并能减小源域与目标域间的差异;而语义一致性学习子网中,所有模态共享相同的公共表示层,并在目标域的监督信息指导下保证跨模态语义的一致性。实验结果表明,在Pascal、NUS-WIDE-10k和Wikipedia数据集上,所提方法的平均精度均值(mAP)较对比方法得到的最好结果分别提升了大约8.4、0.4和1.2个百分点。DBSTL充分利用了双模态源域的潜在信息进行对称迁移学习,在监督信息的指导下保证了模态间语义的一致性,并提高了公共表示空间中图像文本分布的相似性。

自注意力相似度迁移跨模态哈希网络

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学习的方法利用实值空间相似度引导哈希码的生成。在3个常用的数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上与深度跨模态哈希(DCMH)、成对关系引导的深度哈希(PRDH)、跨模态汉明哈希(CMHH)等优秀方法进行对比实验,结果显示哈希码长度为64 bit的条件下,所提模型在3个数据集图像检索文本任务的平均精确度均值(MAP)达到72.3%,文本检索图像任务的MAP达到70%,高于对比方法。

泛化迁移深度学习下的跨模态图像行人识别算法

针对由于受光照条件变化、行人身高差异等影响,致使监控视频图像在不同时刻的成像存在较大的跨模态差异问题,为准确识别跨模态图像中的行人,提出基于泛化迁移深度学习的跨模态图像行人识别算法。通过循环生成对抗网络(Cyele GAN:Cycle Generative Adversarial Network)形成跨模态图像,采用单目标图像处理对基准图分割处理,得到人体候选区域,在匹配图中搜索和其匹配的区域,得到人体区域的视差,通过视差提取人体区域的深度和透视特征。将注意力机制和跨模态行人识别相结合,分析两种不同类型图像的差异,将两个子空间映射到同一个特征空间,同时引入泛化迁移深度学习算法对损失函数度量学习,自动筛选跨模态图像的行人特征,最终通过模态融合模块将筛选的特征融合处理完成行人识别。实验结果表明,所提算法可以快速、准确地提取不同模态图像中的行人,识别效果较好。

图像情景文本融合的多模态模型性能策略研究——以跨模态检索为例

针对多模态模型中基于视觉区域特征提取方法表征能力有限的问题,文章提出了一种基于图像情景文本融合的多模态特征提取方法,并构建了图像情景文本融合的视觉语言多模态网络模型,简称OCR-ViLT,通过引入预训练加微调的迁移学习方案,降低模型训练成本。并经过大量实验探究模型的输入策略,文章建议,在跨模态检索任务中,采取图文比例2:3能够获得最优的召回率。

基于标记增强的离散跨模态哈希方法

跨模态哈希通过将不同模态的数据映射为同一空间中更紧凑的哈希码,可以大大提升跨模态检索的效率.然而现有跨模态哈希方法通常使用二元相似性矩阵,不能准确描述样本间的语义相似关系,并且存在平方复杂度问题.为了更好地挖掘数据间的语义相似关系,提出了一个基于标记增强的离散跨模态哈希方法.首先借助迁移学习的先验知识生成样本的标记分布,然后通过标记分布构建描述度更强的语义相似性矩阵,再通过一个高效的离散优化算法生成哈希码,避免了量化误差问题.最后,在两个基准数据集上的实验结果验证了所提方法在跨模态检索任务上的有效性.

共振攻击:揭示跨模态模型CLIP的脆弱性

视觉-语言跨模态领域已广泛采用预训练模型进行建模和分析.特别是OpenAI最近提出了一种称为CLIP(Contrastive Language-Image Pre-training)的视觉-语言对比式预训练模型.但是,CLIP使用的跨模态预训练方法可能会使不受信任的模型在不同模态下隐藏后门.这种后门可能在用户下载预训练模型并在下游任务上对其进行微调时构成安全威胁.本研究提出了一种新型跨模态后门攻击方法,即共振攻击.共振攻击能使跨模态嵌入表征空间易受到隐藏在视觉或文本输入中的触发器扰动,导致模型失效.共振攻击不依赖于对下游任务的先验知识,通过在对比学习预训练阶段后增加共振学习预训练阶段,可以将触发器植入预训练的CLIP模型中.被攻击的模型只有在触发器使用时才会失效,否则仍可正常运行.在三个下游任务的实验中,共振攻击均获得了30%以上的攻击性能提升,并取得了低于10%的隐蔽性能指数.

面向视障患者的跨模态环境感知与导航系统

传统的盲人室内辅助导航设备包括电子导盲犬、智能盲杖等,通过集成多种传感器,实时监测环境信息,并为视障患者提供导航指引。但是,该类导航设备无法与周围环境产生互动,也存在使用不便等诸多问题。因此,提出一种基于头相关传输函数的跨模态导航系统,将RGB-D传感器采集到的视觉信息通过头相关传输函数转化为听觉信息,为视障患者提供实时环境感知和路径指引功能,该系统由可穿戴设备组成,便于患者佩戴和使用。实验结果表明,该系统可以为患者提供精准导航服务。

基于跨模态信息迁移的发音想象脑电信号分类方法

针对基于发音想象的脑机接口样本数据数量小、数据噪声大,导致模型泛化能力差的问题,提出一种基于跨模态信息迁移的发音想象脑电信号分类方法。该方法通过知识蒸馏,将音频模态信息迁移到脑电模态,从而提高模型的泛化能力;通过多尺度学习来提高模型性能。在数据集Kara One中,两个二分类任务的AUC分别为68.28%和69.53%。实验结果表明,该方法有效地提高了模型的性能。

基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注

图像属性标注是一种更细化的图像标注,它能缩小认知与特征间“语义鸿沟”.现有研究多基于单特征且未挖掘属性蕴含的深层语义,故无法准确刻画图像内容.改进有效区域基因选择算法融合图像特征,并设计迁移学习策略,实现材质属性标注;基于判别相关分析挖掘特征间跨模态语义,以改进相对属性模型,标注材质属性蕴含的深层语义-实用属性.实验表明:材质属性标注精准度达63.11%,较最强基线提升1.97%;实用属性标注精准度达59.15%,较最强基线提升2.85%;层次化的标注结果能全面刻画图像内容.

基于迁移学习的图像检索算法

近年来,随着互联网的发展和智能设备的普及,网络上存储的图片数量呈现爆发式增长,同时,不同类型的社交网络、媒体的用户数量也连续增长。在这种情况下,网络上的多媒体数据类型也发生了变革,在包含其本身携带的视觉信息的同时,也包含用户为其设定的标签信息、文本信息。在这种多模态信息杂糅的环境下,如何向用户提供快速准确的图像检索结果,是多媒体检索领域的一个新挑战。文中提出了一种基于迁移学习的图像检索算法,在对图像的视觉信息进行学习的同时,也对图像的文本信息进行学习,并将学习到的结果迁移到视觉信息领域,进行跨模态信息融合,进而产生包含跨模态信息的图像特征。经实验证明,所提算法能够实现更优的图像检索结果。

联觉—移觉—通感:学科归属与通感的构成维度

联觉是人脑天生的一项特殊功能,它主要发生在生理层,主要是生理学或脑科学研究的对象;移觉主要是指人的实时心理出现的跨感官刺激——反应现象。它是人类后天社会心理的感觉自发行为,主要发生在心理层,属于心理学研究的领域;通感是人类言语行为的自觉建构,它主要发生在语言层。通感形成是一个动态的过程,它主要包括生理联觉、心理移觉和语言通感三个维度。

成对相似度迁移哈希用于无监督跨模态检索

哈希编码能够节省存储空间、提高检索效率,已引起广泛关注。提出一种成对相似度迁移哈希方法(pairwise similarity transferring hash,PSTH)用于无监督跨模态检索。对于每个模态,PSTH将可靠的模态内成对相似度迁移到汉明空间,使哈希编码继承原始空间的成对相似度,从而学习各模态数据对应的哈希编码;此外,PSTH重建相似度值而不是相似度关系,使得训练过程可以分批进行;与此同时,为缩小不同模态间的语义鸿沟,PSTH最大化模态间成对相似度。在三个公开数据集上进行了大量对比实验,PSTH取得了SOTA的效果。