面向世博应用的跨语言及跨媒体搜索云计算平台架构

本文通过对云计算模式的研究和探讨，提出了面向世博信息服务应用的跨语言和跨媒体搜索服务平台体系架构。架构模型从基础资源数据层、基础能力层、业务实现层、用户界面层给出了目前可实现的架构，并在此基础上，给出了应用是实例。

一种基于对抗学习和语义相似度的社交网络跨媒体搜索方法

社交网络蕴含着丰富的多媒体信息,如何实现社交网络跨媒体信息的搜索已成为研究热点.基于深度学习的单一模态语义特征提取和学习在社交网络信息搜索上取得了较好的效果.在跨模态信息搜索时不同模态的数据特征不能直接比较,因此不同模态之间的语义鸿沟是亟待解决的关键问题.针对上述问题,本文提出了一种基于对抗学习和语义相似度的跨媒体搜索方法,实现了文本和图像之间的相互匹配、排序和搜索.该方法使用对抗学习方法框架构建训练特征映射网络和模态判别网络,其中特征映射网络使用多维语义分布向量将不同模态的数据映射到同一语义空间中,使得相同语义下的不同模态数据在该空间距离小,不同语义下相同模态数据距离大.使用语义分布及相似度作为特征映射网训练依据,模态判别网络负责判定空间中不同数据的模态.基于对抗学习交替训练两个网络,使得特征映射网络得到的数据和原数据语义一致,并消除模态特性,最终在同一空间内使用相似度来排序并得到搜索结果.实验结果表明本文提出的方法在文本和图像的相互搜索的map值比同类方法高,并验证了该方法在社交网络安全话题数据上的有效性.

基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习

跨媒体数据搜索中不同媒体类型的数据间存在特征异构和语义鸿沟问题,且社交网络数据往往呈现语义稀疏性、多样性等特性.针对上述问题,文中提出基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习模型,获取统一的跨媒体语义表示,应用于社交网络跨媒体搜索.首先,构建图像-单词关联图,并基于图随机游走策略挖掘图像和文本单词间直接语义关联和隐含语义关联,实现语义关系扩展.然后,构建基于跨媒体协同注意力机制的跨媒体细粒度特征学习网络,通过互相指导的跨媒体注意力机制协同学习图像和文本的细粒度语义关联.最后,构建跨媒体对抗哈希网络,联合跨媒体细粒度语义关联学习和对抗哈希学习,获取高效紧凑的跨媒体统一哈希语义表示.实验表明,文中模型在两个公开标准跨媒体数据集上均取得较优的跨媒体搜索性能.

基于细粒度语义推理的跨媒体双路对抗哈希学习模型

跨媒体哈希因其优越的搜索效率和较低的存储成本而在跨媒体搜索任务中受到广泛关注。然而,现有方法无法充分保持多模态数据的高阶语义相关性和多标签语义信息,从而导致学习到的哈希编码的质量下降。为了解决上述问题,提出了基于细粒度语义推理的跨媒体双路对抗哈希(Semantic Reasoning Based Cross-media Dual-way Adversarial Hashing Learning Model, SDAH)学习模型,通过最大程度地挖掘不同模态间的细粒度语义关联,产生紧凑且一致的跨媒体统一高效哈希语义表示。首先,提出了基于跨媒体协同注意力机制的细粒度跨媒体语义关联学习和推理方法,基于跨媒体注意力机制协同学习图像和文本的细粒度隐含语义关联,获取图像和文本的显著性语义推理特征;然后,建立了跨媒体双路对抗哈希网络,通过联合学习模态内和模态间的语义相似性约束,并通过双路对抗学习机制更好地对齐不同模态哈希码的语义分布,产生更高质量和更具判别性的跨媒体统一哈希表示,促进了跨媒体语义融合,提升了跨媒体搜索性能。在两个公开数据集上与现有方法的对比实验结果验证了所提方法在各种跨媒体搜索场景下的优越性能。