跨模态检索研究方法综述

跨模态检索是多模态学习中的一个关键领域,其主要目标是寻找不同模态之间的语义关系,使其能在不同模态之间检索到具有相似语义特征的样本。随着深度神经网络发展,跨模态检索受到许多学者的关注,输入—输出查询的模态不同,其一致性比较仍然是一个难点。为此,首先介绍跨模态检索的相关概念,对基于实值表示、二进制表示等跨模态检索的常用方法进行总结,然后重点阐述深度学习模型在跨模态检索上的应用、跨模态检索主要数据集和评价指标,最后提出该领域的未来发展方向与现存主要难点与挑战,以期为跨模态检索的研究人员提供参考与借鉴。

深度学习跨模态图文检索研究综述

随着深度神经网络的兴起,多模态学习受到广泛关注。跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本。近年来,跨模态检索逐渐成为国内外学术界研究的前沿和热点,是信息检索领域未来发展的重要方向。首先,聚焦于深度学习跨模态图文检索研究的最新进展,对基于实值表示学习和基于二进制表示学习方法的发展动态进行了详细介绍,其中,基于实值表示的方法用于提升跨模态语义相关性,进而提高跨模态检索准确度,基于二进制表示学习的方法用于提升跨模态图文检索效率,减小存储空间;其次,总结了跨模态检索领域常用的公开数据集,对比了不同算法在不同数据集上的性能表现;此外,总结并分析了跨模态图文检索技术在公安、传媒及医学等领域的具体应用情况;最后,结合现有技术探讨了该领域的发展趋势及未来研究方向。

网络攻击检测的门控记忆网络方法

针对互联网大规模网络攻击检测难题,结合词向量特征表示与循环神经网络提出了一种门控记忆网络检测方法。首先将网络请求数据转换为低维实值向量序列表示,然后利用门控循环神经网络的长时记忆能力提取请求数据的特征,最后采用logistic回归分类器实现了对网络攻击的自动检测。在CSIC2010公开数据集上达到了98.5%的10折交叉验证F1分数。与传统方法相比较大幅度地提高了网络攻击检测的准确率和召回率。所提方法可自动检测网络攻击,具有良好的检测效果。