-
题名融合两级相似度的跨媒体图像文本检索
被引量：12
- 1
-
-
作者
李志欣
凌锋
张灿龙
马慧芳
-
机构
广西师范大学广西多源信息挖掘与安全重点实验室
西北师范大学计算机科学与工程学院
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2021年第2期268-274,共7页
-
基金
国家自然科学基金(No.61663004,No.61966004,No.61866004,No.61762078)
广西自然科学基金(No.2019GXNSFDA245018,No.2018GXNSFDA281009,No.2017GXNSFAA198365)。
-
文摘
为了更好地揭示图像和文本之间潜在的语义关联,提出了一种融合两级相似度的跨媒体检索方法,构建两个子网分别处理全局特征和局部特征,以获取图像和文本之间更好的语义匹配.图像分为整幅图像和一些图像区域两种表示,文本也分为整个语句和一些单词两种表示.设计一个两级对齐方法分别匹配图像和文本的全局和局部表示,并融合两种相似度学习跨媒体的完整表示.在MSCOCO和Flickr30K数据集上的实验结果表明,本文方法能够使图像和文本的语义匹配更准确,优于许多当前先进的跨媒体检索方法.
-
关键词
卷积神经网络
自注意力网络
两级相似度
跨媒体检索
-
Keywords
convolutional neural network
self-attention network
two level similarity
cross-media retrieval
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
