基于特征增强和语义相关性匹配的图像文本检索方法

为实现图像文本检索中图像与文本的精确语义连接,提出一种基于特征增强和语义相关性匹配(FESCM)的图像文本检索方法。首先,通过特征增强表示模块,引入多头自注意力机制增强图像区域特征和文本单词特征,以减少冗余信息对图像区域和文本单词对齐的干扰;其次,通过语义相关性匹配模块,不仅利用局部匹配捕获局部显著对象之间的对应相关性,还把图像背景信息融入图像全局特征,利用全局匹配实现精确的全局语义相关性;最后,通过局部匹配分数和全局匹配分数获取图像和文本的最终匹配分数。实验结果表明,基于FESCM的图像文本检索方法在Flickr8k和Flickr30k基准数据集上的召回率总值比扩展的视觉语义嵌入方法分别提升了5.7和7.5个百分点,在MS-COCO数据集比双流层次相似度推理方法提升了3.7个百分点。因此该方法可以有效提高图像文本检索的准确度,实现图像与文本的语义连接。

综合运用基于文本与基于内容技术检索Web图像

本文介绍了基于文本和基于内容的图像检索技术 ,并归纳分析了 Web图像的特点 ,指出综合运用文本和内容信息共同检索 Web图像 ,最后对建立

Folksonamy——基于文本的图像检索的新方向

Folksonamy是在Web 2．0的时代出现的一种新的资源组织方式,为基于文本的图像检索技术(TBIR)提供了新的发展方向。

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像,提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步:基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联,在选定图像库中通过语义相关性分析得到"种子"图像;接下来在图像扩展检索中,采用基于SIFT特征的相似图像检索,利用之前得到的"种子"图像作为查询条件,在网络图像库中进行扩展检索,并在结果集上根据两次检索的图像相似度进行排序输出,最终得到更加丰富有效的图像检索结果。为了证明算法的有效性,在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验,实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果,并且通过扩展算法可以得到更加丰富的检索结果。

基于文本的图像检索与基于内容的图像检索技术的比较研究

随着互联网的快速发展及各种数字化设备的普及,现代数字社会中的图像信息的数量在迅猛增长,图像信息的检索技术的研究得到了越来越多的关注.本文介绍了基于文本的图像检索技术与基于内容的图像检索技术,比较研究了这两种技术的不同的特点,指出综合运用TBIR和CBIR共同检索Web图像.

嵌入共识知识的因果图文检索方法

跨模态图像-文本检索是一项在给定一种模态(如文本)的查询条件下检索另一种模态(如图像)的任务.该任务的关键问题在于如何准确地测量图文两种模态之间的相似性,在减少视觉和语言这两种异构模态之间的视觉语义差异中起着至关重要的作用.传统的检索范式依靠深度学习提取图像和文本的特征表示,并将其映射到一个公共表示空间中进行匹配.然而,这种方法更多地依赖数据表面的相关关系,无法挖掘数据背后真实的因果关系,在高层语义信息的表示和可解释性方面面临着挑战.为此,在深度学习的基础上引入因果推断和嵌入共识知识,提出嵌入共识知识的因果图文检索方法.具体而言,将因果干预引入视觉特征提取模块,通过因果关系替换相关关系学习常识因果视觉特征,并与原始视觉特征进行连接得到最终的视觉特征表示.为解决本方法文本特征表示不足的问题,采用更强大的文本特征提取模型BERT(Bidirectional encoder representations from transformers,双向编码器表示),并且嵌入两种模态数据之间共享的共识知识对图文特征进行共识级的表示学习.在MS-COCO数据集以及MS-COCO到Flickr30k上的跨数据集实验,证明了本文方法可以在双向图文检索任务上实现召回率和平均召回率的一致性改进.

图像检索中的元数据分析

随着图像检索技术近几年来的快速发展,基于内容图像检索和基于文本图像检索两种技术的不和谐现象越来越明显;两者各自所对应的元数据集之间很难兼容;基于内容图像检索和图像元数据联系相对薄弱。本文正是针对这样一种不协调的情况,从用户对图像检索的需求出发,以图像元数据标准为平台,对基于内容图像检索和基于文本图像检索的融合问题做一探讨,这有利于解决图像检索中存在的有关兼容问题。

剪纸艺术多媒体交互平台中的图像检索技术研究

利用信息技术手段保护非物质文化遗产资源是目前研究的热点之一,图像检索技术的研究是构建剪纸艺术多媒体交互平台的关键环节。分析了基于文本的图像检索(TBIR)和基于内容的图像检索(CBIR)的思路及算法,并在剪纸艺术多媒体交互平台中进行了实现。深入对比了两者的优缺点,探讨了两种检索方式相结合的可能途径,在此基础上提出利用自动语义标注技术解决图像检索中存在的"语义鸿沟"问题,有利于提高图像检索的效率和准确率。

图像检索技术的历史、现状与研究进展

多媒体信息检索是当前计算机理论与技术的一个研究热点,图像检索是多媒体信息检索技术的一个主要组成部分。本文阐述了图像检索的历史、方法、成果和存在的困难等,并指出了未来的研究方向。

图像检索技术的研究与应用

分别阐述了基于文本图像检索和基于内容的图像检索技术的发展研究进程,分析了其各自的优缺点和发展方向,介绍了其当前应用的特点和应用领域,指出图像检索的研究发展方向。

Internet图像检索技术综述

对Internet图像检索的现状和发展趋势进行了全面的综合论述,对基于文本的图像检索、基于内容的图像检索和基于语义的图像检索3种流行的图像检索技术进行了深入的讨论.通过广泛收集资料,对几种技术进行了比较性研究.最后,提出了若干值得深入研究的方向.

图像检索研究进展

多媒体信息检索是当前计算机科学与信息技术的研究热点之一,图像检索是多媒体信息检索技术的一个重要组成部分。本文阐述了图像检索研究的历史、现状及未来的研究方向。

网络环境下的图像检索策略

概述了基于文本的图像检索和基于内容的图像检索关键技术,阐述了基于这两种图像检索技术下的不同的检索途径和检索策略,并从用户的角度对二者做了比较研究。

基于相似图片聚类的Web文本特征算法

对于图文不符的低质量网页,现有基于文本关键词的图片搜索引擎得到的结果相关性较差。针对该问题,将图片的相似性聚类信息和网页质量因素融入文本分析过程,提出一种基于相似图片聚类的Web文本特征算法。根据网页Page Rank值、关键词HTML标签类别和关键词词性类别的不同,分别赋予其不同的权重并代入计算公式,综合计算得到整个聚类中全部关键词的文本特征值,并通过设置阈值提取高相关文本。对随机选取的15个图片聚类进行实验分析,结果表明,与百度和谷歌目前所用图片搜索算法相比,该算法能够准确地找到反映图片内容的真实文本,提高图片检索的精度。

一种基于数据分析的字符切分方法

目的将数据分析技术应用到字符图像的切分中,有效地提高字符切分的正确率.方法通过分析文本行高、文本行间距、字符单元间距和字符单元宽度等数据,发现异常数据(噪声),分析产生异常的原因.通过拆分、合并区域消除异常来达到准确切分字符的目的.结果对大量的普通文本图像的试验,结果表明该方法是有效的.结论该方法能处理决大多数情况及一些特殊的情况,如一行文本被错误的切分为两行,字符图像在预处理过程中的断裂及粘连,等等,提高字符图像的切分正确率.