在World Wide Web上检索图像和视频信息

提出了一种综合利用图像和视频的文本信息和基于内容的视觉特征进行WorldWideWeb上图像视频信息检索的原型系统 .在这个原型系统中 ,一个完整的Web上图像和视频信息的处理过程包括 :( 1)通过探索器从Web上自动收集信息 ;( 2 )在文本和视频特征两个域内同时进行分析 ;( 3 )图像和视频信息分类 ;( 4 )标定索引 ,进行快速检索 .实验结果表明 ,利用这个系统 。

一种利用颜色词检索图像的方法

在基于内容的图像检索中,图像的内容包括图像的低层视觉特征和高层语义。通常,前者是通过图像分析得到的数据,后者是用自然语言表示的概念词,但两者没有明显的联系。为了能够对彩色图像进行更有效的检索,试图将彩色图像的主色调数据与自然语言检索中的颜色词相结合,用于图像检索,并首先通过分析常用的颜色模型,提出了一种新的颜色模型和一种颜色相似度计算方法,然后在此基础上提出了一种提取图像主色调的方法,最后通过分析颜色命名系统,提出了一种利用颜色词检索彩色图像的方法,同时给出了初步实验结果。实验表明,这种方法在彩色图像检索中是有效的。

基于互信息量均方差提取关键帧的激光视频图像检索研究

为保证激光视频图像检索结果中不存在重复性冗余图像,提出了基于互信息量均方差提取关键帧的激光视频图像检索方法。基于互信息量均方差的关键帧提取方法,以激光视频图像颜色的互信息量均方差最大化,为激光视频图像关键帧的聚类中心设置标准,以此聚类提取不重复的视频图像关键帧;通过基于关键帧的激光视频图像检索方法,将所提取关键帧作为激光视频图像检索的核心判断内容,提取与所需图像关键帧相似度显著的激光视频图像,完成激光视频图像检索。实验结果显示:此方法使用后,提取的激光视频图像关键帧冗余度仅有0.01,激光视频图像检索结果的MAP指标测试值高达0.98,检索结果中不存在重复性冗余图像。

基于细粒度特征的面料图像检索

面料图像检索对于纺织工厂面料库存和样品管理意义重大,但面料外观的多样性以及织物纹理的精细性,使得在面料检索时面料的特征提取较困难。该研究提出一种基于细粒度特征的面料图像检索算法。该算法使用坐标注意(coordinate attention,CA)模块来提取图像的精准位置信息,并将缩放系数法用于在宽度和高度方面整体缩放MobileNetV3的网络结构以减少模型参数数量,达到减少网络训练时间的目的。据此筛选出提取面料图像细粒度特征的最佳模型,在面料图像数据集(fabric image dataset,FID)上进行面料检索实验。结果表明,该算法有效提高了面料图像细粒度特征提取的准确性,检索精度达到91.82%,浮点运算数达到175.34 MB。检索精度比MobileNetV3原模型提高了13.49个百分点,同时减少了网络训练时间,速度提高了25.14%。该算法具有实际应用价值。

融合全局聚合与局部挖掘的建筑图像检索

针对建筑图像易受到尺度变化和局部遮挡干扰而导致检索准确率低的问题,本文提出了一种融合全局聚合与局部挖掘的建筑图像检索网络。以ResNet50为骨干网络并在其后引入多尺度特征聚合的全局分支和注意力引导特征挖掘的局部分支,再通过正交融合策略高效整合双分支互补特征。其中,多尺度特征聚合模块结合混合空洞卷积和通道注意力对全局不同尺度的目标进行自适应加权聚合,增强网络对建筑多尺度显著特征的提取;注意力引导特征挖掘模块通过信息互补注意力对最显著特征标记擦除,实现对局部区域中潜在的细节信息的挖掘。所提方法在主流建筑数据集ROxf和RPar上的平均精度均值(mAP)指标分别达到了81.54%(M)、62.43%(H)和90.28%(M)、78.35%(H)。实验结果表明,该方法有效克服了尺度变化和局部遮挡的干扰,显著提升了建筑图像检索的准确率。

基于图像检索技术的受载煤样裂隙演化规律

在煤岩试样破坏过程中进行计算机断层(computed tomography,CT)扫描测试,可实现煤岩试样内部裂隙结构可视化表征,但是在加载过程中,因试样位移变形会引起CT扫描层定位误差,进而影响试验结果准确性。为了解决这一问题,利用图像相似性检索技术,检索出受载试样在不同应力水平下的最相似的CT图像,从而更加准确地描述受载煤样裂隙演化规律。研究结果表明:在三轴压缩破坏过程中,试样应力应变曲线分为5个明显的阶段,即初始压密阶段、线弹性变形阶段、塑性屈服阶段、峰值破坏阶段以及残余变形阶段。基于感知哈希算法的图像检索技术能够准确识别并定位不同应力阶段相似度最高的CT图像,且CT图像相似度随着轴向荷载不断增大而逐渐降低。在整个三轴加载过程中,CT图像的相似度绝对差均值表现出两个明显的变化阶段:缓慢增加阶段和快速增加阶段。分形维数可以定量描述裂隙演化,受载样品破坏过程中分形维数主要经历了缓慢减小、缓慢增大和快速增大3个阶段。

基于注意力机制和软匹配的多标签遥感图像检索方法

针对卷积神经网络对于多标签遥感图像特征提取能力弱、不能准确反映遥感图像多标签复杂性的问题,提出基于注意力机制和软匹配的多标签遥感图像检索方法。在特征提取阶段,以密集卷积神经网络模型为基础,在每个密集块(Dense Block)后添加CBAM(Convolutional Block Attention Module)层,实现对多标签图像区域特征提取。在模型训练时,利用区分硬匹配与软匹配的联合损失函数,学习图像的哈希编码表示。通过评估遥感图像哈希编码间的汉明距离,实现相似图像的检索。实验结果表明,所提方法在数据集NUS-WIDE和多标签遥感图像数据集DLRSD上与其他基于全局特征的深度哈希方法相比,明显提升了检索准确率。

基于transformer的线条图图像检索

图像检索在计算机视觉中至关重要,在许多领域有着广泛的应用。但是在专利中,图片通常以线条图形式存在。由于线条图没有色彩和纹理信息,对线条图进行检索,仍面临巨大挑战。基于Transformer的线条图检索模型,充分利用Transformer长距离依赖建模的优点,有效的提取线条图全局特征。该模型将输入的线条图切分为n个Patch块,在Patch间通过自注意力机制提取特征,通过对特征进行处理得到100维的增强特征,最终根据图像特征的余弦相似度进行检索。通过实验表明与基于卷积神经网络的GoogleNet和ResNet50相比,基于transformer的模型能达到更好的效果。

基于特征增强和语义相关性匹配的图像文本检索方法

为实现图像文本检索中图像与文本的精确语义连接,提出一种基于特征增强和语义相关性匹配(FESCM)的图像文本检索方法。首先,通过特征增强表示模块,引入多头自注意力机制增强图像区域特征和文本单词特征,以减少冗余信息对图像区域和文本单词对齐的干扰;其次,通过语义相关性匹配模块,不仅利用局部匹配捕获局部显著对象之间的对应相关性,还把图像背景信息融入图像全局特征,利用全局匹配实现精确的全局语义相关性;最后,通过局部匹配分数和全局匹配分数获取图像和文本的最终匹配分数。实验结果表明,基于FESCM的图像文本检索方法在Flickr8k和Flickr30k基准数据集上的召回率总值比扩展的视觉语义嵌入方法分别提升了5.7和7.5个百分点,在MS-COCO数据集比双流层次相似度推理方法提升了3.7个百分点。因此该方法可以有效提高图像文本检索的准确度,实现图像与文本的语义连接。

基于深度哈希与注意力机制的花卉图像检索

针对当前的花卉识别方法在真实场景下容易受背景、光照等因素干扰导致识别准确率低、识别速度慢的问题,提出一种基于深度哈希与注意力机制相结合的图像检索方法用于花卉识别。上述方法在神经网络中融合了注意力机制用于降低背景干扰提升特征质量,并增加一个哈希层降低特征维度以提升检索效率,在图像预处理阶段采用自适应直方图均衡化降低光照干扰影响。实验结果表明,在更接近真实场景的自制花卉数据集True Flowers上,所提方法与传统神经网络方法相比平均检索精度提升了1.3%,检索速度提升了156倍,在公共数据集Oxford 17 Flowers上新方法的准确率要高于其它文献方法,由此证明了新方法的有效性和先进性。

面向图像检索的sgemv算法嵌入式优化技术

行人重识别主要解决跨摄像头跨场景下行人的识别与检索,是继人脸识别之后又一针对“人”的视觉任务,主要任务是针对一个特定的行人在多摄像头输入的大规模图片集合中找出相同的人。如何在靠近摄像头的边缘端把特定的行人从大量行人库中快速检索出来是行人重识别研究的一个重要问题,由于边缘端嵌入式平台算力有限,提出一种面向图像检索的sgemv算法嵌入式优化技术,在边缘端对sgemv算法采用循环展开、OpenMP、Neon等技术进行加速优化,在飞腾D2000嵌入式平台、银河麒麟系统进行实验验证。结果表明,优化后比优化前提升速度达5.2倍,方法有效地提升了边缘端图像检索效率。

基于增强视觉Transformer的哈希食品图像检索

作为食品计算的一个主要任务,食品图像检索近年来受到了广泛的关注。然而,食品图像检索面临着两个主要的挑战。首先,食品图像具有细粒度的特点,这意味着不同食品类别之间的视觉差异可能很小,这些差异只能在图像的局部区域中观察到。其次,食品图像包含丰富的语义信息,如食材、烹饪方式等,这些信息的提取和利用对于提高检索性能至关重要。为解决这些问题,本实验基于预训练的视觉Transformer(Vision Transformer,ViT)模型提出了一种增强ViT的哈希网络(enhanced ViT hash network,EVHNet)。针对食品图像的细粒度特点,EVHNet中设计了一个基于卷积结构的局部特征增强模块,使网络能够学习到更具有代表性的特征。为更好地利用食品图像的语义信息,EVHNet中还设计了一个聚合语义特征模块,根据类令牌特征来聚合食品图像中的语义信息。本实验提出的EVHNet模型在贪婪哈希、中心相似量化和深度极化网络3种流行的哈希图像检索框架下进行评估,并与AlexNet,ResNet50、ViT-B_32和ViT-B_164种主流网络模型进行比较,在Food-101、Vireo Food-172、UEC Food-2563个食品数据集上的实验结果表明,EVHNet模型在检索精度上的综合性能优于其他模型。

基于检索增强的噪声标签细粒度图像分类方法

在互联网音视频内容分析的应用中,快速建立低标注代价的图像细粒度分类方法具有重要意义。由于类别间具有相似的外观特征,并且存在光照、视角、背景遮挡等干扰因素,细粒度图像分类面临类别数量多、类间差异性小,以及标注代价高、标签信噪比低等挑战。为改善在带有噪声标签的数据环境下海量图像细粒度分类的效果,提出一种基于检索增强的图像细粒度分类方法,在迭代清洗噪声标签的基础上,利用检索范式通过简单类别标注获取更具表达性的特征,提升分类器的识别能力,并在包含1 500个细粒度的食物类别和超过50万张图像的数据集上取得良好的效果。

ViTH:面向医学图像检索的视觉Transformer哈希改进算法

对海量的医学图像进行有效检索会给医学诊断和治疗带来极其重要的意义.哈希方法是图像检索领域中的一种主流方法,但在医学图像领域的应用相对较少.针对此,提出一种面向医学图像检索的视觉Transformer哈希改进算法.首先使用视觉Transformer模型作为基础的特征提取模块,其次在Transformer编码器的前、后端分别加入幂均值变换(Power-Mean Transformation,PMT),进一步增强模型的非线性性能,接着在Transformer编码器内部的多头注意力(Multi-Head Attention,MHA)层引入空间金字塔池化(Spatial Pyramid Pooling,SPP)形成多头空间金字塔池化注意力(Multi-Head Spatial Pyramid Pooling Attention,MHSPA)模块,该模块不仅可以提取全局的上下文特征,而且可以提取多尺度的局部上下文特征,并将不同尺度的特征进行融合.最后在输出幂均值变换层之后将提取到的特征分别通过两个多层感知机(Multi-Layer Perceptrons,MLPs),上分支的MLP用来预测图像的类别,下分支的MLP用来学习图像的哈希码.在损失函数部分,充分考虑了成对损失、量化损失、平衡损失以及分类损失来优化整个模型.在医学图像数据集ChestX-ray14和ISIC 2018上的实验结果表明,该研究所提出的算法相比于经典的哈希算法具有更好的检索效果.

基于多粒度匹配的文本引导服装图像检索

文本引导的图像检索是将查询图像与文本条件集成为多模态查询。现有的方法通过构建更先进的细粒度度量学习来提升性能,但这可能会使模型在文本条件不够精确的情况下对目标图像过拟合,并使得检索结果特征单调。针对该问题,提出了基于特征增强和多粒度匹配的文本引导的服装图像检索方法。首先,根据目标特征的分布,产生服从正态分布的噪声,使其产生小幅度的类内抖动;然后,根据目标特征的波动对增强特征施加约束,波动越大,则对增强特征的惩罚越大,由此得到粗粒度匹配损失;最后,优化学习策略,使用随着训练迭代不断衰减的动态权重将粗粒度与细粒度损失进行统一。通过该方法降低模型对潜在目标图像的排斥,提高特征识别的多样化。在两个公开服装数据集FashionIQ和Shoes上的大量实验表明,该方法能够提高召回率,并且检索结果更丰富。

基于深度旋转不变特征图哈希的遥感图像检索

哈希技术采用紧致哈希码表示数据,因其高效性被广泛应用于大规模遥感图像检索任务。受卫星观测影响,同一地物在不同遥感图像中呈现不同角度,导致检索性能下降。为解决该问题,该文提出深度特征图旋转不变哈希方法(DRIFMH),包括特征提取、哈希量化2个模块。特征提取模块对特征图进行不同角度旋转,提出特征一致性损失,使不同旋转角度的图像特征保持一致,克服旋转带来的不利影响。哈希量化模块对图像特征进行二值量化,生成哈希码,引入分类交叉熵损失,提升哈希码的鉴别能力。该文选取经典遥感图像数据集AID、UCMD作为实验数据集,将DRIFMH与多个哈希方法进行实验对比,结果表明DRIFMH能够生成旋转不变的遥感图像特征,提升大规模遥感图像检索性能。

具有性能感知排序的深度监督哈希用于多标签图像检索

现实生活中的图像大多具有多种标签属性。对于多标签图像,理想情况下检索到的图像应该按照与查询图像相似的程度降序排列,即与查询图像共享的标签数量依次递减。然而,大多数哈希算法主要针对单标签图像检索而设计,而且现有用于多标签图像检索的深度监督哈希算法忽略了哈希码的排序性能且没有充分地利用标签类别信息。针对此问题,提出了一种具有性能感知排序的深度监督哈希方法(deep supervised hashing with performance-aware ranking,PRDH),它能够有效地感知和优化模型的性能,改善多标签图像检索的效果。在哈希学习部分,设计了一种排序优化损失函数,以改善哈希码的排序性能;同时,还加入了一种空间划分损失函数,将具有不同数量的共享标签的图像划分到相应的汉明空间中;为了充分地利用标签信息,还鲜明地提出将预测标签用于检索阶段的汉明距离计算,并设计了一种用于多标签分类的损失函数,以实现对汉明距离排序的监督及优化。在三个多标签基准数据集上进行的大量检索实验结果表明,PRDH的各项评估指标均优于现有先进的深度哈希方法。

面向遥感图像检索的自适应样本类型判别研究

遥感图像内容复杂,类别丰富,存在较多难以判别的图像,导致遥感图像检索性能不佳。为此,提出自适应样本类型判别方法(ASTD),将样本类型动态地分为简单样本、普通样本和困难样本,网络依据样本的类型进行不同程度的学习,从而有效提高特征的判别能力。设计了一个SHash网络,该网络以Swin Transformer为骨干,在网络的最后加上哈希层,该网络能够在全局上捕获图像的语义信息,提高特征的表达能力和检索效率;为了让同一类别图像更加聚集,并更好地区分不同类别的图像,给每个类别定义一个哈希中心,规定输入样本自身类别所对应的中心为该样本的正中心,其他中心为该样本的负中心;提出样本类型判别损失STDLoss,根据样本与正负中心的距离关系自适应判别样本的类型,从而提高网络对各类型样本的学习能力。在UC-Merced和AID两个遥感数据集上与DSH、CSQ、SHC等五种哈希方法进行了比较,实验结果表明,基于ASTD方法训练的网络可以更好地学习样本的特征,提高检索性能。

基于深度哈希与VP-Tree的快速图像检索方法

针对高维特征图像检索中的精度和速度挑战,提出了一种结合深度哈希技术和VP-Tree索引的快速图像检索方法.该方法首先设计了一个轻量级的深度卷积编码网络,并在网络中引入了卷积块注意力模块和空间金字塔池化技术,以增强特征提取能力;然后通过该网络模型将图像数据集中每幅图像的高维特征转化为二进制哈希编码,并与其对应的图像编号组成一个哈希表;接着使用所有图像的哈希编码来构建一个VP-Tree,在执行图像检索时将使用待查询图像的哈希编码从VP-Tree中快速找到与其距离最近的节点;最后根据这些节点的哈希值从哈希表中取出对应的结果图像.实验结果表明,所提方法在保持高检索精度的同时显著提升了检索速度(在MNIST、FASHION-MNIST和CIFAR-10上的检索速度分别提高了24.17、8.61和4.01倍).

基于Transformer网络特征融合的色纺织物图像检索

针对单一特征难以准确描述色纺织物图像颜色和纹理的复杂性和各向异性,提出了基于Transformer网络特征融合的色纺织物图像检索算法。首先,利用卷积神经网络模型提取色纺织物图像的高级语义信息;然后,利用Transformer网络融合图像的三阶颜色矩特征,充分利用色纺织物图像的“高级语义信息”和“浅层图像信息”的互补性进行图像检索。采用了14种不同类型的色纺织物样本图像进行检索,该系统的平均Top-10查全率与准确率mAP值分别达到了98.35%和89.25%,相较于融合注意力机制的单一网络模型,检索Top-10的查全率和mAP值均有提升。