改进的基于直方图的图像检索方法

针对传统色彩直方图检索方法容易丢失空间信息的问题,提出了一种改进方法.该方法进一步分析了具有相同灰度的像素之间在空间分布上的差异,用其在图像中形成的主要连通区域的面积大小代替传统直方图中使用的数量总和指标,从而能够间接反映色彩的空间分布特征,提高检索质量,对纹理丰富的图像的检索效果尤其显著.

基于直方图的图像检索

本文描述了基于直方图的图像检索的一种方法。由于进行基于内容的图像搜索时,研究对象具有多样性和复杂性的特征,文中介绍的方法都有一定的局限性。本文只是着眼于图像分层和直方图的特征对图像进行检索,提高检索精度和速度。

基于互信息量均方差提取关键帧的激光视频图像检索研究

为保证激光视频图像检索结果中不存在重复性冗余图像,提出了基于互信息量均方差提取关键帧的激光视频图像检索方法。基于互信息量均方差的关键帧提取方法,以激光视频图像颜色的互信息量均方差最大化,为激光视频图像关键帧的聚类中心设置标准,以此聚类提取不重复的视频图像关键帧;通过基于关键帧的激光视频图像检索方法,将所提取关键帧作为激光视频图像检索的核心判断内容,提取与所需图像关键帧相似度显著的激光视频图像,完成激光视频图像检索。实验结果显示:此方法使用后,提取的激光视频图像关键帧冗余度仅有0.01,激光视频图像检索结果的MAP指标测试值高达0.98,检索结果中不存在重复性冗余图像。

基于细粒度特征的面料图像检索

面料图像检索对于纺织工厂面料库存和样品管理意义重大,但面料外观的多样性以及织物纹理的精细性,使得在面料检索时面料的特征提取较困难。该研究提出一种基于细粒度特征的面料图像检索算法。该算法使用坐标注意(coordinate attention,CA)模块来提取图像的精准位置信息,并将缩放系数法用于在宽度和高度方面整体缩放MobileNetV3的网络结构以减少模型参数数量,达到减少网络训练时间的目的。据此筛选出提取面料图像细粒度特征的最佳模型,在面料图像数据集(fabric image dataset,FID)上进行面料检索实验。结果表明,该算法有效提高了面料图像细粒度特征提取的准确性,检索精度达到91.82%,浮点运算数达到175.34 MB。检索精度比MobileNetV3原模型提高了13.49个百分点,同时减少了网络训练时间,速度提高了25.14%。该算法具有实际应用价值。

基于图像检索技术的受载煤样裂隙演化规律

在煤岩试样破坏过程中进行计算机断层(computed tomography,CT)扫描测试,可实现煤岩试样内部裂隙结构可视化表征,但是在加载过程中,因试样位移变形会引起CT扫描层定位误差,进而影响试验结果准确性。为了解决这一问题,利用图像相似性检索技术,检索出受载试样在不同应力水平下的最相似的CT图像,从而更加准确地描述受载煤样裂隙演化规律。研究结果表明:在三轴压缩破坏过程中,试样应力应变曲线分为5个明显的阶段,即初始压密阶段、线弹性变形阶段、塑性屈服阶段、峰值破坏阶段以及残余变形阶段。基于感知哈希算法的图像检索技术能够准确识别并定位不同应力阶段相似度最高的CT图像,且CT图像相似度随着轴向荷载不断增大而逐渐降低。在整个三轴加载过程中,CT图像的相似度绝对差均值表现出两个明显的变化阶段:缓慢增加阶段和快速增加阶段。分形维数可以定量描述裂隙演化,受载样品破坏过程中分形维数主要经历了缓慢减小、缓慢增大和快速增大3个阶段。

基于transformer的线条图图像检索

图像检索在计算机视觉中至关重要,在许多领域有着广泛的应用。但是在专利中,图片通常以线条图形式存在。由于线条图没有色彩和纹理信息,对线条图进行检索,仍面临巨大挑战。基于Transformer的线条图检索模型,充分利用Transformer长距离依赖建模的优点,有效的提取线条图全局特征。该模型将输入的线条图切分为n个Patch块,在Patch间通过自注意力机制提取特征,通过对特征进行处理得到100维的增强特征,最终根据图像特征的余弦相似度进行检索。通过实验表明与基于卷积神经网络的GoogleNet和ResNet50相比,基于transformer的模型能达到更好的效果。

基于增强视觉Transformer的哈希食品图像检索

作为食品计算的一个主要任务,食品图像检索近年来受到了广泛的关注。然而,食品图像检索面临着两个主要的挑战。首先,食品图像具有细粒度的特点,这意味着不同食品类别之间的视觉差异可能很小,这些差异只能在图像的局部区域中观察到。其次,食品图像包含丰富的语义信息,如食材、烹饪方式等,这些信息的提取和利用对于提高检索性能至关重要。为解决这些问题,本实验基于预训练的视觉Transformer(Vision Transformer,ViT)模型提出了一种增强ViT的哈希网络(enhanced ViT hash network,EVHNet)。针对食品图像的细粒度特点,EVHNet中设计了一个基于卷积结构的局部特征增强模块,使网络能够学习到更具有代表性的特征。为更好地利用食品图像的语义信息,EVHNet中还设计了一个聚合语义特征模块,根据类令牌特征来聚合食品图像中的语义信息。本实验提出的EVHNet模型在贪婪哈希、中心相似量化和深度极化网络3种流行的哈希图像检索框架下进行评估,并与AlexNet,ResNet50、ViT-B_32和ViT-B_164种主流网络模型进行比较,在Food-101、Vireo Food-172、UEC Food-2563个食品数据集上的实验结果表明,EVHNet模型在检索精度上的综合性能优于其他模型。

基于多尺度多直方图融合的红外图像增强映射方法

如何在尽可能地保留原始图像信息的同时,将红外探测器采集到的高动态范围(HDR)数据压缩成细节突出、对比度高、背景噪声小的可观测低动态范围图像,一直是红外技术研究的一个难点。针对此问题,提出了基于多尺度多直方图映射融合的红外图像增强映射方法,该方法首先采用全局线性变换和多尺度窗口的CLAHE对HDR红外图像进行分别映射,再基于局部显著度和动态范围特征自适应计算权重,完成多直方图映射结果融合以解决场景适应性问题,同时在权值计算中利用引导滤波优化融合权重,最后通过灰度域的高斯核函数实现自适应细节增强。实验结果表明,与其他方法相比,所提方法能有效增强图像对比度、丰富图像细节、降低背景噪声,且具有较强的场景适应能力。

基于自适应条件直方图均衡的红外图像细节增强算法

红外图像普遍存在对比度低、细节不清晰、边缘特征不突出等问题。针对这些问题,本文提出了一种自适应条件直方图均衡的红外图像细节增强算法。采用引导滤波将红外图像分解为背景层和细节层;然后采用自适应阈值邻域条件直方图结合对比度受限直方图均衡方式,对背景层图像进行灰度压缩和对比度增强;接着利用引导滤波的中间计算结果构造滤噪掩模,在对细节层进行增强的同时有效滤除背景噪声;最后将背景层和细节层处理结果进行线性融合得到细节增强后红外图像。主观评价和客观数据计算表明,本文提出的红外图像细节增强算法无须手动调节参数即可实现对各类场景的自适应,可以在抑制噪声的前提下,有效增强图像细节,并提升图像整体对比度水平。对算法进行了嵌入式移植,显示效果和资源占用表明算法具有很强的工程化应用水平。

改进直方图匹配和自适应均衡的水下图像增强

为了更有效地改善水下图像的颜色,进一步提升图像的对比度和清晰度,提出改进直方图匹配和自适应均衡的水下图像增强方法。以像素均值最大的通道图像的直方图作为基准,对各通道图像分别进行直方图匹配,校正水下图像的颜色偏差;充分利用HSI颜色空间中颜色分量与明度分量的独立性,对明度分量进行自适应的局部直方图均衡化,进一步提升图像的对比度和清晰度。主、客观的实验数据显示,相对于部分现有方法,本文方法对水下图像增强后的视觉效果更优,信息熵、平均梯度、水下图像质量指标(Underwater Image Quality Measures,UIQM)和结构相似性指数(Structural Similarity Index Measure,SSIM)的值更高。因此,本文方法对水下图像具有更有优的增强效果。

深度语义关联学习的基于图像视觉数据跨域检索

基于图像的视觉数据跨域检索任务旨在搜索与输入图像在语义上一致或外形上相似的跨域图像和三维模型数据,其面临的主要问题是处理跨域数据之间的模态异质性。现有方法通过构建公共特征空间,采用域适应算法或深度度量学习算法实现跨域特征的域对齐或语义对齐,其有效性仅在单一类型的跨域检索任务中进行了验证。提出一种基于深度语义关联学习的方法,以适用多种类型的基于图像的跨域视觉数据检索任务。首先,使用异构网络提取跨域数据的初始视觉特征;然后,通过构建公共特征空间实现初始特征映射,以便进行后续的域对齐和语义对齐;最后,通过域内鉴别性学习、域间一致性学习和跨域相关性学习,消除跨域数据特征之间的异质性,探索跨域数据特征之间的语义相关性,并为检索任务生成鲁棒且统一的特征表示。实验结果表明,该方法在TU-Berlin、IM2MN和MI3DOR数据集中的平均精度均值(mAP)分别达到0.448、0.689和0.874,明显优于对比方法。

ViTH:面向医学图像检索的视觉Transformer哈希改进算法

对海量的医学图像进行有效检索会给医学诊断和治疗带来极其重要的意义.哈希方法是图像检索领域中的一种主流方法,但在医学图像领域的应用相对较少.针对此,提出一种面向医学图像检索的视觉Transformer哈希改进算法.首先使用视觉Transformer模型作为基础的特征提取模块,其次在Transformer编码器的前、后端分别加入幂均值变换(Power-Mean Transformation,PMT),进一步增强模型的非线性性能,接着在Transformer编码器内部的多头注意力(Multi-Head Attention,MHA)层引入空间金字塔池化(Spatial Pyramid Pooling,SPP)形成多头空间金字塔池化注意力(Multi-Head Spatial Pyramid Pooling Attention,MHSPA)模块,该模块不仅可以提取全局的上下文特征,而且可以提取多尺度的局部上下文特征,并将不同尺度的特征进行融合.最后在输出幂均值变换层之后将提取到的特征分别通过两个多层感知机(Multi-Layer Perceptrons,MLPs),上分支的MLP用来预测图像的类别,下分支的MLP用来学习图像的哈希码.在损失函数部分,充分考虑了成对损失、量化损失、平衡损失以及分类损失来优化整个模型.在医学图像数据集ChestX-ray14和ISIC 2018上的实验结果表明,该研究所提出的算法相比于经典的哈希算法具有更好的检索效果.

基于特征增强和语义相关性匹配的图像文本检索方法

为实现图像文本检索中图像与文本的精确语义连接,提出一种基于特征增强和语义相关性匹配(FESCM)的图像文本检索方法。首先,通过特征增强表示模块,引入多头自注意力机制增强图像区域特征和文本单词特征,以减少冗余信息对图像区域和文本单词对齐的干扰;其次,通过语义相关性匹配模块,不仅利用局部匹配捕获局部显著对象之间的对应相关性,还把图像背景信息融入图像全局特征,利用全局匹配实现精确的全局语义相关性;最后,通过局部匹配分数和全局匹配分数获取图像和文本的最终匹配分数。实验结果表明,基于FESCM的图像文本检索方法在Flickr8k和Flickr30k基准数据集上的召回率总值比扩展的视觉语义嵌入方法分别提升了5.7和7.5个百分点,在MS-COCO数据集比双流层次相似度推理方法提升了3.7个百分点。因此该方法可以有效提高图像文本检索的准确度,实现图像与文本的语义连接。

结合多特征与线性判别分析的图像检索

卷积神经网络的全连接层特征缺乏对图像底层信息的描述,导致部分样本无法被成功检索。并且全连接层特征维度高,检索效率低下。针对这种情况,提出一种结合线性判别分析和多层特征的图像检索方法。该方法利用卷积神经网络提取卷积层和全连接层特征,并融合HSV特征,使用线性判别分析对融合特征降维。多层特征能增加图像的区分度,提升识别准确率。与其他算法的实验结果表明,该方法在检索精度和检索速度上有一定的提高。

基于深度学习的通用本地图像检索系统设计

随着大量数字图像数据的产生,高效准确的图像检索技术变得尤为重要。本文提出了一种结合深度学习和磁盘向量检索技术的通用本地图像检索系统,采用了深度神经网络模型作为特征提取的主要工具,通过深层网络结构捕获图像的高层语义信息,实现对图像内容的精细描述,旨在提升检索的准确性和效率,图像数据库的容量。由具体的实例数据验证说明了系统可用性,证明了其在实际应用中的广泛适用性,文中研究可对图像检索系统的进一步发展起到积极的参考作用。

基于深度哈希与注意力机制的花卉图像检索

针对当前的花卉识别方法在真实场景下容易受背景、光照等因素干扰导致识别准确率低、识别速度慢的问题,提出一种基于深度哈希与注意力机制相结合的图像检索方法用于花卉识别。上述方法在神经网络中融合了注意力机制用于降低背景干扰提升特征质量,并增加一个哈希层降低特征维度以提升检索效率,在图像预处理阶段采用自适应直方图均衡化降低光照干扰影响。实验结果表明,在更接近真实场景的自制花卉数据集True Flowers上,所提方法与传统神经网络方法相比平均检索精度提升了1.3%,检索速度提升了156倍,在公共数据集Oxford 17 Flowers上新方法的准确率要高于其它文献方法,由此证明了新方法的有效性和先进性。

面向图像检索的sgemv算法嵌入式优化技术

行人重识别主要解决跨摄像头跨场景下行人的识别与检索,是继人脸识别之后又一针对“人”的视觉任务,主要任务是针对一个特定的行人在多摄像头输入的大规模图片集合中找出相同的人。如何在靠近摄像头的边缘端把特定的行人从大量行人库中快速检索出来是行人重识别研究的一个重要问题,由于边缘端嵌入式平台算力有限,提出一种面向图像检索的sgemv算法嵌入式优化技术,在边缘端对sgemv算法采用循环展开、OpenMP、Neon等技术进行加速优化,在飞腾D2000嵌入式平台、银河麒麟系统进行实验验证。结果表明,优化后比优化前提升速度达5.2倍,方法有效地提升了边缘端图像检索效率。

面向遥感图像检索的无监督哈希融合方法

遥感图像数据规模庞大,且大部分数据没有标注,因此能够独立于数据标注的无监督哈希算法更适用于遥感图像检索。本文提出了一种针对无监督哈希的融合方法,首先,通过随机游走算法得到遥感图像预训练特征之间的流形相似度,并结合特征之间的余弦相似度构造相似指示矩阵,该矩阵可以度量无监督哈希码的有效性。然后,将哈希码的有效性作为节点,哈希码之间的排序相关性作为边来动态地构建关联图,并将图中的连通分量作为哈希码的组合,避免可能产生退化结果的哈希码组合,进而降低计算复杂度。最后,将哈希码的归一化有效性作为权重,对每种组合方案进行自适应的晚期融合,生成判别能力更强的哈希码。在2个数据集上的一系列实验表明,该方法能自适应地选择出合适的融合方案,有效提升融合哈希码的检索性能,并且在付出更小训练代价的情况下,获得接近穷举方法检索性能的融合方案。

基于知识图谱构建的面料图像多样化检索系统

为了提高纺织行业筛选面料的效率,满足用户多样化的检索需求,解决面料检索结果单一、耗时久、精度低等问题,通过知识建模将面料的文本信息结构化表示,构建面料图文数据集,导入图数据库中实现面料知识图谱可视化。基于知识图谱构建了面料图像多样化检索系统,该系统将用户提供的检索字段和知识图谱中的面料节点匹配,输出相应面料实体及其一阶近邻实体,实现了面料图像检索多样化。选取了50个文本关键词进行检索试验,结果表明:前8幅图像的查准率为80.7%,mAP值为0.852,平均多样性值为5.8,检索的平均响应时间仅为2.26 s,验证了该系统的有效性和可行性。

基于GPQ半监督神经网络的织物图像检索

为提升织物图像检索的准确性,采用改进的广义产品量化(generalized product quantization, GPQ)半监督神经网络实现弱纹理织物图像的检索。通过CLAHE方法增强织物图像纹理,加强底层纹理特征,以降低深度学习特征过拟合的概率。利用GPQ框架中产品量化、基于余弦相似性分类器和子空间极小最大熵损失计算,对提取的特征向量进行归一化,寻找最相似织物图像。实验中采用的织物数据集包含了12类不同纹理形式的织物试样,共计1 800幅图像。分别对比了基于颜色直方图的词袋模型、尺寸不变特征变换模型、最近邻和优化产品量化算法。结果表明:改进的GPQ半监督神经网络方法的平均精度均值达到89.47%,检索性能最优。该方法能批量、低成本检索出相似织物图像,提高织物图像检索的准确性。