无监督随机优化乘积量化图像检索模型

随着互联网图像的增多,线性复杂度的最近邻图像检索已很难满足大规模图像检索的性能需求.为了在大规模图像检索任务下保证精度的同时减少检索的时间,提出一种基于乘积量化的近似最近邻图像检索模型.首先通过卷积神经网络初步提取图像特征.然后通过卷积注意力模块对特征进行处理得到增强后的图像特征.接着根据图像本身的语义结构对神经网络进行训练,再通过训练好的神经网络提取图像的语义特征,并使用随机优化乘积量化方法对语义特征进行处理,最终得到与输入图像相似的检索结果最后,通过在大规模数据集NUS-WIDE上与其他模型进行比较分析,实验结果表明所提模型在大数据图像检索时可以提高检索精度,同时降低检索时间.

面向图像检索的累加乘积量化方法研究

针对经典的乘积量化方法易受数据相互依赖关系限制的问题,提出一种累加乘积量化方法。对高维特征向量进行正交分解,得到相互独立的特征向量子空间,依据压缩效率要求,对各特征向量子空间进行进一步分解,得到相互不独立的特征向量次子空间,对次子空间采用累加量化方法进行编码,对子空间采用乘积量化方法进行编码,在保障压缩效率的前提下降低数据相互依赖关系对量化精度的影响。实验结果表明,与经典的乘积量化方法和笛卡尔K-均值方法相比,该方法的编码误差较小,在图像检索应用中的查全率较高。

基于乘积量化的近似最近邻算法

多媒体数据平台难以应付海量数据高效索引和搜索数据的问题,提出了一种解决近似最近邻问题的乘积量化算法。首先,根据海量数据索引和搜索问题的特性,采用近似最近邻思想建立数学模型;然后通过将数据的高维特征分段进行单独k最近邻编码得到数据的压缩编码;其次,根据编码方式建立解码器使得压缩编码可以近似地还原成原始特征。最后利用非对称距离计算的方式,计算出原始向量与压缩编码的距离,根据该距离来判断数据之间的相似程度达到搜索的目的。理论分析表明,与传统的基于局部哈希敏感的数据搜索算法相比,采用非对称距离计算的乘积量化算法在同等时间和召回率的条件下,搜索速度提高了约1 000倍。

基于簇内乘积量化的最近邻检索方法

本文针对大规模高维数据近邻检索中的瓶颈问题,提出基于向量量化的一种检索方法—簇内乘积量化树方法.该方法运用向量量化和乘积量化的多层树状结构高效表征大规模高维数据集,与现有方法相比降低了索引表空桶率;其次提出基于贪心队列的近邻簇筛选方法减小了计算复杂度,加快了近邻检索速度;最后提出面量化方法用于近似计算候选数据集向量与查询向量间的距离,与点量化和线量化方法相比量化误差更小,提高了近邻查询准确率.本文提出的簇内乘积量化树算法在算子Sift和Gist描述的大规模高维数据集上与乘积量化树技术相比,首次召回准确率提高了57.7%,索引表空桶率降低幅度在50%以上,与局部优化乘积量化技术相比,查全率高达97%,而查询时间却仅需原来的1/9.实验结果表明本文提出的基于簇内乘积量化的近邻方法提升了近邻检索性能,为大规模高维数据集近邻检索提供了理论支持.

基于重心坐标乘积量化的图像检索方法

为减少在大范围图像检索过程中因硬编码导致的量化误差,提出一种基于重心坐标的软编码方法,利用乘积量化将高维特征空间分解成低维特征子空间的笛卡尔积的形式,分别进行量化,以重心坐标的形式进行稀疏表示,最小化产生的量化误差,使结果表示更接近于实际中的原始数据。通过在3个公开可得的图像数据集上的实验,验证了提出方法可有效提高ANN查询的精度。

基于堆叠乘积量化的图像特征反馈性检索仿真

采用当前方法检索图像中存在的特征时,检索特征所用的时间较长,检索得到的特征数量较少,存在检索效率低和召回率低的问题。提出基于堆叠乘积量化的图像特征反馈性检索方法,结合乘积量化算法和加法量化算法得到堆叠乘积量化算法,通过堆叠乘积量化算法对图像进行降维处理,去除图像中存在的冗余信息和无用数据。在亮度、色彩和梯度三个方面对降维处理后的图像进行检索,获得图像的亮度特征、色彩特征和梯度特征,实现图像特征的反馈性检索。仿真结果表明,所提方法的检索效率高、召回率高。

基于乘积量化编码器的时间序列数据降维

时间序列数据维数高,导致在原始时间序列上执行数据挖掘任务效率很低。因此,在对时间序列执行不同的数据挖掘任务之前,需要对时间序列降维。本文基于乘积量化(ProductQuantization)编码器设计编码以及解码,通过选择时间序列中的重要点来将时间序列投影到低维空间,该降维方法能对时序数据进行自适应,并能保留数据集上的相关信息,从而对信息进行泛化。最后,为验证本文所提数据降维方法的有效,在两种时间序列数据集上进行实验。实验结果表明:本文方法在对数据进行高度压缩的同时保留更多特征信息。

哈夫曼编码乘积量化的图像哈希检索方法

目的基于哈希编码的检索方法是图像检索领域中的经典方法。其原理是将原始空间中相似的图片经哈希函数投影、量化后,在汉明空间中得到相近的哈希码。此类方法一般包括两个过程:投影和量化。投影过程大多采用主成分分析法对原始数据进行降维,但不同方法的量化过程差异较大。对于信息量不均衡的数据,传统的图像哈希检索方法采用等长固定编码位数量化的方式,导致出现低编码效率和低量化精度等问题。为此,本文提出基于哈夫曼编码的乘积量化方法。方法首先,利用乘积量化法对降维后的数据进行量化,以便较好地保持数据在原始空间中的分布情况。然后,采用子空间方差作为衡量信息量的标准,并以此作为编码位数分配的依据。最后,借助于哈夫曼树,给方差大的子空间分配更多的编码位数。结果在常用公开数据集MNIST、NUS-WIDE和22K LabelMe上进行实验验证,与原始的乘积量化方法相比,所提出方法能平均降低49%的量化误差,并提高19%的平均准确率。在数据集MNIST上,与同类方法的变换编码方法(TC)进行对比,比较了从32bit到256bit编码时的训练时间,本文方法的训练时间能够平均缩短22. 5s。结论本文提出了一种基于多位编码乘积量化的哈希方法,该方法提高了哈希编码的效率和量化精度,在平均准确率、召回率等性能上优于其他同类算法,可以有效地应用到图像检索相关领域。

量化误差的索引检索方法

为了提高乘积量化的近邻检索方法的检索精度,本文提出了量化误差的索引检索方法。该方法以子空间量化误差为依据进行子空间码字的选择,以获取高质量的乘积量化候选码字,提高基于乘积量化的近邻检索方法的检索精度。最后,通过把索引检索方法应用于5种基于乘积量化的索引结构上,在3个基准数据集上进行实验。实验结果表明,索引检索方法可以提高检索精度的有效性。

量化编码的分层可通航小世界图算法

随着大数据和人工智能的高速发展,针对多媒体数据的结构化处理与基于内容的检索受到极大的关注,面对多媒体数据结构化后的海量高维特征向量,如何快速、准确地检索是人工智能处理大规模数据所必须解决的问题。最近提出的分层可通航小世界图HNSW检索算法在多个公开数据集取得了最佳的性能表现,但该算法存在内存开销大的问题。而基于量化编码的检索算法能够压缩数据集向量,大幅度降低内存占用。将量化编码和分层可通航小世界图算法结合,提出了2种基于量化编码改进的HNSW算法,分别是使用标量量化编码向量的HNSWSQ算法和使用乘积量化编码向量的HNSWPQ算法,2种算法使用不同的量化策略存储原始向量编码,以降低内存开销,再通过HNSW算法建立索引达到缩短检索耗时的目的。其中HNSWSQ算法在多个数据集上获得了与HNSW算法相近的查全率和平均检索耗时,而内存开销大幅降低。实验结果表明,HNSWSQ算法在SIFT-1M和GIST-1M数据集上的内存开销比HNSW算法分别降低了45.1%和70.4%。

稠密向量实体检索模型的二值化提速压缩

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗余信息:一方面,绝大多数实体向量分布在互不相同的象限里;另一方面,语义相近的实体所在的象限也更近.因此,文中提出二值化的实体检索方法,用于压缩实体向量,加速相似度计算.具体而言,方法利用符号函数(sign),二值化压缩高维稠密的浮点向量,并通过汉明距离加快检索.从理论上分析文中方法保证检索性能的原因.通过定性、定量的分析实验验证理论的正确性,并给出基于随机升维旋转的二值检索性能改善方法.

一种融合重力信息的快速海量图像检索方法

海量图像检索算法的核心问题是如何对特征进行有效的编码以及快速的检索.局部集聚向量描述(Vector of locally aggregated descriptors,VLAD)算法因其精确的编码方式以及较低的特征维度,取得了良好的检索性能.然而VLAD算法在编码过程中并没有考虑到局部特征的角度信息,VLAD编码向量维度依然较高,无法支持实时的海量图像检索.本文提出一种在VLAD编码框架中融合重力信息的角度编码方法以及适用于海量图像的角度乘积量化快速检索方法.在特征编码阶段,利用前端移动设备采集的重力信息实现融合特征角度的特征编码方法.在最近邻检索阶段将角度分区与乘积量化子分区相结合,采用改进的角度乘积量化进行快速近似最近邻检索.另外本文提出的基于角度编码的图像检索算法可适用于主流的词袋模型及其变种算法等框架.在GPS及重力信息标注的北京地标建筑(Beijing landmark)数据库、Holidays数据库以及SUN397数据库中进行测试,实验结果表明本文算法能够充分利用匹配特征在描述符以及几何空间的相似性,相比传统的VLAD以及协变局部集聚向量描述符(Covariant vector of locally aggregated descriptors,CVLAD)算法精度有明显提升.

基于SIFT的图像盲取证方法

采用一种基于尺度不变特征变换的算法提取图像特征,使用乘积量化的近似最近邻搜索方法对子空间分别进行量化,运用非对称距离算法计算特征向量之间的欧氏距离,提出一种新的数字图像复制粘贴被动盲取证方法。实验结果表明,该方法能够准确地对复制区域经过预处理的伪造进行检测,减少内存的使用量和空间复杂度,缩短搜索时间。

区域滑坡地质灾害危险性评价与风险管理

随着社会经济的飞速发展，人类生存空间不断向山区扩展，使得近年滑坡等山地灾害的发生越来越频繁，人们越来越认识到防范和减轻滑坡等地质灾害对社会经济发展的重要性，迫切需要寻求对滑坡地质灾害进行更为有效地控制和管理的现实途径。而区域滑坡地质灾害危险性评价是滑坡地质灾害风险评价和风险管理的基础，本文在这一领域做了有益的探讨，取得了以下主要成果：