基于卷积神经网络和E2LSH的遥感图像检索研究

遥感图像是一种特征维度很高的图像,当前的遥感图像检索技术图像特征表达能力不强,并且利用海明距离排序后还需计算欧式距离,产生信息损失,严重制约了遥感图像检索技术的性能。基于上述问题,提出一种基于卷积神经网络和E2LSH的遥感图像检索技术,将遥感图像进行降噪处理之后,利用已经预训练过的VGGNet-D卷积神经网络模型提取图像深层次的特征,挖掘隐含的图像信息;利用L个E2LSH(Exact Euclidean Locality-Sensitive Hashing)函数对提取的特征在保证度量距离的同时进行高效降维并构建L个索引结构;利用L个索引完成粗检索以构成候选集。直接计算并排序候选集的欧氏距离来完成近似最近邻搜索,避免了两种空间及距离的换算。实验结果表明,提出的检索方法减少了距离换算的信息损失并能有效提高遥感图像特征表达能力,使其在查准率和查全率上有更好的检索效果。

基于弱监督E2LSH和显著图加权的目标分类方法

在目标分类领域,当前主流的目标分类方法是基于视觉词典模型,而时间效率低、视觉单词同义性和歧义性及单词空间信息的缺失等问题严重制约了其分类性能。针对这些问题,该文提出一种基于弱监督的精确位置敏感哈希(E2LSH)和显著图加权的目标分类方法。首先,引入E2LSH算法对训练图像集的特征点聚类生成一组视觉词典,并提出一种弱监督策略对E2LSH中哈希函数的选取进行监督,以降低其随机性,提高视觉词典的区分性。然后,利用GBVS(Graph-Based Visual Saliency)显著度检测算法对图像进行显著度检测,并依据单词所处区域的显著度值为其分配权重;最后,利用显著图加权的视觉语言模型完成目标分类。在数据集Caltech-256和Pascal VOC2007上的实验结果表明,所提方法能够较好地提高词典生成效率,提高目标表达的分辨能力,其目标分类性能优于当前主流方法。

基于加权融合的E2LSH用户相似度计算

针对传统协同过滤算法遇到现实场景中海量、高维时难以直接进行计算用户相似度和实时性较差的问题,使用基于p-stable分布的局部敏感哈希E2LSH(Exact Euclidean Locality Sensitive Hashing)算法对海量高维数据降维后计算用户之间的相似度,进一步针对该相似度计算的精度问题使用模型融合技术对多个E2LSH算法计算的相似用户进行加权融合得到最相似用户。同时对于具有较高相似度的用户使用加权平均方法对目标用户进行未交互商品的评分预测并对商品进行排序推荐,从而提高推荐实时性和准确率。实验结果表明,算法在用户相似度计算和推荐准确率方面都有较大提高。

基于关键证据与E^2LSH的增量式人名聚类消歧方法

搜索引擎中关于人名的相关文档往往数据量庞大,且数据为增量式更新过程,新文档出现的时间与规模都存在不确定性。现有的方法多为全局的人名聚类方法,在处理大规模数据时往往效率较低,且无法实现增量聚类。本文提出了一种基于关键证据与E^2LSH的增量式人名聚类消歧方法。对于初始文档集,采用全局的人名聚类方法,保证聚类性能且能有效控制全局聚类的文档规模,提高聚类效率。对于增量文档集,利用提出的关键证据与E2LSH方法生成候选文档集,极大降低了需要计算相似度的文档规模,提高方法效率。实验结果表明,本文提出的增量式人名聚类消歧方法能有效改善人名聚类的效率,且具有良好的性能。

基于外存的位置敏感搜索方法

位置敏感哈希在信息检索、目标识别和视频语义搜索等领域得到了广泛应用,与基于树的方法相比,它们虽然初步解决了高维检索问题,但这些基于主存的方法在实际应用中仍有较大的局限性。为解决大数据集快速检索问题,在E2LSH基础上提出了基于外存的位置敏感搜索方法,将数据集各点通过位置敏感哈希函数族进行映射并在外存建立索引文件,实验证明该方法在检索准确率几乎相当的情况下检索时间大大缩短。

基于E^2LSH的特定人物快速检索方法

特定人物检索对视频监管和视频搜索具有重要意义。使用PCA-SIFT(Principal Compo-nents Analysis-Scale Invariant Feature Transform)表征图像内容,并引入E2LSH(Exact EuclideanLocality-Sensitive Hashing)来构建索引文件,提出了一种基于E2LSH的特定人物快速检索方法。新方法首先对特征进行降维映射,并根据位置敏感哈希函数的运算结果构建索引文件,然后再用点点对称OOS(One-to-One Symmetric)的匹配策略查询最近邻点,实现特定人物的快速检索。实验结果表明,与传统方法相比新方法不但提高了人物检索精度,而且检索时间也大大减少,同时,对大规模数据库有较好的适应性。

一种基于随机化视觉词典组和查询扩展的目标检索方法

在目标检索领域,当前主流的解决方案是视觉词典法(Bag of Visual Words,BoVW),然而,传统的BoVW方法具有时间效率低、内存消耗大以及视觉单词同义性和歧义性的问题。针对以上问题,该文提出了一种基于随机化视觉词典组和查询扩展的目标检索方法。首先,该方法采用精确欧氏位置敏感哈希(Exact Euclidean LocalitySensitive Hashing,E2LSH)对训练图像库的局部特征点进行聚类,生成一组支持动态扩充的随机化视觉词典组;然后,基于这组词典构建视觉词汇分布直方图和索引文件;最后,引入一种查询扩展策略完成目标检索。实验结果表明,与传统方法相比,该文方法有效地增强了目标对象的可区分性,能够较大地提高目标检索精度,同时,对大规模数据库有较好的适用性。

基于精确欧氏局部敏感哈希的协同过滤推荐算法

针对推荐系统中用户评分数据的海量高维与稀疏性,以及直接利用传统相似性度量方法来获取近邻的计算量大、结果不准等对推荐质量的影响,提出基于精确欧氏局部敏感哈希(E2LSH)的协同过滤推荐算法。首先利用精确欧氏局部敏感哈希算法对用户评分数据进行降维处理并构建索引,以快速获取目标用户的近邻用户;然后利用加权策略来预测用户评分,进而完成协同过滤推荐。实验结果表明,该算法能有效解决用户数据的海量高维与稀疏性问题,且运行效率高,具有较好的推荐质量。

基于E^2LSH-MKL的视觉语义概念检测

多核学习方法(Multiple kernel learning,MKL)在视觉语义概念检测中有广泛应用,但传统多核学习大都采用线性平稳的核组合方式而无法准确刻画复杂的数据分布.本文将精确欧氏空间位置敏感哈希(Exact Euclidean locality sensitivehashing,E2LSH)算法用于聚类,结合非线性多核组合方法的优势,提出一种非线性非平稳的多核组合方法-E2LSH-MKL.该方法利用Hadamard内积实现对不同核函数的非线性加权,充分利用了不同核函数之间交互得到的信息;同时利用基于E2LSH哈希原理的聚类算法,先将原始图像数据集哈希聚类为若干图像子集,再根据不同核函数对各图像子集的相对贡献大小赋予各自不同的核权重,从而实现多核的非平稳加权以提高学习器性能;最后,把E2LSH-MKL应用于视觉语义概念检测.在Caltech-256和TRECVID2005数据集上的实验结果表明,新方法性能优于现有的几种多核学习方法.

一种基于精确欧氏位置敏感哈希的目标检索方法

针对目标检索问题,常用方案是视觉词典法(bag of visual words,BoVW),但传统的BoVW方法具有时间效率低、内存消耗大以及视觉单词同义性和歧义性的问题.针对这些问题,该文提出一种基于精确欧氏位置敏感哈希(exact Euclidean locality sensitive Hashing,E2LSH)的目标检索方法.首先,采用E2LSH对训练图像库的局部特征点进行聚类,生成1组支持动态扩充的随机化视觉词典组;然后,基于这组词典构建视觉词汇直方图和索引文件,并由tf-idf算法对词频向量重新分配权重;最后,将目标直方图特征与索引文件进行相似性匹配,完成目标检索.实验结果表明,相比于传统方法,该方法较大地提高了检索精度,对大规模数据库有较好的适用性.

近似最近邻搜索算法——位置敏感哈希

寻找查询点的最近邻是信息处理相关领域的主要任务之一。在数据规模较大时需要采用快速检索算法,常用的快速检索算法主要是基于树的算法,但是当数据点维数较高时,这些算法的效率会变低。位置敏感哈希是当前解决高维搜索的最快的算法,文章对汉明空间、欧式空间下的位置敏感哈希算法的实现方案进行了详细分析,对算法中数据点冲突概率、空间时间消耗、参数调整对算法性能的影响进行了详尽的研究和试验,最后讨论算法的优点和缺点,说明了算法应用于视觉聚类的可能性。

基于Spark的ISOMAP算法并行化

为了实现大数据环境下非线性高维数据的快速降维,提出了一种基于Spark的并行ISOMAP算法.在该算法中,为了快速构建邻域矩阵,设计并实现了基于精确欧式位置敏感哈希的近邻搜索并行算法;为了实现特征值的快速求解,设计并实现了基于幂法和降阶法交替执行的特征值求解并行算法.为了进一步提高算法的性能,基于Spark的特性,利用Spark的稀疏向量、广播机制和缓存机制对并行ISOMAP算法进行了优化,减少了计算过程中的内存消耗和数据传输.在Swissroll数据集和S-curve数据集上的实验结果表明,基于Spark的并行ISOMAP算法通过并行执行和计算过程的优化,极大地提高了算法的执行效率,能够适用于大规模数据集的降维处理.

基于精确欧氏局部敏感哈希的改进协同过滤推荐算法

针对经典协同过滤推荐算法中用户评分数据的规模大、高稀疏度以及直接进行相似度计算实时性差等问题,提出基于p-stable分布的分层精确欧氏局部敏感哈希(E2LSH)算法。利用E2LSH算法查找相似用户,在得到相似用户后使用加权平均方法对用户未评分项目进行评分预测,从而提高推荐结果的准确性。实验结果表明,与基于局部敏感哈希的协同过滤推荐算法相比,该算法具有较高的运行效率及推荐准确率。

基于数据降维与精确欧氏局部敏感哈希的k近邻推荐方法

针对基于k近邻的协同过滤推荐算法中存在的评分特征数据维度过高、k近邻查找速度慢,以及评分冷启动等问题,提出基于数据降维与精确欧氏局部敏感哈希(E^2LSH)的k近邻协同过滤推荐算法。首先,融合评分数据、用户属性数据以及项目类别数据,将融合后的数据作为输入对堆叠降噪自编码(SDA)神经网络进行训练,取神经网络编码部分最后一个隐层的值作为输入数据的特征编码,完成非线性降维。然后,利用精确欧氏局部敏感哈希算法对降维后的数据建立索引,通过检索得到目标用户或目标项目的相似近邻。最后,计算目标与近邻之间的相似度,利用相似度对近邻的评分记录加权得到目标用户对目标项目的预测评分。在标准数据集上的实验结果表明,在冷启动场景下,均方根误差比基于局部敏感哈希的推荐算法(LSH-ICF)平均降低了约7.2%,平均运行时间和LSH-ICF相当。表明该方法在保证推荐效率的前提下,缓解了评分冷启动问题。

基于E^2LSH过滤与空间一致性度量的目标检索方法

为了解决传统视觉词典模型(bag of visual words model,Bo VWM)中存在的时间效率低、词典区分性不强的问题,以及由于空间信息的缺失及量化误差等导致的目标检索性能较低的问题。提出一种新的目标检索方法,首先引入精确欧氏位置敏感哈希(exact euclidean locality sensitive hashing,E2LSH)过滤训练图像集中的噪声和相似关键点,提高词典生成效率和质量;然后,引入卡方模型(Chi-square model)移除词典中的视觉停用词增强视觉词典的区分性;最后,采用空间一致性度量准则进行目标检索并对初始结果进行K-近邻(K-nearest neighbors,K-NN)重排序。将提出的方法在数据库Oxford5K和Flickr1上进行目标检索,结果表明,新方法在一定程度上改善了视觉词典的质量,增强了视觉语义分辨能力,有效地提高目标检索性能。