-
题名量化编码的分层可通航小世界图算法
被引量:1
- 1
-
-
作者
李秋珍
白兴强
李立夏
王赢
-
机构
武汉数字工程研究所
华中科技大学计算机科学与技术学院
-
出处
《计算机工程与科学》
CSCD
北大核心
2019年第4期618-625,共8页
-
基金
军委装备发展部科研订购局"十三五"装备预研领域基金(61401320501)
-
文摘
随着大数据和人工智能的高速发展,针对多媒体数据的结构化处理与基于内容的检索受到极大的关注,面对多媒体数据结构化后的海量高维特征向量,如何快速、准确地检索是人工智能处理大规模数据所必须解决的问题。最近提出的分层可通航小世界图HNSW检索算法在多个公开数据集取得了最佳的性能表现,但该算法存在内存开销大的问题。而基于量化编码的检索算法能够压缩数据集向量,大幅度降低内存占用。将量化编码和分层可通航小世界图算法结合,提出了2种基于量化编码改进的HNSW算法,分别是使用标量量化编码向量的HNSWSQ算法和使用乘积量化编码向量的HNSWPQ算法,2种算法使用不同的量化策略存储原始向量编码,以降低内存开销,再通过HNSW算法建立索引达到缩短检索耗时的目的。其中HNSWSQ算法在多个数据集上获得了与HNSW算法相近的查全率和平均检索耗时,而内存开销大幅降低。实验结果表明,HNSWSQ算法在SIFT-1M和GIST-1M数据集上的内存开销比HNSW算法分别降低了45.1%和70.4%。
-
关键词
近似最近邻检索
分层可通航小世界图算法
乘积量化
标量量化
相似性搜索
高维数据索引
-
Keywords
approximate nearest neighbor search
hierarchical navigable small world graph algorithm
product quantization
scalar quantization
similarity search
indexing of high-dimensional data
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名改进的SAX符号化算法在QAR数据中的应用
被引量:1
- 2
-
-
作者
杨慧
孟凡星
-
机构
中国民航大学计算机科学与技术学院
-
出处
《计算机应用》
CSCD
北大核心
2012年第5期1484-1487,共4页
-
基金
国家自然科学基金与中国民航局联合基金资助项目(61179063)
-
文摘
鉴于快速存取记录器(QAR)数据是结构非常复杂和数据量大的时间序列数据,直接采用传统的符号聚合近似算法(SAX)对QAR数据进行描述、存储、检索等操作时,不能克服时间序列幅度值伸缩和时间轴漂移等方面的不足。提出了改进的符号聚合近似算法,将快速存取记录器数据划分为起飞、巡航和降落三个阶段,并利用此改进的算法对巡航阶段进行填补,对不同长度的故障模型序列进行有效的相似性搜索。通过实验以及其在飞机故障诊断项目中的应用,证明了其可行性和有效性,从而提高了飞机的排故效率。
-
关键词
快速存取记录器
时间序列
符号聚合近似算法
相似性搜索
故障诊断
-
Keywords
Quick Access Recorder (QAR)
time series
Symbolic Aggregate Approximation (SAX)
similarity search
fault diagnosis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名密度Canopy的增强聚类与深度特征的KNN算法
被引量:2
- 3
-
-
作者
沈学利
秦鑫宇
-
机构
辽宁工程技术大学软件学院
中国科学院海西研究院泉州装备制造所
-
出处
《计算机科学与探索》
CSCD
北大核心
2021年第7期1289-1301,共13页
-
基金
国家自然科学基金青年基金(61806186)
机器人与系统国家重点实验室项目(SKLRS-2019-KF-15)
+2 种基金
福建省智能物流产业技术研究院建设项目(2018H2001)
中国科学院率先行动“百人计划”(2017-122)
泉州市科技计划项目(2019C112,2019C011R,2019STS08)。
-
文摘
K最近邻(KNN)算法作为目前使用最广泛的有监督分类算法,在大规模、多维度数据的处理方面往往是低效的,因此提出了一种适用于高维度大数据量处理的改进KNN算法。首先采用深度神经网络(DNN)作为特征提取器并进行降维,以学习到最合适的深度特征表示形式;然后通过密度Canopy算法获取到合适的集群数和初始聚类中心,成为之后K-means聚类的输入参数;最后对学习到的数据进行聚类,并采用近似相似性搜索(ASS)中的Hashing策略按其近似相似度进行集群划分,将结果作为KNN分类器的新训练样本。考虑到要查询的最近邻样本可能落在不同集群之中,导致KNN搜索的性能下降,在聚类时额外采用了一种聚类增强策略,有效缓解了这种情况的发生。使用五个不同的数据集进行对比测试,结果表明:与实验对比的算法相比,该算法不仅能够极大地提高KNN的分类精度,而且有效地提升了算法的分类效率,减少了搜索所需的距离数,对噪声数据还具有良好的鲁棒性。
-
关键词
K最近邻(KNN)
密度Canopy
增强聚类
深度神经网络(DNN)
近似相似性搜索(ass)
-
Keywords
K nearest neighbor(KNN)
density Canopy
enhanced clustering
deep neural networks(DNN)
approximate similarity search(ass)
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名版权数据库管理中基于内容的版权检索方法
- 4
-
-
作者
邹晓栋
张兴忠
-
机构
太原理工大学计算机软件学院
-
出处
《计算机应用与软件》
CSCD
北大核心
2014年第3期266-268,313,共4页
-
文摘
局部敏感哈希LSH(Locality Sensitive Hashing)是一种常见的用于处理高维向量的索引办法。首先介绍LSH算法的基本原理和方法,然后通过更快哈希函数的计算和跳过重复点等方法对LSH算法进行改进,与传统的索引方法相比,改进后算法在不降低准确度的情况下,耗费时间更短。实验结果证明,将该优化算法应用于基于内容数字版权检索中,其性能优于传统的索引方法。
-
关键词
基于内容数字版权检索
高维向量
相似性检索
近似最近邻搜索
改进的局部敏感哈希索引
-
Keywords
Content-based digital right retrieval High-dimensional vector Similarity retrieval Approximate nearest neighbour search Improved LSH indexing
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-