面向持久化键值数据库的自适应热点感知哈希索引

针对现有键值数据库存储系统缺乏热点意识,导致系统在高度倾斜的工作负载下性能较差且不可靠,提出了一种自适应热点感知哈希索引模型,该模型基于key值摘要信息实现了一个高性能哈希表。首先,利用key的摘要信息代替key值,压缩key的存储空间,优化哈希表中桶的数据结构;其次,利用CPU的数据级并行技术以及CPU cache line,对哈希表的探查操作进行优化;最后,为解决摘要信息导致key值无法精准比较,需要额外磁盘I/O的问题,设计了一种自适应key值调度算法,该算法根据当前可用内存大小、哈希索引负载以及访问热点情况动态地调整key值的存储位置。在YCSB仿真数据集上进行了实验,实验表明,相较于最先进的哈希表,自适应热点感知哈希索引在相同内存使用率的情况下,将速度提升至1.2倍。

基于双哈希索引的高效语音生物哈希安全检索算法

针对语音数据在信道传输与云端存储时的安全性问题,以及由于语音数据数目大、维数高、空间复杂度高带来的检索效率问题,提出了一种基于双哈希索引的高效语音生物哈希安全检索算法。首先,在服务端分别提取语音信号的频谱通量与峭度因子特征并将两种特征融合,利用Bagging分类对语音信号的差分哈希分类,并基于分类结果构建密钥分配索引表;然后,根据密钥分配索引表建立具有单一映射密钥的生物特征模板,并将其量化构造生物哈希,得到哈希索引;同时,采用混合域置乱加密算法对原始语音加密,构建密文语音库;最后,将哈希索引与密文语音库上传至云端并构建云端生物哈希索引表。在移动端,采用归一化汉明距离进行匹配检索。实验结果表明:本文算法的匹配阈值区间为(0.2694, 0.4173),说明该检索算法能够灵活选取匹配阈值,具有较好的鲁棒性和区分性;检索过程中单条语音平均检索时间仅为9.4957×10^(–4)s,并且经过15种内容保持操作后的查全率与查准率均为100%,说明该算法具有较好的检索性能,可以满足各种环境下的语音检索需求;同时提出的加密算法密钥空间大小为1060,说明能够抵御穷举密钥攻击、保证语音数据的安全;此外,构建的生物特征模板具有良好的多样性、安全性和可撤销性。

基于双倍比特量化与分段哈希索引的军事图像过滤

二进制码占用存储空间少且易于进行距离度量,因此很多研究者提出二进制量化方法把浮点型特征量化为二进制码,以实现大规模数据环境下的快速最近邻查询。但是,二进制量化会损失原始特征的信息量,使原始特征之间的相似性不能完全保持,导致查询精度降低。针对这一问题,提出双倍比特量化与分段哈希的近似查询索引。首先,设计了一种双倍比特量化方法,通过把特征的每一维数据量化为2个比特二进制码,增加特征之间的区分性;然后,针对双倍比特量化的二进制码提出双倍比特分段哈希索引,通过对二进制码分段并建立哈希索引的方式,提高查询速度。据此,设计了基于双倍比特量化与分段哈希索引的大规模军事图像过滤系统。实验表明,相比于Faster R-CNN+CNNH+MIH系统,本文方法可以使军事图像过滤精度提升5.4%。

结构化稀疏谱哈希索引

为了对从图像中所提取的高维特征进行高效索引,考虑到图像原始高维特征所具有的内在结构化特性,结构化稀疏谱哈希索引算法是在传统谱哈希索引算法中引入结构化稀疏主成分分析,来求取图像高维特征内嵌子空间,进而实现图像索引.该算法中保持了原始图像数据特征之间的结构性信息,并使得视觉特征相似图像之间的汉明距离保持最小.实验结果表明,该算法优于位置敏感哈希、受限玻尔兹曼机、谱哈希以及稀疏谱哈希等索引算法.

数据依赖的多索引哈希算法

由于多索引哈希基于数据集中的二进制码呈均匀分布这一假设，不能有效地处理非均匀分布的数据集，故针对这一问题提出数据依赖的多索引哈希算法．首先把二进制码划分为多个连续不重合的子串，并通过计算二进制码每位之间的相关性为每一个子串学习得到自适应投影向量；在为每个子串建立哈希表时，使用投影向量对子串进行投影，从而得到哈希表中的下标；采用自适应投影的方法可以使得哈希表中的元素接近于均匀分布，进而提升了查询速度．此外，提出一个基于熵的分布度量方法，以评价哈希表中数据元素的分布情况．在大规模数据集上的实验表明，与多索引哈希算法相比，数据依赖的多索引哈希算法可以使查询速度提升36.9％～87.4％．

Native XML数据库哈希路径索引技术

借鉴并结合了已有的Native XML数据库索引技术和传统关系数据库的索引技术,在此基础上提出了一种基于哈希路径(path hashing)的索引技术,解决了哈希码的生成,索引结构的建立、更新,讨论了如何用哈希路径索引进行查找,最后讨论了对该索引技术的进一步改进。

一种复合式索引结构及其性能比较研究

一般Hash算法中溢出桶与常规桶是通过指针连接的。对于海量数据的等值查询来说,通过指针查询是低效的。本文提出一种类似二次Hash的算法,在常规桶与桶地址表之间建立一个二叉排序树的结构,使得我们能够通过折半查找直接找到对应的桶。实验表明,该算法能够显著提高查询效率。

Hash索引算法综述

在这个数据量爆炸增长的时代,如何在海量数据中实现对所需数据快速精准的查找成为必须面对的难题。哈希索引(Hash Index)将数据相关值输入哈希函数中,通过哈希函数计算得到哈希码,从而找到数据对应的存储地址。这种方法大大提高了数据检索的速度和准确度并优化了存储空间结构,一定程度上解决了海量数据处理较慢的难题,因此被当今学者广为研究。本文将综述哈希索引的定义和特点,介绍哈希索引的传统算法和新兴算法,最后总结全文并展望未来的研究方向。

大数据的空间数据索引技术研究

详细了解大数据的空间数据索引技术研究现状，对目前的一系列主要空间数据索引进行阐述。对现在的主流空间数据索引技术进行论述，依据R-tree索引、哈希索引、Voronoi图索引和空间填充曲线的原理，从其本质上分析其各自特点，从而为大数据的空间数据索引技术研究提供理论基础。

汉语分词索引字数与分词效率的对比研究

针对汉语分词词典中双字哈希索引机制未能充分利用索引分词,而分词效率又明显优于首字哈希索引机制的问题,在充分分析汉语构词特点的基础上,提出了基于三字哈希索引的分词词典机制,并通过将字串的三态标记与下一索引指针的乘积作为哈希值的链地址法,简化了词典结构,节省了内存空间。理论分析和真实语料仿真均证明了三字哈希索引机制与不同字数的其他索引机制相比,具有更好的分词效率。

多维数据近似检索的分层LSH索引算法模型研究

该文鉴于数据管理技术发展的前瞻性考虑,以多维数据为处理对象,探索高性能数据过滤器的若干理论和实现技术,针对假阳性和假阴性过高的问题,以及对时空效率的要求,设计了适合多维数据近似检索的分层LSH索引算法模型。

大规模地震勘探数据的高性能索引方法

随着地震勘探采集技术的不断进度,勘探数据的采集密度和精度不断提高,数据体量不断增大,采集数据体由TB级向PB级发展。数量的不断增大为数据的存储、索引和应用带来了很多挑战。本文主要是针对海量地震数据索引困难的问题,基于地震数据的存储特点,设计了一种基于集群并行机的高性能地震数据存储方法和基于数据存储方法分层索引方法,提供了基于分块数据存储的高效索引方法来支持海量地震数据的应用需求。

基于深度卷积神经网络的服装图像分类检索算法

针对利用深度学习的服装图像检索算法分类精度较低的问题,提出基于深度卷积神经网络的改进服装图像分类检索算法,并建立一个具有16种属性、10万量级的网络服装图像数据库B_DAT Clothing。依据服装图像的复杂性,采用深度卷积神经网络从B_DAT Clothing数据库中自动学习服装的属性特征并建立哈希索引,进而构建基于服装属性的检索模型,实现服装图像的高效分类和快速检索。实验结果表明,与传统视觉特征分类算法相比,该算法在服装分类上的准确率更高,属性检索效果更好。

TD-SCDMA网络Iu-PS口CDR合成方案研究

本文对TD-SCDMA网络的Iu-PS口信令信息及业务流程进行了深入分析研究,提出了一个在Iu-PS口上实现呼叫追踪与业务分析相分离的主从CDR合成方案,介绍了CDR合成的原理及算法,采用hash动态合成的方法,解决了Iu-PS口CDR合成效率低的问题。该方案已经应用到TD-SCDMA集中监测系统中,通过现网测试,效果良好。

TD-SCDMA网络Iu-PS口CDR合成方案

对TD—SCDMA网络的Iu—PS口信令信息及业务流程进行了分析研究，提出一个在Iu—PS口上实现呼叫追踪与业务分析相分离的主从CDR合成方案。阐述了该CDR合成的原理及算法，开辟了一种采用Hash动态合成的实现方法，解决了Iu—PS口CDR的合成效率低下问题。该方案已经应用到TD—SCDMA集中监测系统中，通过现网测试，效果良好。

低空间复杂度的LSH算法及其在图像检索中的应用

局部敏感哈希LSH算法是有效的高维数据索引方法,如何生成哈希函数是算法的关键部分。LSH算法的哈希函数是基于p-稳态分布随机生成的,为了提高算法性能就需要增加哈希表的数量,但这会增加算法的空间复杂度。改进后的LSH算法(I-LSH)在生成哈希函数时不需要有标记的训练样本,而是仅仅利用数据点的分布信息构造投影方向。实验结果表明,在不显著降低检索性能的情况下,ILSH有效地降低了内存的使用量,适合处理大规模数据。

嵌入式操作系统MQX内存管理机制分析与改进

针对嵌入式实时操作系统MQX(Message Queue e Xecutive)中内存管理不够灵活等问题,提出一种基于哈希索引表和最先匹配策略相结合的自适应内存管理算法,针对不同大小的内存采用不同的内存管理策略。对于小块内存采用哈希索引表组织,实现内存分区池的常数级定位,并且通过双向链表将分区池紧密联系提高内存申请的鲁棒性;对于大块内存采用最先适应策略,减少内部碎片的产生,提高内存的利用率。实验结果表明,改进后的算法在保证MQX原有内存管理算法较高实时性的同时,提高了内存申请的命中率以及内存管理的可靠性。

基于内存数据库的VLR用户数据处理方法

提出一种对VLR用户数据进行处理的方法,采用面向对象的设计方法并以内存数据库形式设计VLR数据库,通过哈希索引技术将用户数据存储在VLR数据库中,并能对存储在VLR数据库中的移动用户数据进行编辑处理和访问。该方法可快速地进行用户数据的存储和访问,易于设计和实现。并且具有很好的扩展性。

基于多相机融合和特征点加速匹配的煤矿井下视觉同步定位与建图算法

基于特征点法的视觉同步定位与建图(SLAM)算法在煤矿复杂环境下具有较多的应用场景,但随着图像质量以及相机数量的增加,特征点的匹配耗时会延长,相机与系统参数的适配复杂度也会提高。针对以上问题,提出一种基于多索引哈希和负位姿熵的视觉SLAM算法。该算法通过切分特征点描述子,查询存储图像信息的哈希表来提升匹配速度,不需要加载离线词典;同时根据信息熵理论,量化关键帧与当前地图的不确定度,确认关键帧的插入时机,简化传感器调参流程。试验结果表明,该算法相较于ORB-SLAM2算法,对于多特征点的视觉里程计,匹配速度获得了明显提高,且减少了内存占用空间;在复杂场景的数据集中,系统定位的精准度得到了提升,且降低了多相机系统的调参难度。

TD-SCDMA网络Iub接口RRC协议监测研究与实现

对TD-SCDMA网络的RRC协议在Iub口的消息及业务流程进行了深入分析。提出了RRC协议在Iub接口调用ANS.1解码器的解码方法及CDR合成方案,并实现了对RRC协议的统计功能。着重分析了CDR合成的原理及算法,开辟了一种采用Hash动态合成实现CDR的合成方法,解决了Iub口RRC CDR合成效率低下等问题。该方案已经应用到TD-SCDMA集中监测系统中,通过现网测试,效果良好。