一种用B-树的最佳阶数组织内存索引文件的方法

根据当前和今后计算机内存配置情况的变化，本文提出了一种将全部索引文件放入内存，并根据内存索引文件区别于外存索引文件的特点选择一个最佳阶数ｍ来构造用于组织索引文件的Ｂ－树，使该Ｂ－树的查询和插入效率达到近似最佳的方法，并给出了相应的分析和证明。

基于协处理器的HBase内存索引机制的研究

为了实现对海量数据的高效存储和查询,众多NoSQL数据库被开发出来,HBase是其中之一。但原生的HBase数据库在进行数据查询时只支持主键索引,对非主键数据只能通过全表扫描的方式进行查询,极大降低了HBase的多条件查询速度。为此,提出了基于协处理器的HBase内存索引构建方案,通过协处理器实现对二级索引的快速构建并可根据HBase表的变化自动更新索引。同时,将建立的索引进行持久化操作,在使用时通过内存计算,极大地提高了索引数据检索速度,保证了索引的可用性和容错性。实验结果表明,该方案相比原生数据库的条件检索速度有了极大提升,相比于基于Solr和HiBase的二级索引方案检索速度也有所提升。

基于内存索引的多源POI重复检测方法研究

分析了POI重复检测的特点及其性能瓶颈,结合Redis内存数据库的特点,设计了基于内存的POI网格索引结构和POI重复检测方法;并基于该算法开发了分区并行处理的POI重复检测工具。与常规的POI重复检测方法相比,该方法可显著提高POI重复检测的效率。

多核处理器环境下内存数据库索引性能分析

从20世纪80年代内存数据库出现时的T树到21世纪初出现的缓存感知的CSS、CSB+树等,都适应了当时的硬件发展趋势,具有一定的性能优势.随着计算机硬件技术的进一步发展,尤其是多核技术的应用与推广,新的多核处理器在提高索引性能的同时又给内存索引结构提出了新的挑战.文中对B+树、T树、CSS树、CSB+树等几个经典的内存索引结构在多核处理器环境下的性能进行了全面的实验测试,对其在多核处理器环境下不同数据输入、不同节点大小等多种情况下的性能构成与差异进行了比较和分析,总结了在多核处理器中影响索引性能的关键因素,为内存索引结构的进一步改进奠定了坚实的基础.

基于改良NB树的内存高维索引算法

基于内容的图像检索是近年来的热门研究内容,其中,有效的高维索引机制是使大规模图像库的检索能够达到实时性要求的关键技术。以往大部分学者都集中研究磁盘索引,但其实在目前大内存的环境下对内存索引的研究也是非常必要。本文运用PCA原理改进了一种理想的内存索引方法NB树,经过改进以后其检索性能得到进一步提高。

基于内存的HBase二级索引设计

在大数据时代,具有海量数据存储能力的HBase已被广泛应用。HBase只对行键进行了索引优化,对非行键的列未建立索引,这严重影响了复杂条件查询的效率。针对此问题,提出了基于内存的HBase二级索引方案。该方案对需要查询的列建立了映射到行键的索引,并将索引存储在Spark搭建的内存环境中,在查询时先通过索引获取行键,然后利用行键在HBase中快速查找对应的记录。由于列的基数大小和是否涉及范围查询决定了建立索引的类型,故针对三种不同情况构建了不同类型的索引,并利用Spark内存计算、并行化的特点来提高索引的查询效率。实验结果表明,该二级索引具有较好的查询性能,查询时间小于基于Solr的二级索引,可以解决HBase中因非行键的列缺乏索引导致查询效率较低的问题,提高基于HBase存储的大数据分析的查询效率。

内存数据索引：以处理器为核心的性能优化技术

随着单机内存容量的持续上升,内存数据库技术逐渐取代传统磁盘数据库为数据管理提供更快速的支持.本文分析了设计内存索引结构所需要考虑的基本要素;对目前的内存索引结构进行了分类总结,并分析各结构的优缺点;针对当前应用发展趋势,指出内存索引未来发展的机遇与挑战;最后介绍了我们正在研发的分布式集群感知内存数据库(CLAIMS)中的内存索引结构.

一种大数据流内存B+树构建方法

面向具有时间维度的大数据流,基于二级B+树索引结构,提出了一种高效的面向时间窗口、采用批量装载技术的内存B+树构建方法。该方法对时间窗口进行分片,通过分离出可以并行处理的操作来加速构建过程,将排序操作与数据流接收并行,B+树骨架的构建与排序并行;采用基于排序的批量装载技术以及优化的构建顺序,能够避免多线程之间不必要的加锁、同步开销,有效提高构建效率。提出的多次微批量排序单次批量装载(MBSortSBLoad)B+树构建方法的构建速度快,能承载的最大流速大。实验验证了所提方法的有效性。

基于Hadoop的实时文献资料搜索引擎研究

数据的存储和检索是大数据时代有效构建系统应用的关键技术问题。针对高校教育信息系统数据量大、存储异构、查找困难等问题,提出一种基于分类索引以及热度积累的云存储及实时搜索引擎设计方案。该方法首先建立持久性硬盘分类索引。然后,通过一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,利用内存提升查询性能,降低对硬盘索引表的磁盘访问开销。

基于协处理器的HBase分类二级索引设计

针对HBase仅在行键上进行索引优化而非行键列查询的问题,提出一种基于协处理器的HBase分类二级索引方案。设计基于协处理器的索引管理和并行查询机制:利用Ob-server在内存中建立并维护索引,同时利用Endpoint设计并行查询算法,进而提升非行键列的查询性能。由于数据特征和查询需求决定了构建索引的类型,进一步设计分类内存索引模型,用以平衡查询性能和索引性能。在出租车GPS数据集上的实验结果表明:相较于基于Solr和Hi-Base的二级索引方案具有更好的整体性能。

面向数据特征的内存跳表优化技术

跳表作为数据库中被广泛采用的索引技术,优点在于可以达到类似折半查找的复杂度O(log(n)).但是标准跳表算法中,结点的层数是通过随机算法生成的,这就导致跳表的性能是不稳定的.在极端情况下,查找复杂度会退化到O(n).这是因为经典跳表结构没有结合数据的特征.一个稳定的跳表结构应该充分考虑数据的分布特征去决定结点层数.基于核密度估计的方式估计数据累积分布函数,预测数据在跳表中的位置,进而设计用于判定结点层数的跳表算法.另外,跳表的查找过程中,结点层数越大的结点被访问的概率越高.针对历史数据的访问频次,设计一种保证频繁访问的“热”数据尽可能地在跳表的上层,而访问较少的“冷”数据在跳表的下层的跳表算法.最后,基于合成数据和真实数据对标准跳表和5种改进的跳表算法进行了全面的实验评估并开源代码.实验结果表明,优化的跳表最高可以获取60%的性能提升.这为未来的科研工作者和系统开发人员指出了一个很好的方向.

基于NoSQL的分布式R*树索引构建与应用研究

针对当前空间填充曲线(Space-Filling Curve,SFC)类NoSQL空间索引对复杂几何索引支持较差、字典序映射成本较高等问题,该文提出一种基于NoSQL的分布式R*树空间索引。基于NoSQL的分区存储模式,通过优化后的STR(Sort Tile Recursive)均衡策略配置分布式R*树,借助R*树路径实现索引、数据的编码存储,并提出批处理模式的索引并行构建方法;借助NoSQL的SSPT(Server-Side Scripts)计算框架构建查询、应用并行处理机制。选用土地利用、规划数据进行对比实验,结果表明:该索引的平均构建耗时为GeoMesa的30.0%,500万量级下耗时仅为GeoMesa的18.6%;执行MBR查询、多边形几何查询、最邻近查询的平均耗时分别为GeoMesa的26.5%、53.4%、52.3%;执行自然资源开发项目合规性审查应用的平均耗时分别为ArcGIS、GeoMesa的10.6%、72.7%。该索引在构建性能、空间查询性能以及应用性能方面均具有优越性,能为基于NoSQL的海量空间数据高性能存储、检索与应用提供一种优良解决方案。

基于T^＊树的RFID数据缓存的研究与实现

如何对RFID中的海量数据进行有效存储并支持高效查询已成为目前研究的难点和热点。根据RFID数据的访问特点,将RFID数据的存储分为缓存和数据仓库两部分。并设计实现了基于T*树内存索引结构的RFID数据缓存模块,最后对其中的查询算法特别是批量查询给出了具体实现。结果表明,T*树比T树更节省存储空间,具有更高的cache效率以及更短的平均查询时间。

实时数据存储管理的研究与设计

对于工业控制实时系统来说,实时数据、历史数据的I/O速度是系统的主要瓶颈。本文提出一种新的文件组织及数据池管理方式,通过利用数据缓冲池和内存索引机制对实时数据及海量历史数据进行有效管理,不仅加快实时数据的读/取速度,而且提高系统的整体性能,在实际的应用中取得了较好效果。

GBLHT:一种GPU加速的批量插入线性哈希表

为改善线性哈希表这一有效索引结构的插入性能,在分析现有方法的基础上,结合CUDA并行编程模型,设计并实现了一种基于GPU的批量插入线性哈希表GBLHT;借助原子函数atomicAdd,GBLHT可以充分利用GPU强大的并行吞吐量来实现大规模记录的无锁批量插入;通过实验对比传统串行插入方法、CPU批量插入方法以及GBLHT的插入性能,发现在不同参数设置条件下,GBLHT的插入性能比传统串行方式提升了7～14倍,与4线程的CPU批量插入方法相比则提升了3～6倍.

大数据环境下Lucene性能优化方法研究

为提高大数据环境下的数据查询分析效率,该文结合内存计算技术和批量更新技术提出一种优化倒排索引方法——内存磁盘索引(RFDirectory)。基于Lucene实现内存和磁盘相结合的倒排表管理技术。将新增数据写入缓存中,并周期性地写入磁盘索引结构中,从而提升倒排索引的写入性能。通过整合磁盘和内存的多分块倒排结构,为用户提供高效的数据查询分析结果。实验结果表明:在大数据环境下,RFDirectory方法的索引构建时间缩短为磁盘索引(FSDirectory)、内存索引(RAMDirectory)方法索引构建时间的50%,返回1个关键字的检索结果耗时缩短了近15%。