基于HBase的中文短文本快速检索方案研究

伴随着信息时代的飞速发展,生活中每个行业内需要处理的信息成倍递增。对于海量的数据在完全分布式的环境下计算和存储更为合适。但是在检索方面,对于中文短文本数据的检索任务时效率却略显不足。综上所述,文章设计了一种基于HBase的中文短文本快速检索方案。首先通过BTM训练出对应的主题概率分布。其次将传统的KNN文本分类结合潜在的中文语义分析,来实现短文本的潜在主题文本分类,并设计了基于MapReduce并行化KNN文本主题分类来解决海量数据计算量大的问题,最后将文本主题分类结果与ES上的Top Hits相结合,构建对应表的二级索引来避免对于原始文本数据复杂的全表扫描。从而实现快速检索。最后通过实验对比,这种方案比传统的HBase检索中文短数据的方案效率更高。

铁路通信数据HBase分布式查询系统设计

目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联,现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题,基于分布式存储系统HBase,利用工业场景中数据与访问行为特征的关联性,提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题,提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型(LR)对数据进行冷热分类,并将热数据分散存储在不同节点;同时,为进一步降低存储集群中跨节点的通信开销,以提升工业时序数据高维索引的查询效率,提出索引主数据同Region化策略,设计索引RowKey字段及拼接规则,将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明,引入优化策略后的数据负载分布倾斜度降低28.5%,查询效率提升27.7%,验证了所提优化策略能够有效地挖掘特定时序数据的访问模式,合理地分配负载,降低数据访问开销,有能力满足对特定时序大数据的访问需求。

基于HBase的数据高效读技术研究

在大数据时代,关系型数据库面临着海量数据存储的挑战。HBase是一种基于列存储的NoSQL数据库,广泛应用于大数据存储。HBase在数据的检索方面仍然存在着不足之处,本文对HBase的数据检索技术进行分析和研究,针对目前存在的问题提出了相应的改进和优化。针对HBase在查询数据时需要访问磁盘,查询速度慢的问题,本文提出使用Redis索引HBase的热点数据,并综合考虑数据的查询频率、更新频率和历史积热对缓存的影响,设计了一种基于数据查询频率和更新频率的热值缓存驱逐策略,提高了Redis的缓存命中率。针对HBase在检索非行键字段时需要全表扫描,检索效率低的问题,本文提出了为非行键字段建立二级索引的策略,设计了一种基于协处理器和Redis的二级索引方案。实验结果表明改进后的缓存驱逐策略的命中率高于LRU策略,在查询模块引入Redis缓存热点数据并且为非行键字段建立二级索引后,改进后的查询模块的数据检索性能提升显著,极大地提高了查询速度。

基于HBase数据库的高校人事管理系统模型设计

本文针对高校人事管理系统在互联网时代的新需求,设计了一种基于HBase数据库的系统模型。首先介绍了HBase数据库基础知识和数据库设计原则,然后分析了当前高校人事管理系统的需求和功能,并基于HBase数据库进行了系统设计和实现。在系统实现与测试中,采用设计模型进行系统部署与配置、完成了性能测试和安全性测试。结果表明,该系统具有较高的性能和安全性。本文旨在为高校人事管理系统的设计和开发提供一种基于HBase数据库的新思路,同时也为HBase数据库在实际应用中的推广和普及提供一定的参考和借鉴。

一种面向用电信息采集场景的HBase数据智能压缩方法分析

阐述一种基于HBase数据库的用电信息采集数据智能数据压缩方法,该方法通过分析用电信息采集业务数据设计规范与待写数据抽样的数据类型构成,从而为数据存储表选择最优压缩格式。基于该方法定义的数据压缩方法可以解决HBase数仓在存储成本和性能上的平衡问题,达到减小存储空间、减轻网络压力、提高管理效率、降低存储成本的效果。

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。

HiBase:一种基于分层式索引的高效HBase查询技术与系统

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。

基于协处理器的HBase区域级第二索引研究与实现

针对HBase全表扫描查询效率问题,对HBase第二索引功能进行研究,实现一种基于HBase协处理器的服务端区域级第二索引扩展功能。通过将索引维护与查询放到服务端完成,极大地减少了网络通信开销。索引文件使用HFile格式组织。利用HFile成熟的编程接口以及高效的读写性能,使得索引维护变得简单易行,也保证了索引读写的效率,提供了高效的查询性能。实践表明,该索引扩展机制能有效地满足集群应用中对大数据集的第二索引查询功能需求。

基于HBase的矢量空间数据分布式存储研究

分析了分布式数据库HBase的存储模型;结合对HBase集群技术的研究,设计了基于HBase的矢量空间数据存储模型和一种基于MapReduce的并行构建网格空间索引方法,使得海量空间矢量数据的网格索引构建分配到各子节点进行,大大加快索引构建的处理速度;最后,利用HBase集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率。

一种基于HBase的智能电网时序大数据处理方法

随着物联网关键技术与理论的发展,物联网应用受到了越来越多的关注。智能电网是一类典型的物联网应用,遍布全网的传感器收集及产生了大量反映关键设备运行状态的时序数据。如何利用时序数据确保智能电网的安全以及稳定运行是当前的研究热点之一。针对智能电网时序数据设备多、数据规模大、产生速度快等特点,提出了一种基于HBase的海量时序数据存储处理方法,着重介绍了如何利用策略驱动技术实现时序数据的灵活存储与处理。通过构建HBase集群,验证了该方法的有效性。

HBase在智能电网异构数据同步中的应用

未来的智能电网在运行中将会产生海量的多态、异构数据,对这些数据的可靠获取、实时分析、同步及处理会给电网信息系统带来前所未有的压力。因此,把电网大数据迁移到云端—数据中心,来实现异构数据的精准、实时同步则显得尤为必要。以解决未来智能电网大数据处理问题为出发点,通过对电网数据中心相关功能需求进行细致分析,对比传统的关系型数据库建模基础,提出了基于Hbase架构的智能电网数据中心的解决方案。最后通过对比MySQL性能进行模拟测试,得出所提出的设计方案能够很好地适用于未来智能电网数据中心的构建以及异构数据的同步,达到电网大数据的实时共享、监测及准确分析、处理的目的,在未来智能电网信息管理系统中具有广阔的应用前景。

基于Hbase的地震大数据存储研究

提出一种基于Hbase的地震大数据存储方法,通过搭建测试平台、Java语言开发测试程序,并与MySQL在存储、查询结构化与非结构化数据方面进行性能对比。结果表明,Hbase存取地震数据耗时更低,在数据量多时,其性能更加显著。

HOS:一种基于HBase的分布式存储系统设计与实现

大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。

一种基于HBase的高效空间关键字查询策略

随着移动定位技术的发展以及智能手机的普及,互联网中空间文本对象的数量正在急速增长,如何在规模庞大且动态增长的空间文本对象中进行高效的空间关键字查询成为了许多空间关键字查询应用所关心的问题.现有的方法通常利用基于R树和倒排索引的混合索引结构来处理空间关键字查询,然而,面对数量巨大而且不断增长的空间文本对象,这些方法往往难以为空间关键字查询的高效性和扩展性提供支持.对此,提出一种基于HBase的空间文本数据索引结构SK-HBase.SK-HBase以HBase作为数据存储,通过有效的数据分配策略对空间文本对象的空间信息和文本信息同时进行索引.在SK-HBase的基础上,本文提出了两种空间关键字查询算法,以保证不同空间范围下的空间关键字查询的高效性和可扩展性.实验证明,我们的方法能够在海量数据下进行高效的空间关键字查询并具有良好的可扩展性.

一种基于Solr的HBase海量数据二级索引方案

针对HBase不提供二级索引和华为的hindex方案难以满足海量数据检索速度需求的问题,文章设计了基于Solr的HBase二级索引方案SIHBase(Solr Indexing HBase)。该方案使用HBase的Coprocessor(协处理器)为数据表的创建、修改、删除以及数据的插入、更新、删除和恢复等操作都实现了相应的回调函数,通过回调函数向Solr发送相关请求,以实现在Solr中自动为HBase建立和维护二级索引,保证数据与索引的一致性。该方案具有良好的通用性,可以同时为多张表的多列数据建立索引。该方案扩展了HBase的客户端功能,增加了直接查询Solr的接口,利用Solr提供的高效、灵活、多样的检索功能实现对HBase海量数据的快速检索。最后,与hindex进行了二级索引的查询性能对比实验,证明了该方案在查询速度上要远快于hindex。

云计算环境下的一种基于Hbase的ORM设计实现

针对云计算环境下云存储对数据的处理要求,设计一种以ORM(Object Relational Mapping)为基础的Hbase数据持久处理方法.主要利用JPA(Java Persistence API)的annotations来配置Hbase库表后,对存储于Hbase的数据进行持久操作,以达到对底层Hbase API抽象,也可以实现从多云存储上集成与提取数据.最后测试表明能有效为研发人员节约开发时间和降低开发成本.

面向海量交通数据的HBase时空索引

针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。

基于HBase的路网移动对象时空索引方法

在处理路网移动对象时,由于HBase只能采用key查询,不适用于移动对象的多维查询,导致HBase存在存储索引与查询效率不高的问题。针对此问题,在HBase存储结构的基础上设计并实现了一种高效的路网移动对象HBase索引框架(RM-HBase)。首先,对原生HBase索引框架的上层HMaster和下层HRegion Server进行改进,解决分布式集群数据的热点分布问题,提高空间数据的查询效率;其次,提出路网移动索引——RN-tree,解决空间划分中的"死空间"问题,同时提高空间中路段的查询效率;然后,基于上述对HBase的索引改进,分别设计了时空范围查询、时空K最近邻(KNN)查询和移动对象轨迹查询的查询算法;最后,实验选用了同样是基于HBase分布式数据库而提出的时空HBase索引(STEHIX)框架作为对比对象,分别从索引框架的性能和算法的查询效率两个方面对RM-HBase的性能进行分析。实验结果表明,所提的RM-HBase在数据的均衡分布性能和时空查询算法的查询性能方面都优于STEHIX框架,有助于提升海量路网移动对象数据的时空索引效率。