一种基于数据划分实现分布式SPARQL查询的方法

当海量RDF数据存储在分布式平台上时,数据划分的策略将直接影响海量数据的查询效率。为了提高分布式平台上的海量数据查询效率,提出一种基于分布式平台的有效数据划分方法。该方法根据RDF数据图的特征将数据分布在集群的各个节点上,并在此基础上对SPARQL查询语句进行分解,实现高效的分布式查询。算法在云平台上实现,并在真实的RDF数据集上对算法进行了测试。实验结果证明,与基准方法相比,该算法在查询效率上有很大的提高。

基于一致性哈希算法的分布式数据库索引查询优化方法

为了解决分布式数据库索引查询负载不平衡的问题,基于一致性哈希算法设计了分布式数据库索引查询优化方法.根据分布式数据库服务器节点CPU处理能力、带宽和缓存大小,采用动态反馈机制计算各服务器节点的索引查询负载率,通过一致性哈希负载平衡算法将任务分配给各服务器节点,并实时调整负载.以最小总代价为目标,利用多蚁群算法求得最佳查询路径.实验结果显示,基于一致性哈希算法的优化方法整体曲线趋势较平稳,在用户请求数量为4 000条时,最大负载平衡度为1.5%,全程响应时间小于35 ms.这说明该方法能够有效调整分布式数据库的负载分布,且受数据库规模影响较小,具备强大的查询响应能力.

基于人工智能技术的分布式数据库重复记录自动检测系统设计

以人工智能技术为基础前提的分布式数据库重复记录自动检测的方式,以提高数据库查询时的准确率以及查询效率。设计系统首先对数据信息进行对应的特征提取,而后通过权衡函数对样本信息进行整合,通过自适应分解得到相应的目标函数并求解,结合灰狼算法以及Shingle完成数据查询。经过算例验证,改进设计方式准确率均超过90%,平均耗时在35 s以内,满足自动查询快速精确的要求。

基于电网分布式存储构建业务分析模型的探索和研究

由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明:所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。

分布式环境下大规模移动对象范围查询算法

移动对象的连续范围查询是许多基于位置的服务的核心问题。针对该问题,提出一种面向大规模移动对象并发范围查询的分布式搜索方法。首先,设计了一种由全局网格索引(GGI)和局部弹性四叉树构成的移动对象分布式动态索引(DDI)结构。其次,提出了一种基于DDI结构的分布式查询算法(DSA),该算法首先引入了一种在移动对象和查询点的位置连续变化的情况下的查询结果增量更新策略;然后,在增量更新过程中引入一种面向多并发查询的共享计算优化策略,该策略能够根据已有计算结果对移动对象范围查询结果进行增量搜索。最后,基于德国路网模拟了3个具有不同空间分布的移动对象数据集,将DSA与NS(Naive Search)、GI(Grid Index)和分布式混合索引(DHI)进行对比。实验结果表明,与性能最好的对比算法DHI相比,DSA的初始查询时间减少了22.7%,增量查询时间减少了15.2%,性能优于对比算法。

面向分布式的SPARQL查询优化算法

采用分布式来实现SPARQL(Simple Protocol and RDF Query Language)查询是解决海量RDF(Resource Description Framework)查询的一种新思路。目前实现的基于Hadoop的RDF查询都要启用多个MapReduce来完成任务,浪费时间。为了克服此缺点,提出MRQJ(using MapReduce to query and join)算法,用以实现SPARQL的分布式查询。该算法分为连接计划生成与SPARQL查询执行两个部分:连接计划生成采用贪心策略,生成最优的连接方案;在SPARQL查询执行中只需结合一次MapReduce计算即可得到查询结果。在LUBM数据集上进行的测试实验表明:在查询语句较为复杂的情况下,MRQJ方法的查询效率具有明显的优势。

分布式资源描述框架数据管理系统查询性能评价

随着知识图谱技术的不断发展,知识图谱驱动的知识信息管理广泛应用于各个领域,因此面向知识图谱的分布式SPARQL(Simple Protocol and Resource description framework Query Language)的查询效率显得尤为重要。首先针对现有的基于Spark和基于主存(RAM)的分布式资源描述框架(RDF)系统进行详细调研;其次,从上述系统中选出8个具有代表性的系统进行查询性能评估,比较基于Spark和基于RAM的系统在不同查询类型、查询直径、数据集上的查询性能差异;然后,全面分析实验结果,对基于Spark和基于RAM的系统的查询性能进行评价;最后,针对现有系统在分布式SPARQL查询中存在的查询伸缩性差、查询连接复杂度高、查询编译时间长等问题,展望面向垂直应用领域的分布式SPARQL查询优化的未来研究方向。

FusionDB:基于分布式查询引擎和HDFS的SPARQL查询处理系统

近年来,互联网上的RDF三元组数量增长迅速,传统的单机SPARQL查询处理技术已不能满足实际需要.现有的分布式SPARQL查询处理系统可以分为2类,基于Hadoop的,或是基于数据库集群的.前者主要采用Map?Reduce来处理查询,效率较低;后者则继承了传统数据库集群的缺陷,可扩展性较差.提出一个新颖的SPARQL查询处理系统FusionDB.该系统采用分布式查询处理引擎和HDFS,这样既可以受益于传统的分布式数据库技术,如分布式连接、流水线、负载均衡等,又从新兴的Hadoop技术中得到了良好的容错能力和高可扩展性.为了进一步加速查询处理的效率,FusionDB还在HDFS文件上增加了注入式索引.实验表明,相比于传统的系统,FusionDB在性能上具有明显的优势.

海量空间数据的分布式存储查询优化分析

海量空间数据的分布式存储查询优化可提高数据分析的有效性,以海量空间数据为中心,从服务范围查询性能的角度,建立以SPark平台与MySQL数据库为中心的海量空间数据分布式平台,并引入索引机制,利用空间编码技术以及分布式存储搭建海量空间数据存储模型,对海量空间数据的存储查询进行优化,旨在进一步提高海量空间数据的查询响应速度与应用效果。

基于HDF5的煤矿地质三维层叠网格模型分布式存储研究

利用真三维网格化地质模型实现煤矿地质环境的多分辨率表达和多参数的融合是煤矿地学大数据研究的重点内容之一,其核心问题是三维地质模型数据组织、存储和管理等。针对煤矿三维地质网格模型的数据规模、分布式存储和查询性能等问题,提出了一种基于HDF5的煤矿地质三维层叠网格模型分布式存储方案。在网格数据组织方面,采用层叠网格模型对三维地质模型数据进行压缩和分块组织,通过数据分块解决大规模地质网格模型数据的组织问题,数据分块同时将空间相近的数据集中在相邻的硬盘扇区或存储设备中,有利于提高数据调度效率。在数据存储方面,HDF5作为存储的持久化层,用来存储所有的原始数据,采用内存数据库Redis存储热点数据、HDF5元数据等相关信息。在Web服务方面,使用H5Serv发送和接收HDF5数据。在HDF5实现分布式方面,利用网络文件系统(NFS)实现HDF5数据在不同节点服务器之间的共享;利用Rsync和Inotify实现HDF5数据在不同节点服务器的数据实时同步;通过Nginx实现访问时反向代理和数据服务节点的负载均衡。使用Docker容器技术将数据节点服务和Nginx服务进行统一部署,通过JupyterLab交互式分析平台实现实时数据资源的调度和管理。实验结果表明:基于层叠网格的地质模型数据组织和基于HDF5的分布式存储可实现煤矿三维地质网格模型的有效存储管理和空间查询;相对于体素模型和八叉树模型,层叠网格模型数据量小,便于实现地质界面的空间快速查询,空间查询性能优于关系型数据库MySQL和非关系型数据库MongoDB,更适合煤系沉积地层结构的网格化表达和数据组织;基于HDF5的文件存储明显比MySQL和MongoDB数据库存储更加节省空间,主要原因在于HDF5的DataSet可直接存储数据块,不需要额外存储信息。基于层叠网格模型和HDF5的数据组织和存储方案可为煤矿三维地质网格模型的有效存储管理提供借鉴。

基于遗传算法的分布式数据库查询优化研究

在收益半连接研究基础之上,本文提出一种新的查询执行计划代价模型,它包括关系副本选择、查询多连接次序、操作站点的选择、数据的传输及数据局部处理等因素,准确地表示了分布式数据库查询执行代价,并且给出了解决基于此代价模型查询优化问题的遗传算法,实验结果表明,该算法有较好的寻优效果,更具有实际意义.

分布式计算环境中的空间查询语言全局解析机制

讨论一种在分布式计算环境中实现基于全局逻辑的空间查询语言解析方法,并给出其实现机制。提出空间查询语言的全局解析模型及等价分布程序的概念,给出将全局空间查询语句解析为等价分布程序的方法。利用该方法能够完成全局空间查询语句到局部查询语句的映射,从而支持空间数据的分布式查询。

一种基于事先测试的分布式数据库优化联接查询技术

在分布式数据库系统中,查询优化是一极其重要的问题,其中联接查询的优化因其应用的广泛性而显得尤为关键.本文介绍了在分布式数据库系统中对联接查询的一般处理方法,详细论述了笔者提出的一种在分布式数据库中基于事先测试的优化联接查询技术,并进行了分析与总结.

分布式查询优化算法与应用实践

依据笔者开发大型分布数据库的应用实践,首先介绍半连接、选择因子、收益分析等基础概念,其次介绍分布式查询处理过程,主要阐述以半连接为核心的SDD-1查询优化算法,最后以实例说明该算法的实现并比较实际收益情况.

基于Agent的分布式查询优化研究

Internet上异构的软硬件环境以及多种并行机制对分布式查询优化技术提出了新的挑战,文章将分布式人工智能与数据库管理系统两个研究领域相结合,给出了基于Agent的分布式查询优化系统模型,在该系统中,Agent采用了典型的慎思型体系结构,即BDI模型。Agent具有信念库,目标库并在此基础上进行学习和推理,多个Agent之间通过协调,协作以及协商以支持分布式数据库系统的动态查询优化和规划的执行,提高系统的查询效率。

大规模分布式系统中的多属性查询处理

大规模分布式系统中的复杂查询处理是将对等计算技术运用于关键应用中的重要问题,是学术界与工业界所共同关注的研究问题.文中介绍了一种高效、可伸缩的通用的基于类Chord协议的多属性查询处理技术GChord.它既支持匹配查询也支持范围查询.和现有其它技术相比,对于任何数据元组,GChord只需要对其编码和索引一次,且能将查询处理的代价限制在一个很小的范围内.因此,它能在索引维护代价和查询效率之间达到平衡.GChord还提供优化技术以进一步提升性能.实验证实了GChord具有较高的查询处理效率以及较低的索引维护代价.

分布式数据库中基于半连接的查询优化算法研究

首先阐述了分布式查询优化的主要目标,介绍了半连接算法和基于半连接的二分劈开缩减算法,分析了两者的特点和不足并在其基础上提出了一种新的优化算法——两次半连接对接算法。通过进行两次半连接减少了通信信息量,并且利用多结点的并行性处理提高了查询的响应时间和处理速度。通过对三种算法的比较对新算法的性能进行了分析,结果表明,该算法在某些特定的环境下确实具有较高的处理速度、节点利用率和实际可行性,适合大规模的数据库查询。

校园网格环境下异构数据库的集成与分布式查询

针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下海量数据的连接操作算法,算法依据分布式数据库的固有并行性,利用数据划分来提高查询的并行处理程度,以改进响应时间。理论分析表明,该算法在减少网络通信开销和降低响应时间方面具有较好的性能。

AnyQuery:网格环境下基于服务的分布式查询处理系统

AnyQuery是一种适用于网格环境、基于服务的分布式查询处理系统,使用统一的数据格式(可扩展标记语言)来表示和传输数据,所有组成模块以网格服务的形式实现,网格服务之间通过标准的接口进行通信.这种接口和实现分离技术屏蔽了不同数据库及其运行节点的差异,为用户提供一致的虚拟关系数据视图和分布式数据查询支持.在分析和研究已有的并行数据库和分布式数据库查询技术的基础上,AnyQuery提出和实现了一种适用于动态网格环境的分布式查询计划生成和执行算法,该算法能够根据网格环境中各节点及其连接网络的实际情况确定查询计划,支持跨数据库的连接查询.基于Globus3.0开发了AnyQuery的原型系统,性能测试表明该系统具有较好的可扩展性,尤其适合计算密集型的复杂查询.

基于等价变换的分布式查询优化方法研究

分析了分布式数据库的查询准则、代价估算及分布式查询的层次结构,并利用关系操作与SQL描述存在对应关系的特点,将分布式查询转换关系代数表达式,对关系代数表达式进行等价变换实现查询的优化,最后以实例对基于关系代数等价变换的分布式数据库查询优化方法进行验证。