基于MapReduce平台的大数据查询与处理优化算法

基于MapReduce编程并行计算框架、RSJ表连接算法等软件技术,构建了混合式MapReduce并行运算处理系统,通过读取元信息管理表的数据、提取表连接属性信息,按照表数据的属性列进行完整的数据复制与存储,得到合并汇总后完整的共享信息,使用改进RSJ的分布式缓存表连接算法滤除不满足连接条件的数据。仿真实验表明,运用MapReduce并行计算框架和RSJ表连接算法进行数据处理,可减少Map端输出的数据量,缩短网络数据传输与处理时长,实现海量化大数据查询与处理的优化目标。

基于遗传算法的多连接表达式并行查询优化

多连接表达式的并行查询优化是提高数据库性能的关键问题之一.提出了使用遗传算法来解决多连接表达式的并行查询优化问题.为了提高查询处理器的执行效率,采用启发式规则来搜索最优的多连接表达式并行调度执行计划.文中给出了详细的测试结果和性能分析.实验结果表明,结合启发式知识的遗传算法是解决多连并行查询优化的有效途径,对提高数据库的性能起到重要作用.

基于半连接的并行查询处理算法的研究

多元连接查询的并行执行是并行数据库的研究重点 ,传统的并行查询处理算法没有利用面向对象数据库及其查询的特点 ,算法效率较低 .借鉴分布式数据库查询处理中基于半连接的优化思想 ,提出了基于半连接的并行查询处理算法 .性能评价表明了其实用性和有效性 .

基于并行遗传-最大最小蚁群算法的分布式数据库查询优化

针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际的企业分布式信息管理系统设计FSS,启发式选择较优关系副本,以减少查询连接代价并缩小PGA-MMAS的搜索空间;然后结合遗传算法(GA)收敛较快的优势,对最终连接关系进行编码和并行遗传操作,得到一组相对较优的QEP,并将其转化为并行最大最小蚁群算法(MMAS)的初始信息素分布,从而使其更快速地搜索到全局最优QEP;最后分别在不同关系数情况下对算法进行仿真实验,结果表明,基于FSS的PGA-MMAS搜索最优QEP的效率高于原GA以及基于FFS的GA、MMAS和GA-MMAS;经实际工程应用验证,所提算法搜索出的高质量QEP可以提高分布式数据库多关系查询效率。

基于机群系统的并行多连接查询优化算法

多连接查询优化是并行数据库系统的核心问题。已有的研究工作多集中于连接个数较少的情况,不适用于机群系统中的多连接查询优化。在机群环境中,系统的通信带宽是一种瓶颈资源。提出了基于遗传算法的多连接查询优化算法,算法考虑了关系的存储信息和网络的通信代价,有效地利用了机群系统中的资源。实验结果表明,算法具有良好的性能,能够提高多连接查询的执行效率。

提高数据仓库中查询性能的一种并行多表连接算法

星型模式是当前数据仓库设计中广泛采用的逻辑模式。针对星型模式数据仓库中潜在的查询性能问题，结合数据仓库中的ORV，利用面向对象中的消息机制，提出了基于对象关系视图（ORV）的多表连接并行查询算法，并对算法的磁盘I/O操作次数、算法的时间复杂度进行了分析。

并行数据操作算法和查询优化技术

本文是并行数据库的查询处理并行化技术和物理设计方法”一文的续篇，继续综述并行数据库系统的另外两个重要研究领域：并行数据操作算法和并行数据库查询优化技术．最后，作为并行数据库系统研究与进展情况综述的结尾，本文将探讨并行数据库系统今后的研究方向和问题．

一个适于并行处理的N链递归查询算法

目前 ,存在两个制约演绎数据库发展的关键问题 ,其一是效率低下 ;其二是现有的查询算法适用范围窄 .针对这两个问题 ,本文介绍了一种应用于

基于丛生树的可调节的并行查询优化算法研究

在分析现有的并行查询优化算法的基础上，提出了一种新的并行查询优化算法，该算法充分考虑并行计算机的物理限制，以丛生树为模型，利用大关系的数量对操作内的并行性、操作间的独立并行性以及操作间流水并行性进行调节。

无空闲时隙并行识别动态多叉查询树算法

针对无空闲时隙的动态多叉查询树RFID防碰撞算法在标签识别过程中吞吐量不稳定和识别效率低的问题,提出一种无空闲时隙并行识别动态多叉查询树算法。该算法利用同步正交码(WALSH)作为扩频码的码分多址技术,实现在单一时隙并行识别多个标签的功能;通过跟踪碰撞标签的碰撞位,预测标签分布,消除不存在的标签分支;使用后退查询方式减少数据传输位数,提高识别速度。理论分析和仿真结果表明该算法具有较少的总时隙数和较高的系统吞吐量。

高维空间范围查询并行算法研究

采用并行技术提出一种高维空间范围查询并行算法,该算法将d维空间范围查询转换成d个从节点机上的一维空间范围查询,d个从节点机可以并行执行查询操作,主节点机只需要求得d个从节点机返回结果的交集,因此大大减少了查询时间.实验结果表明在高维空间中算法的查询效率优于上述算法.

并行数据库的3个查询算法综述

在本篇论文中,综合阐述了并行数据库的几个查询算法,并且予以分析。

XML数据查询的并行算法

目前已经提出了多种查询XML数据的方法,然而这些传统的方法不能充分利用多处理器和多核心处理器的优势。本文提出了一种XML查询的并行算法,大幅提高了共享存储器多处理器、多核心处理器系统中XML数据的查询效率。

分布式数据库中基于半连接的查询优化算法研究

首先阐述了分布式查询优化的主要目标,介绍了半连接算法和基于半连接的二分劈开缩减算法,分析了两者的特点和不足并在其基础上提出了一种新的优化算法——两次半连接对接算法。通过进行两次半连接减少了通信信息量,并且利用多结点的并行性处理提高了查询的响应时间和处理速度。通过对三种算法的比较对新算法的性能进行了分析,结果表明,该算法在某些特定的环境下确实具有较高的处理速度、节点利用率和实际可行性,适合大规模的数据库查询。

并行数据库查询优化技术的最新进展

传统的查询树及基于多重加权树的查询优化方法,研究得比较成熟,语义查询优化方法将一个查询变换成一个或数个语义等价的查询,基于Agent的并行数据库查询优化采用Multi-Agent技术自动查找与给定查询有关的完整性约束条件,使得多个关系间连接操作的效率得到很大地提高。并行数据库的查询优化领域的3个重要方向为基于机群系统的并行数据库查询优化研究,将MAS技术及专家系统引入本领域,将模拟退火算法及神经网络算法引入本领域。

一种分布式数据库多元连接查询优化算法及改进

论文对于分布式数据库中的多元连接查询提出了一种优化算法。该算法产生的操作序列具有全局优化特征。在远程网中，采用最小生成树算法，生成最佳的连接序对能使得总的代价达到最小。而在局域网中，采用改进的最小生成树算法，生成尽可能多的并行连接序对，最大程度地应用并行性，使得响应时间最小。

基于Shared-Nothing的并行Hash连接算法效率分析

该文研究了基于 Shared- Nothing结构的几种常用并行连接算法 ,分析了影响查询响应时间的各种因素 .在此基础上 ,以多种硬件成分作为参数建立一个代价分析模型 .使用该模型计算并行 Hash算法在每个处理机上的平均任务执行时间和总的查询响应时间 ,并比较了几种算法在不同硬件配置下的执行效率 .所提出的模型和分析方法为评价和选取并行连接算法提供了一种可行的途径 .

基于MapReduce的空间kANN查询

引入VoR-Tree空间索引,并基于传统MQM算法对kANN查询算法进行并行化改造,使得空间数据的存储和计算都迁徙到Hadoop集群上,并通过实验对该算法进行了性能测试和分析。结果表明,与单节点计算相比,基于VoR-Tree索引的并行kANN查询算法程序具有良好的性能和近似直线的加速比。

多元连接查询的并行执行

文中首先分析了传统的并行查询处理算法 ,然后针对面向对象数据库及其查询的特点 ,结合查询处理的分阶段执行策略、基于对象类的混合式数据放置策略和基于合格标记的数据操作并行执行算法 ,提出了基于 semi-join的并行查询处理算法 ,对算法的正确性进行了证明 。

图形处理器上CSB^+-树索引的并行构建算法

为提高缓存敏感CSB+-树索引的操作效率,在图形处理器(GPU)上研究CSB+-树的并行构建和查询性能.通过分析索引树内部节点的每一键与对应叶子节点的映射关系,提出了一种一次性并行构建CSB+-树所有内部节点键值的无锁并行算法,以最大并行度来快速构建索引树.该算法通过设计GPU平台上支持CSB+-树的索引数据任意伸缩的动态数组来解决GPU上不能动态分配显存空间的问题,通过在索引内部节点的边界增加填充位来减少线程块的线程分支数,从而提高CSB+-树的查询效率.实验结果表明,文中所提算法的运行时间比基于单个节点和基于树层的并行算法分别提高了31.0和1.4倍.