基于数据网格环境的连接操作算法

数据网格是一种分布式数据管理体系结构 ,能够为分布在网格中的资源提供协同的管理机制 数据库管理系统在数据网格中发挥着重要作用 ,在各种数据库操作中 ,连接操作是一种最常用也是最耗时的操作 ,到目前为止 ,尚未有文献提出数据网格环境下的连接操作算法 主要对数据网格环境下海量数据的连接操作算法进行了研究 ,针对网格中各结点之间网络带宽异构的特点 ,采取关系缩减算法、行分块传输技术和流水线并行机制来减少查询的响应时间 理论分析和实验结果证明 ,算法在减少网络通信开销、增加I/O和CPU并行。

分布式数据库中半连接操作的查询优化

查询优化技术是分布式数据库中的关键技术、而半连接操作是查询技术中的非常有效和重要的技术.介绍了查询优化技术实现的目标、查询执行的途径,分析了分布式数据库中半连接操作的执行代价,半连接的操作过程,比较了两种半连接操作的执行代价评估和优化结果,并给出结论.

关系数据库中连接操作的代价

数据库查询中,连接操作的性能在很大程序上影响了查询操作的效率,本章从循环嵌套连接、排序合并连接和散列连接等几个方面研究了连接操作的代价。

基于Vague关系数据模型的连接操作

模糊数据库由于其所含信息的模糊性,可分解为现实世界的多种可能性状态。在已有研究的基础上,对基于Vague关系数据模型的Vague连接操作进行研究,并在限定条件下,给出一个Vague外键连接操作计算公式。该公式可直接用于Vague数据库,可避免对Vague数据库对应的所有可能性状态逐一进行操作,且查询结果满足性质rep(q(T))=q(rep(T))。与基于可能性状态的查询方法相比,该方法的查询结果有效且具有较高的执行效率。

连接操作在SIMFS和EXT4上的性能比较

连接操作是关系数据库系统中最基本、最昂贵的操作,对数据库性能有巨大的影响。由于连接表存放在文件系统中,因此文件系统的性能对连接操作的性能有决定性的影响。不同文件系统的连接操作性能测试对数据库研究有重要意义,但目前相关测试较少。首先对比分析了新型内存文件系统SIMFS(Sustainable In-Memory File System)的数据读写路径与磁盘文件系统EXT4(Fourth Extended File System)I/O路径等方面的差异;然后设计实验测试了不同文件系统对连接操作的影响,其中对SIMFS和EXT4分别设置了不同的数据读写块大小和I/O块大小等测试指标。实验表明,连接操作在SIMFS和EXT4上的性能优化、块大小影响、性能提升瓶颈、硬件约束等方面均存在明显差异。在实验结果比较分析的基础上,给出了针对新型内存文件系统连接操作的优化建议。

对象的连接操作

本文讨论了如何在面向对象模型中引入连接操作,包括其形式、特点和实现方面.

半连接查询优化算法的研究

为了提高分布式数据库管理系统的查询效率,分析了分布式数据库管理系统的特点,找出了影响分布式数据库管理系统查询效率的关键因素,讨论了直接连接查询的常见策略和半连接查询的原理、实现方法以及所花费的传输代价,最后结合分布式数据库管理系统的具体实例提出了一种半连接查询策略。改进后的半连接查询策略优化了连接方案,降低了数据传输过程的成本,缩短了查询处理的响应时间,提高了查询操作的效率。

基于向量引用Platform-Oblivious内存连接优化技术

以MapD为代表的图分析数据库系统通过GPU、Phi等新型众核处理器来支持高性能分析处理,在面向复杂数据模式时,连接操作仍然是重要的性能瓶颈.近年来,异构处理器逐渐成为高性能计算的主流平台,内存连接性能的研究从多核CPU平台扩展到新兴的众核处理器,但众多的研究成果并未系统地揭示连接算法性能、连接数据集大小、硬件架构之间的内在联系,难以为未来异构处理器平台的数据库提供连接平台优化选择策略.以面向多核CPU、Xeon Phi、GPU处理器平台的内存连接优化技术为目标,通过优化内存哈希表设计,实现以向量映射替代哈希映射操作,消除哈希代价对内存连接算法的影响,从而更加准确地测量内存连接算法在多核CPU的cache大小、Xeon Phi的cache大小、Xeon Phi的并发多线程、GPU的SIMT(单指令多线程)机制等硬件相关因素影响下的性能特征.实验结果表明,缓存与并发多线程机制是提高内存连接算法性能的重要影响因素.缓存机制对于满足cache大小的连接操作具有性能优势,而GPU的并发多线程机制则在较大表的连接操作中具有较高的性能,Xeon Phi则在满足其L2 cache大小的连接操作中具有最高性能.实验结果揭示了内存连接操作性能与异构处理器硬件特性的联系,为未来异构处理器平台内存数据库查询优化器提供了优化策略.

基于共享存储的MPP数据库连接执行研究

为解决哈希分布表转换为随机分布表后连接效率低的问题,提出一种大规模并行处理数据库中哈希表的并行连接操作算法。根据共享存储环境下哈希分布表的数据块分布特性,并结合随机读取的扫描优势,利用数据多副本分布式存储提高本地读比率,且不损失数据块哈希分布的特性。TPC-H标准测试结果表明,与传统并行连接算法相比,该算法能有效提高连接操作效率,连接查询语句最高可降低30%的响应时间。

OceanBase中基于布隆过滤器的连接算法

在大数据时代,"去IOE"运动的推进以及"双11"等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.

基于GPU的不确定数据流窗口连接运算

在很多新兴应用领域、如传感器网络,实时监控系统等,产生的数据流是不断变化的、连续到达的、数据值可能不确定、且必须被快速处理。其中有些操作,如数据流的实时窗口连接运算,非常消耗时间,这对数据流处理系统的性能提出了严峻的挑战。目前,大多数算法采用软件优化来提高处理速度,但其性能提高有限。利用GPU(图形处理器)的高并行度、多线程、高带宽的并行处理能力,设计了一种软硬件结合的方法来加速处理数据流的窗口连接操作。在CUDA(统一计算架构)下,由CPU控制将内存中的数据传输至GPU存储器中,然后利用多线程进行并行处理。实验验证了提出的方法可以大幅度提高多数据流窗口连接的处理速度,可达到纯软件处理的50倍左右。

基于半连接的分布式数据库查询优化研究

分布式数据库系统的分布和冗余使查询处理复杂化,因此分布式查询处理的优化显得尤为重要。半连接操作是查询技术中的非常有效和重要的技术。分析分布式数据库中半连接操作的过程以及执行代价,比较两种半连接操作的执行代价评估,介绍SDD-1算法。

基于图结构索引的分布式OLAP加速方法

随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎这3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍.

校园网格环境下异构数据库的集成与分布式查询

针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下海量数据的连接操作算法,算法依据分布式数据库的固有并行性,利用数据划分来提高查询的并行处理程度,以改进响应时间。理论分析表明,该算法在减少网络通信开销和降低响应时间方面具有较好的性能。

扩展关系数据模型下的Credal网络近似推理

对扩展关系数据模型作进一步延伸,构建了扩展乘积连接和扩展边缘连接操作。提出利用上述操作计算Credal网络中各结点联合概率分布和后验概率的方法,从而实现了Credal网络的近似推理,并给出了该近似推理的SQL语言实现算法,算例结果表明该方法是有效的。建立了Credal网络的关系数据结构,利用关系数据库的查询优化机制,有效规避了Credal网络推理过程中Credal集顶点组合爆炸问题,提高了Credal网络推理的效率。

关联数据分布树在分布式查询中的应用

连接操作是影响分布式查询性能的关键因素,数据存储是影响连接操作的重要因素。为了提高分布式系统的查询性能,通过研究数据之间的关系,提出一个关联数据分布树。利用该关联数据分布树来构造一系列的关联元组集合,然后按照各个站点的负载能力,把这些关联数据集合分配给相关站点。实验结果表明,当多个关系频繁的进行连接操作时,关联数据分布树能有效地提高整个分布式系统的查询性能。

数据库概论精品课程建设探索

以数据库概论课程教学中具有代表性的知识点为例,阐述"研究式"教学理念的探索与实践过程并作深入分析。

分布式数据库查询优化分析及实例

查询优化是分布式数据库研究的关键技术,在介绍了分布式查询优化的准则的基础上,分析了分布式数据库中查询代价的估算方法、数据在传输中的通信代价以及效益估测,并给出了分布式查询处理的层次结构。最后用分布式数据库的实例分析了查询优化的策略比较。

可扩展的流数据Join处理框架

在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处理多并发join任务的流数据处理机制。为此提出一个可扩展的流数据join处理框架S2J,此框架采用了数据流导向的处理模型,并将整个join操作分解为适当个数的串联的join处理单元,同时采用基于元组块的信息传输协议减少信息传输中的过载现象。该框架能有效处理θ-join,并保证join操作的实时性和结果完整性。大量实验证明了该框架的高效性和有效性。

一种用于流式内容分发的分布式文件系统

DistFS是一种用来提供文件夹元数据的同步和按需提供数据流的文件系统,主要应用于Linux以及Soloris,HP-UX等UNIX操作系统中,它存在于操作系统的虚文件系统和物理文件系统的中间,是相对独立的一层。通过在Internet上的代理系统配置多媒体文件的缓存,该文件系统的流式传输特性能够最大限度的发挥其在服务器访问上所具备的许多优势。