用于多表连接优化的深度强化学习嵌入表示

针对数据库查询优化中多表连接优化问题,任务是找到一个合适的连接顺序使查询执行计划最优,为此提出一种查询语句的嵌入表示方法SmartEncoder。通过优化查询语句中多表连接的嵌入表示信息,得到更丰富的关于连接的信息,将多表连接顺序选择优化建模为深度强化学习问题,根据动作的概率分布选择连接,从过去的经验中学习,生成更好的查询执行计划。在Join Order Benchmark数据集上的实验结果表明,SmartEncoder能够有效提高查询的效率。

使用图神经网络选择并行查询的执行计划

查询作为数据库系统(database system,DBS)占比最大的操作,其效率在很大程度上影响着DBS的性能,为查询选择一个较优的执行计划、提高查询效率是提高DBS效率的关键。查询执行受到其他查询的影响产生查询交互(query interaction,QI),是查询优化器难以为并行查询选择较优执行计划的主要因素。提出一种以操作为单位表示查询执行计划的编码方式(features of plans based on operator,FPO),并用操作之间的数据共享关系以及资源竞争关系反映QI;在此基础上,提出基于图神经网络的查询执行计划选择模型(plan selection based on graph,PSG)。PSG将操作作为节点,操作特征作为节点特征,操作间的关系作为边,生成异构图,作为模型的输入;考虑到操作间的关系有多种、作用不同,使用关系图卷积网络(relational graph convolutional network,RGCN)聚合信息,得到查询组合的图表示,提取其QI,通过全连接层(fully connected layers,FC),为查询选择执行计划。在PostgreSQL上的实验表明,PSG的平均准确率比查询优化器提高了47.3个百分点。

基于共享的MapReduce多查询优化技术

为解决MapReduce处理多个查询时效率低下的问题,提出了一种基于查询共享的MapReduce查询优化方法——ShareOpt优化。通过分析所有查询的操作模式,找出其中共享的子查询部分,并根据子查询的执行顺序构造执行计划有向图(DAG),最终确定一组查询的整体执行计划。通过与Hive和Pig的对比,验证了该方法能够在保证准确性的情况下有效地减少执行步数,提高查询执行的效率。

基于本体的XML数据集成的查询处理

数据集成在很长一段时间一直为人们所关注.随着XML逐渐成为Web上发布和交换数据的标准,研究人员提出了基于本体的XML数据的语义集成方案.此文对于这样的方案进行了形式化,提出的算法NaiveMaxQEP解决了最大查询计划的生成问题;并基于非完整性角色个数有限的假设,对于查询执行计划生成算法进行了优化,提出了OptMaxQEP算法;为支持高效的分布式资源整合,文章还给出了网络代价优化算法NetOptQEP,基于网络代价对输出的执行计划进行了优化.

基于并行遗传-最大最小蚁群算法的分布式数据库查询优化

针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际的企业分布式信息管理系统设计FSS,启发式选择较优关系副本,以减少查询连接代价并缩小PGA-MMAS的搜索空间;然后结合遗传算法(GA)收敛较快的优势,对最终连接关系进行编码和并行遗传操作,得到一组相对较优的QEP,并将其转化为并行最大最小蚁群算法(MMAS)的初始信息素分布,从而使其更快速地搜索到全局最优QEP;最后分别在不同关系数情况下对算法进行仿真实验,结果表明,基于FSS的PGA-MMAS搜索最优QEP的效率高于原GA以及基于FFS的GA、MMAS和GA-MMAS;经实际工程应用验证,所提算法搜索出的高质量QEP可以提高分布式数据库多关系查询效率。

基于改进蚁群算法的数据仓库多连接查询优化

传统蚁群算法在解决数据仓库查询优化问题时存在过早收敛、收敛速度慢的缺点。为此,对传统蚁群算法进行改进,将伪随机状态转移规则引入最大最小蚁群系统,在每次迭代结束后进行迭代局部搜索。实验结果表明,改进算法在多表连接查询优化中具有较快的收敛速度,能提高最优解的质量。

基于改进DPhyp算法的Impala查询优化

针对目前基于动态规划查询超图(dynamic programming hypergraphs,DPhyp)优化SQL查询算法产生指数运行时间、传统代价模型难以直接适用于Impala大数据实时查询系统等问题,提出基于改进DPhyp算法的Impala查询优化方法.首先,构建满足左线性树的搜索策略,缩小整个执行计划的搜索空间;接着,综合考虑数据移动代价及Hash join算法运行等关键因素,结合提出的代价模型,生成最佳的join顺序;最后,在生成的join顺序基础上构建执行计划,执行后返回最终查询结果.大量实验结果表明,改进的DPhyp算法与DPhyp生成的join顺序一致,且前者算法运行效率比后者要快近一倍.另外,改进的DPhyp算法结合提出的代价模型,比原始的Impala查询响应时间平均减少67%~80%.

基于动态视图的数据库性能调优

针对数据库可能出现负载异常波动影响性能的问题,可使用外部图形化工具监控和优化数据库,但是这些软件在服务器运行将会占用大量资源,而且很多调优方法都相对片面缺乏整体思路。鉴于此,提出一种基于动态视图的数据库性能调优方法。该方法从系统性能参数入手,通过建立全局性能基线,结合动态视图分析资源耗费原因,研究如何降低执行开销。实验选用示例数据库的12万条记录进行实例验证,结果表明该方法可以有效解决大规模数据处理的实际效能问题。

SQL Server查询优化器原理与优化实例分析

查询是数据库的核心操作,随着数据库技术的发展以及数据量急剧增加,对查询性能的要求越来越高,查询优化成为数据库管理系统亟待解决的重要问题。文中针对应用最广泛的SQL Server数据库的查询优化器进行研究。通过图形研究查询优化器的工作原理,并深入分析提交SQL语句、解析、代数化、查询优化、编译、执行、结果等查询优化器的工作步骤;进行实例分析,运用图形表示了逻辑树和经过优化后得到的查询执行计划。结果表明,SQL语句是查询优化的基础,实际应用时需要写出符合查询优化器规则的SQL语句。

面向对象图象处理的研究

针对当前微机图象处理领域中存在的一些问题，本文提出了一种面向对象的图象处理方法，这对于解决微机图象处理中存在的问题具有一定的参考价值。

基于线性浓密树的并行数据库查询优化算法

查询优化是并行数据库的核心技术。基于线性浓密树的查询优化方法是对基于浓密树(Bushy-Tree)查询优化方法的一种改进,这种优化方法大大地缩减了查询执行计划空间,确保了并行查询执行计划的优化性。

基于丛生树的片段式并行查询优化技术研究

该文以丛生树模型为基础，提出了一种片段式查询执行计划。该执行计划将查询树划分成多个按流水线方式执行的片段，各片段依次执行。该执行计划可以减少中间结果的Ｉ／０次数，更充分地利用内存资源。文中还举例说明了计划的执行过程。

基于LBT树的并行数据库查询优化方法

本文提出了一种基于 L BT(L inear- Bushy- Tree)树的查询优化方法 ,它是对基于浓密树 (Bushy- Tree)查询优化方法的一种改进 .这种优化方法大大地缩减了查询执行计划空间 ,确保了并行查询执行计划的优化性 .这种优化方法已经在我们自主研制的并行数据库管理系统 PDBMS[1 ,4 ]

通用结构下的位置相关丛生树模型

在并行查询处理研究中，人们提出了三种基本的查询规划树表示形式，即左深树、右深树和丛生树形式。丛生树由于其搜索空间巨大，实际应用中往往需要对其搜索空间加以某种限定。结合通用并行结构的特点，利用数据位置相关特性首次提出了一种新的受限丛生树结构，即位置相关丛生树。

结构化查询语言动态功耗解析及建模

为构建节能的绿色数据库,提出一种基于结构化查询语言(SQL)资源(中央处理单元(CPU)、磁盘)消耗的最小单位的数据库动态能耗模型。该模型对系统动态能耗进行解析,将系统主要硬件(CPU、磁盘)的资源消耗映射成功率消耗,采用多元线性回归方法拟合模型关键参数,实时地估算系统动态功率,构建单位统一的动态功耗模型。实验结果表明,相比基于元组总数的模型,CPU指令总数能更好地反映CPU的功率消耗,所构模型在数据库管理系统(DBMS)独占系统资源的静态环境下,平均相对误差小于6%,绝对误差不超过9%。该动态功耗模型更适合于构建节能的绿色数据库。

DB2数据库查询优化策略

数据库的查询优化是改善应用程序性能的重要手段。通过分析IBM DB2数据库系统的最优化处理器的工作原理,对查询性能影响较大的统计信息更新、索引建立、SQL查询语句构造3个方面提出具体优化建议。建立了一套完整的测试方案,对每一条优化建议都使用具体SQL语句进行严格的验证。开发者要注意分析查询语句的时间开销和空间开销,才能写出较优的查询语句。

Lucene架构下布尔查询的执行计划研究

Lucene是一个优秀的全文检索框架,布尔查询是其实现精准数据检索的重要功能.对于布尔查询执行计划的深入研究,有利于灵活应用布尔查询,优化查询表达式,提高执行效率.本文从Lucene架构下布尔查询的执行计划入手,研究了布尔查询的表示方式、执行时序、逻辑运算规则和子查询归并算法.根据布尔查询的执行计划,提出了深度为2的复杂布尔查询的化简规律和布尔逻辑运算满足交换律的特性,并从理论上证明它们的正确性.最后通过实验模拟仿真,验证这些规律的有效性.

并行查询下查询执行计划的选择

查询是数据库系统的主要负载,其效率决定了数据库性能的好坏。一个查询存在多种执行计划,当前,查询优化器只能按照数据库系统的配置参数,静态地为查询选择一个较优的执行计划。并行查询间存在复杂多变的资源争用,很难通过配置参数准确反映,而且同一执行计划在不同情景下的效率并不一致。并行查询下执行计划的选择需考虑查询间的相互影响--查询交互。基于此,提出了一种在并行查询下度量查询受查询交互影响大小的标准QIs。针对并行查询下查询执行计划的选择,还提出了一种动态地为查询选择执行计划的方法TRating,该方法通过比较查询组合中按不同执行计划执行的查询受查询交互影响的大小,选择受查询交互影响较小的执行计划作为该查询的较优执行计划。实验结果表明,TRating方法为查询选择较优执行计划的准确率达61%,相比查询优化器提高了25%;而且在为查询选择次优执行计划时,其准确率也高达69%。

基于增量局部加权学习的查询模板自适应基数估计

基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计严重错误进而造成查询延迟.近年来,随着数据的增多和新硬件的发展,使用机器学习方法来提高基数估计的质量成为了可能.由于基于代价的查询优化主要根据查询中子执行计划的估计代价来选择最优的查询执行计划,因此,有一些最近的工作针对一些关键的子执行计划模板建立相应的局部学习模型,取得了不错的进展.但是,这些局部模型主要用于查询(查询空间)分布和数据(数据库数据)分布不变的场景,而在真实运行环境中,它们往往不断地发生变化,限制了这些估计技术的有效性.在本文中,我们针对子执行计划模板在查询分布和数据分布不断变化的环境下提出了一种使用增量的局部加权学习进行自适应基数估计的方法.具体地说,首先抽取子执行计划的语义和统计特征使之能代表当前查询和数据的特性,然后使用增量的局部加权学习模型根据查询分布和数据分布的变化进行自适应的学习,实现基数估计.最后,通过对比实验验证了本文方法的有效性.

并行查询交互度量及执行计划选择

查询是数据库系统的主要负载,查询的执行效率直接影响着系统的性能。目前,由于查询交互(query interaction,QI)复杂多变,查询优化器不能准确地评估查询进入系统产生的影响,很难为并行查询选择较优执行计划。将查询的平均响应时间、平均执行时间、平均I/O时间和平均缓冲区命中率作为QI的特征参数,表示QI;提出多维度查询交互度量(multi-dimensional measurement of query interaction,MMQI)模型和执行计划选择(execution plan selection,EPS)模型,采用深度神经网络,在度量QI的基础上,把QI作为主要因素,为并行查询选择较优执行计划。考虑到查询执行计划是由一系列关系运算组成的,以及QI具有时域特性,MMQI采用双向长短期记忆神经网络(bidirectional long-short term memory,Bi-LSTM)度量QI,从查询执行计划提取特征作为输入,将QI特征参数的改变作为输出,预测查询采用不同执行计划进入系统后QI特征参数的改变;EPS把预测到的查询特征参数的改变作为查询交互特征(feature of query interaction,FQI),与查询候选执行计划特征(features of candidate plan,FCP)融合,作为另一个Bi-LSTM的输入,为查询动态地选择较优执行计划。在PostgreSQL上的实验表明,MMQI-EPS比查询优化器选择较优执行计划的平均准确率提高38.6个百分点。