半结构数据的存储模型和查询执行

1引言 半结构数据是指区别于语音和图像文件等"原始数据",具有一定程度的结构,又不像传统的数据库系统那样存在严格模式的数据[1.2].半结构数据广泛存在于各种电子数据源,特别是Internet当中.以WWW为例,其HTML文件格式本身就是由标签和锚点等结构单元组成的,因此文件中的数据常常具有明显的结构.但同时效据的结构又非常不规范,不符合传统效据库的要求,因此不能简单地应用现有的数据库技术和工具对其进行处理,需要研究和开发对半结构数据进行描述和处理的新技术、新工具.

一种实时数据库查询执行方法的设计

在深入分析实时数据库常用的查询执行方法———指针法缺点基础上,给出了一种新的实时数据库查询执行方法———D/S方法。该方法结合了指针法、实体化方法和流水线方法的优点,可有效地节省查询执行的内存需求,并扩展了实时数据库查询优化的空间。

列存储数据仓库查询执行中重用缓冲区调度算法

查询的中间结果重用是提高查询效率的重要手段.现有列存储系统主要关注多查询计划间的中间结果重用,忽略了单一查询计划执行过程中大量可重复访问的中间结果.单一查询中的中间结果具有确定性高、结果大小可估计的特征,非常适合作为重用的对象.为此,针对列存储数据仓库单一查询计划执行过程中的中间结果重用问题,提出了一个重用缓冲区空间的调度算法.首先,基于操作结点在给定物理执行计划树中的相对位置及其操作所产生的中间结果的大小对操作结点提出重用度估计模型.其次,设计了基于模型估计结果的缓冲区调度算法.在每一个查询计划的执行过程中,根据其模型估计结果执行缓冲区调度算法,使得其产生的中间结果中更重要的部分能够更久地驻留在内存中,以提升查询性能.在数据仓库基准数据集SSB上的实验结果验证了方法的有效性.

基于多核处理器的VTD-XML节点查询执行性能优化

针对目前主流的多核处理器,研究了基于VTD-XML的节点查询执行性能优化,即基于预读策略从多线程并发执行和提高线程内存访问性能两个方面优化XML节点查询的性能。实验结果表明,提出的多线程XML文档解析框架可以充分利用多核处理器的计算资源,并有效地提高线程的内存访问性能,大大提高了XML节点查询的性能。

一种基于两步状态法的外包关系数据库查询执行技术

针对基于属性分解的外包关系数据库方案中属性集分散存储造成的执行查询困难问题,在包含可信第三方的外包数据库服务架构下,提出一种基于两步状态法的多DSP协同的查询执行机制。该机制在保护用户查询内容隐私的前提下,通过对用户查询进行元语句划分、状态值计算等实现了基于属性分解的外包关系数据库服务方案对用户查询的支持。实例分析验证了该技术在用户查询分解和查询结果获取方面的正确性和有效性。

并行查询下查询执行计划的选择

查询是数据库系统的主要负载,其效率决定了数据库性能的好坏。一个查询存在多种执行计划,当前,查询优化器只能按照数据库系统的配置参数,静态地为查询选择一个较优的执行计划。并行查询间存在复杂多变的资源争用,很难通过配置参数准确反映,而且同一执行计划在不同情景下的效率并不一致。并行查询下执行计划的选择需考虑查询间的相互影响--查询交互。基于此,提出了一种在并行查询下度量查询受查询交互影响大小的标准QIs。针对并行查询下查询执行计划的选择,还提出了一种动态地为查询选择执行计划的方法TRating,该方法通过比较查询组合中按不同执行计划执行的查询受查询交互影响的大小,选择受查询交互影响较小的执行计划作为该查询的较优执行计划。实验结果表明,TRating方法为查询选择较优执行计划的准确率达61%,相比查询优化器提高了25%;而且在为查询选择次优执行计划时,其准确率也高达69%。

基于物理操作级模型的查询执行时间预测方法

查询执行时间预测(Query Performance Prediction,QPP)是数据库系统中一个重要的研究问题。当数据库系统中存在并发执行的事务时,现有的QPP方法无法在不改变数据库查询性能的前提下建立准确的QPP模型。为此,提出了一种基于物理操作的查询执行时间预测新方法,该方法以查询的物理操作为单位建立单元预测模型,根据查询计划将单元预测模型组合为完整的QPP模型,把能够刻画数据库系统并发状态的统计信息纳入模型的输入特征。所提方法只须使用DBMS提供的基本手段即可获取构建模型所需的数据库统计信息,无须改变DBMS,也不会影响数据库系统上原有工作负载的执行。实验结果表明,所提方法无论在OLTP还是OLAP应用中,在不同的查询计划和并发度下的预测准确性均高于其他对比方法。

查询执行vMotion的记录

除了ESXi主机与虚拟机的连接记录,需要能够随时进行审核查询之外,对于虚拟机的迁移(vMotion)操作,肯定也是一项重要的审核数据.如此管理人员才可能够查询到在什么时间点,有哪一位vSphere管理者将哪一个虚拟机,从哪一个来源主机迁移至哪一个目的地主机。首先让我们先来看看所谓的在线迁移做法。您只要在准备迁移的虚拟机节点上方,按下鼠标右键点击"迁移"。接着完成迁移类型以及选取计算资源、网络及vMotion优先级即可。

基于查询编译的SQL执行技术研究进展

信息系统通常会借助数据管理系统来进行数据管理,其中SQL凭借良好的易用性和灵活性一直作为数据管理的主流查询语言,用户将编写的SQL语句交由数据管理系统执行后便可得到查询结果.执行模型的高效与否决定了系统能否快速响应用户的查询请求,现有执行模型主要采用解释执行和编译执行2种方式.解释执行具有良好的拓展性、可维护性等因而被大多数系统采用.不同于解释执行,编译执行为原本需要解释执行的查询生成高效的定制化代码来加速查询,带来的显著性能提升吸引了一众数据管理系统开始实现相应技术.然而,如何针对查询生成其对应的定制化代码是一个复杂的过程,在实现时需要考虑诸多方面,甚至在某些情况下,采用编译执行的查询性能可能还不及传统的火山模型.从概念、技术等角度系统地综述了编译执行技术的研究进展.首先,概述了编译执行的基本概念,对相关术语和背景知识进行了介绍;其次,分别从中间代码生成、中间表示、机器码生成与运行3个角度介绍了相关技术;最后,结合当前数据管理系统的研究趋势以及近期研究工作展望了编译执行未来的发展方向.

并行查询交互度量及执行计划选择

查询是数据库系统的主要负载,查询的执行效率直接影响着系统的性能。目前,由于查询交互(query interaction,QI)复杂多变,查询优化器不能准确地评估查询进入系统产生的影响,很难为并行查询选择较优执行计划。将查询的平均响应时间、平均执行时间、平均I/O时间和平均缓冲区命中率作为QI的特征参数,表示QI;提出多维度查询交互度量(multi-dimensional measurement of query interaction,MMQI)模型和执行计划选择(execution plan selection,EPS)模型,采用深度神经网络,在度量QI的基础上,把QI作为主要因素,为并行查询选择较优执行计划。考虑到查询执行计划是由一系列关系运算组成的,以及QI具有时域特性,MMQI采用双向长短期记忆神经网络(bidirectional long-short term memory,Bi-LSTM)度量QI,从查询执行计划提取特征作为输入,将QI特征参数的改变作为输出,预测查询采用不同执行计划进入系统后QI特征参数的改变;EPS把预测到的查询特征参数的改变作为查询交互特征(feature of query interaction,FQI),与查询候选执行计划特征(features of candidate plan,FCP)融合,作为另一个Bi-LSTM的输入,为查询动态地选择较优执行计划。在PostgreSQL上的实验表明,MMQI-EPS比查询优化器选择较优执行计划的平均准确率提高38.6个百分点。

基于本体的XML数据集成的查询处理

数据集成在很长一段时间一直为人们所关注.随着XML逐渐成为Web上发布和交换数据的标准,研究人员提出了基于本体的XML数据的语义集成方案.此文对于这样的方案进行了形式化,提出的算法NaiveMaxQEP解决了最大查询计划的生成问题;并基于非完整性角色个数有限的假设,对于查询执行计划生成算法进行了优化,提出了OptMaxQEP算法;为支持高效的分布式资源整合,文章还给出了网络代价优化算法NetOptQEP,基于网络代价对输出的执行计划进行了优化.

基于并行遗传-最大最小蚁群算法的分布式数据库查询优化

针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际的企业分布式信息管理系统设计FSS,启发式选择较优关系副本,以减少查询连接代价并缩小PGA-MMAS的搜索空间;然后结合遗传算法(GA)收敛较快的优势,对最终连接关系进行编码和并行遗传操作,得到一组相对较优的QEP,并将其转化为并行最大最小蚁群算法(MMAS)的初始信息素分布,从而使其更快速地搜索到全局最优QEP;最后分别在不同关系数情况下对算法进行仿真实验,结果表明,基于FSS的PGA-MMAS搜索最优QEP的效率高于原GA以及基于FFS的GA、MMAS和GA-MMAS;经实际工程应用验证,所提算法搜索出的高质量QEP可以提高分布式数据库多关系查询效率。

基于改进蚁群算法的数据仓库多连接查询优化

传统蚁群算法在解决数据仓库查询优化问题时存在过早收敛、收敛速度慢的缺点。为此,对传统蚁群算法进行改进,将伪随机状态转移规则引入最大最小蚁群系统,在每次迭代结束后进行迭代局部搜索。实验结果表明,改进算法在多表连接查询优化中具有较快的收敛速度,能提高最优解的质量。

面向Select和Sort的数据库算子缓存的设计与实现

缓存是数据库中提高查询性能的一种常用技术.目前,现有数据库缓存主要有两个方向:查询结果缓存和存储层块缓存.查询结果缓存是利用数据库查询执行的最终结果或中间结果(如子查询),而存储层块缓存则缓存查询涉及的底层数据块.本文从另外一个角度“缓存中含有的计算量”来重新审视缓存在查询优化中的应用,并以此为基础进一步划分数据库缓存方式.在查询执行过程中,数据库查询被转换成一系列操作(例如选择、排序等)的集合,而算子对应操作.查询处理中算子输出的数据为中间结果,含有部分计算量,我们将这部分数据进行缓存并加以利用.我们将这种缓存部分计算量的缓存方式称为算子缓存,即缓存每个操作执行后的结果.由于不同查询之间可能会存在相同算子,对相近数据执行相同计算,因此利用算子缓存加速查询执行性能具有相当大的潜力.本文的新颖之处在于从缓存含有的计算量角度出发,提出并研究算子缓存如何在查询优化中应用.本文以Filter、Sort算子为例,针对缓存复用提出了一种基于语义树的匹配算法,用于快速匹配缓存中的结果集.同时,针对复用缓存可能劣化查询性能的情况,提出使用基于成本的代价优化器防止使用缓存劣化查询性能.最后,本文基于开源分析型数据库ClickHouse实现了Filter、Sort算子缓存的原型,并对提出的算子缓存方案进行了大量的实验测试.结果表明,相比块缓存、物化视图方式,本文提出的算子缓存方案在本地SSD部署下最大能够分别提升9倍以及1.5倍的查询响应速度,在云环境下部署能够分别提升30倍以及2倍的查询响应速度.

SQL Server查询优化器原理与优化实例分析

查询是数据库的核心操作,随着数据库技术的发展以及数据量急剧增加,对查询性能的要求越来越高,查询优化成为数据库管理系统亟待解决的重要问题。文中针对应用最广泛的SQL Server数据库的查询优化器进行研究。通过图形研究查询优化器的工作原理,并深入分析提交SQL语句、解析、代数化、查询优化、编译、执行、结果等查询优化器的工作步骤;进行实例分析,运用图形表示了逻辑树和经过优化后得到的查询执行计划。结果表明,SQL语句是查询优化的基础,实际应用时需要写出符合查询优化器规则的SQL语句。

并行面向对象数据库中的查询优化

为了在开发并行性的同时，进一步提高查询处理的效率，本文针对并行面向对象数据库的异步并行查询执行模型的特点，提出了三种并行查询优化策略：（１）数据子集预选策略；（２）信息流延迟策略；（３）信息流消减策略。它们既适用于单查询处理，又适用于多查询处理，测试结果表明它们是实用有效的并行查询优化策略。

基于线性浓密树的并行数据库查询优化算法

查询优化是并行数据库的核心技术。基于线性浓密树的查询优化方法是对基于浓密树(Bushy-Tree)查询优化方法的一种改进,这种优化方法大大地缩减了查询执行计划空间,确保了并行查询执行计划的优化性。

基于LBT树的并行数据库查询优化方法

本文提出了一种基于 L BT(L inear- Bushy- Tree)树的查询优化方法 ,它是对基于浓密树 (Bushy- Tree)查询优化方法的一种改进 .这种优化方法大大地缩减了查询执行计划空间 ,确保了并行查询执行计划的优化性 .这种优化方法已经在我们自主研制的并行数据库管理系统 PDBMS[1 ,4 ]

科技数据集成系统中的查询处理

主要研究基于XML的数据集成中介器系统,继承传统的包装器/中介器架构模式,在多个分布式异构数据源上构建全局统一视图,以XQuery为查询语言,提供对外统一访问接口;并应用于集成异构科技数据源,整合离散科学数据资源,实现对科技数据资源的规范化管理和高效利用。

面向OLAP数据库查询处理功能的模糊测试工具

查询处理是现代关系型数据库管理系统(DBMS)中最重要的功能之一,主要包括查询优化和查询执行.然而查询处理的复杂性导致了测试的高成本,阻碍了开发过程中的快速迭代,并可能在生产环境中导致严重错误.为了更好地服务于DBMS查询处理功能的评测,采用模糊测试的方法生成基于主键约束的随机数据和完全有效的复杂分析型查询;构建约束优化,对查询中算子的精确基数进行高效计算,从而获得查询的正确结果;最后实现了完整的工具.通过对TiDB的不同版本进行了小规模的测试,结果表明可以有效地检测出TiDB不同版本的一些Bug.