基于数据中心的能耗测试有效查询优化技术研究

目前对于大规模数据中心最重要的就是降低能耗开销,建设绿色数据中心,在对需求满足的前提下如何使数据库系统节约能耗,是目前重点的研究课题。能耗有效性就是使用电能更少,提供的服务相同,能耗有效性越高,说明数据库系统能使用更少的能耗达到相同的性能。因此,提供一种面向绿色数据中心的能耗有效查询优化方法,该方法通过建立功耗预测模型,来对执行中的平均功能进行准确的预测,在PostgreSQL查询优化器中结合预测时间成本与能耗成本的新的查询执行代价模型,构件数据库系统能耗测试平台,基于TPC-H与TPC-C基准在PostgreSQL上进行实验。结果:本文提出的功耗预测模型的准确度相比已有方法更高,另外,性能退化度因子能为能耗和性能之间提供折中的方案,且性能退化度因子合理的设置,其能耗有效性比原始PostgreSQL更高。

R树家族的演变和发展

近年来,针对空间数据库索引的研究引起了人们越来越多的兴趣和关注.为了快速、有效地处理存储于空间数据库中的海量空间数据,专家学者提出了大量的基于磁盘的空间索引方法.其中,1984年由Guttman提出的R树是目前最流行的动态空间索引结构,广泛应用于原型研究和商业应用中.其后,人们在此基础上针对不同空间运算提出了不同改进.经过20年的发展,不断产生的R树变体逐渐形成了一个枝繁叶茂的空间索引 R树家族.该文回顾了R树及其各种主要变体;描述了基于R树的各种批量操作、空间查询处理算法、查询代价模型及查询优化过程;介绍了基于R树的并行处理、并发控制与锁定策略等方面的进展;并且分析了R树的未来研究方向.

基于遗传算法的分布式数据库查询优化研究

在收益半连接研究基础之上,本文提出一种新的查询执行计划代价模型,它包括关系副本选择、查询多连接次序、操作站点的选择、数据的传输及数据局部处理等因素,准确地表示了分布式数据库查询执行代价,并且给出了解决基于此代价模型查询优化问题的遗传算法,实验结果表明,该算法有较好的寻优效果,更具有实际意义.

MapReduce连接查询的I/O代价研究

数据的指数级增长给数据管理和分析带来了严峻的挑战.连接查询是数据分析中一种常用运算,而Map Reduce是一种用于大规模数据集并行处理的编程模型,研究基于Map Reduce的连接查询代价评估和查询优化,有着学术意义和应用价值.Map Reduce连接查询算法的性能主要取决于I/O代价(包括本地和网络I/O),而I/O代价与数据集以及连接运算的特征参数相关,通过对二元连接的I/O代价评估可以优化多元连接执行计划.基于此,首先提出了二元连接查询的I/O代价模型;随后,对现有二元连接算法进行形式化定义和简单扩展,归纳出6种基于Map Reduce连接查询算法,并通过算法白盒分析定义它们的I/O代价函数;最后,提出一种多元连接最优执行计划的选择算法.通过实验表明I/O代价模型的正确性且能够准确地反映算法的性能优劣.

基于R-Tree的空间查询代价模型研究

本文对基于 R- Tree的空间查询代价模型进行了探讨 ,分析了 Y.Theodoridis等提出的矩形密度模型〔2 ,3〕,利用其结果提出了代价估计的概率模型 。

空间查询优化

由于空间数据的复杂性,空间查询需要建立自己的代价模型。该文首先介绍了建立四叉树直方图来对空间查询的选择性进行估计,然后在此基础上对DM-SDB的查询代价进行估计,并使用该代价模型对DM-SDB的多连接查询进行优化。

空间查询代价模型

空间数据固有的复杂性使空间数据查询效率成为了空间信息处理和应用的关键与瓶颈,以查询代价估算为基础的查询优化技术是提高查询效率的一种重要方法。本文分析比较了几种主要的查询代价估算模型,指出了它们的使用范围与存在的问题,最后展望了空间查询代价模型研究的发展趋势。

空间查询优化

空间查询优化是空间应用的突破点 .由于现有的关系优化不能适应空间数据的查询 ,因此空间系统必须具有自己的代价模型和优化器 .为此 ,给出了一个空间查询优化的系统方案 FQPro,并在对空间查询优化的几个阶段做了一般性探讨后 ,将重点放在代价模型、谓词代价计算和优化方案的代价计算上 ,尤其对基于 R-树的代价模型给予了详细介绍 .另外 ,参照关系优化器 ,FQPro还定义了一套谓词代价公式和谓词选择性公式 ,并在此基础上定义了查询方案代价计算公式和算法 .文章最后指出 。

面向绿色数据中心的能耗有效查询优化技术

降低能耗开销、建设绿色数据中心,已经成为目前大规模数据中心的重要需求.在绿色数据中心,如何使数据库系统在满足性能需求的前提下尽量地节约能耗,即如何提高数据库系统的能耗有效性,是目前研究的重点.数据库系统中的能耗有效性旨在使用更少的电能来提供相同的服务.能耗有效性越高,说明数据库系统可以用更少的能耗就能够响应同样数量的操作,换句话说,可以用更少的能耗达到同样的性能.据此提出了一种面向绿色数据中心的能耗有效查询优化方法.该方法首先利用回归分析建立操作符层的功耗预测模型,从而可以准确地预测给定查询在执行过程中的平均功耗.接着,在PostgreSQL查询优化器中扩充了结合预测能耗成本和时间成本的新的查询执行代价计算模型,并引入性能退化度因子调节性能和能耗的权重.最后构建了数据库系统能耗测试平台,在PostgreSQL上基于TPC-H和TPC-C基准测试进行了实验.结果表明:所提出的功耗预测模型比已有方法准确度更高.同时,提出的性能退化度因子为数据库系统提供了性能和能耗之间的灵活折中方案,并且通过设置适当的性能退化度因子,可以实现比原始PostgreSQL更高的能耗有效性.

交通基础设施建设对产业集聚的影响分析——以旅游产业为例

选取我国主要旅游城市2007—2016年的面板数据,以客运成本为纽带建立交通基础设施建设与产业集聚的计量经济模型,以此来检验空间经济学中运输成本和产业集聚之间的变动关系。研究结果表明:交通基础设施建设在产业集聚变动及空间溢出效应中起到了重要的作用,且存在"倒U型"非线性关系;在我国现阶段的交通基础设施建设中,以高铁建设为代表的质量因素对产业集聚的影响更加明显。基于此,建议以交通基础设施建设为着力点,促进我国产业结构均衡发展;加强高速铁路建设,进一步降低我国综合运输成本,减少产业集聚阻力;提升运输服务质量,加快我国交通现代化发展进程,推动产业集聚发展。

面向对象数据库中查询代价的估算

好的查询优化器都是基于代价的，因此查询代价的估算是数据库查询优化中一项不可缺少的工作．文中在联系代数的基础上，综合考虑了对象聚集、索引等因素，给出了面向对象数据库中查询代价的一种估算方法．

一种新的用于估算查询结果大小的直方图方法

提出了一种新的用于估算查询结果大小的直方图方法。方法的基本思想与人类的思维机制是一致的,即在划分数据时,使所有直方开始于相对前一直方发生较大波动的项,并且结束于相对本直方发生较大波动的项之前。关于新的直方图方法,该文进行了大量的模拟实验。实验结果表明,该直方图方法估算精确,实现效率高,有较好的实用价值。

基于粒子群算法的变电站工程造价投资估算模型

安徽电网变电站工程近年发展迅速,但是由于工程复杂,影响因素多,增加了变电站工程造价管控的难度,使得变电站工程造价节余率过高,降低了电网公司的投资效益。为了有效控制变电站工程概算,有必要创新性展开变电站工程投资估算工具的研究。基于粒子群算法,深度挖掘安徽电网变电站工程2010~2015年的历史造价数据,构建变电站工程投资估算优化模型,分析各种因素对安徽地区变电站工程造价的影响,提出合理控制工程造价的手段。通过典型案例的优化计算,验证了变电站工程投资估算优化模型的可行性,为进一步在安徽电网公司推广奠定了基础。

基于Greenplum数据库的查询优化

针对分布式数据库查询效率随着数据规模的增大而降低的问题,以Greenplum分布式数据库为研究对象,从优化查询路径的角度提出一个基于代价的最优查询计划生成方法。首先,该方法设计一种有效的代价模型来估算查询代价;然后,采用并行最大最小蚁群算法来搜索具有最小查询代价的连接顺序,即最优连接顺序;最后,根据Greenplum数据库对查询计划中不同操作的默认最优选择得到最优查询计划。采用该方法在自主生成的数据集与事务处理性能理事会测试基准(TPC-H)的标准数据集上进行了多组实验。实验结果表明,所提出的优化方法能有效地搜索出最优解,获得最优的查询计划,从而提升Greenplum数据库的查询效率。

基于代价的XML路径索引构建

处理路径表达式是XM L查询技术中的难点和热点.在本实验室提出的XM L路径表达式索引—结构化映射的基础上,为了降低构建索引所需的空间开销,本文提出了构建路径索引的代价模型,并设计了基于给定查询负载,有选择地构建路径索引的相应算法,为给定查询负载自动选择近最优索引模式(NO IS).本文还提出了当查询效率发生变化时,系统对索引模式进行自适应调整的策略.实验研究表明:使用本文方法,系统可在不影响路径表达式处理效率的前提下,大大降低路径索引的空间开销,取得查询收益和空间开销的较佳权衡.

估算查询结果大小的直方图方法之研究

直方图是许多商用数据库系统中最常用的一种估算查询结果大小的方法．从实用的观点来看，过去已提出的一些直方图方法有局限性，主要是它们不能保证估算值的准确程度．本文将提出两种新的直方图方法，它们不仅使用方便，而且可以保证所有的估算值均在给定的误差范围内．此外，本文还探讨了不同的数据分布对直方图的影响，通过运用一些重要的参数刻画数据分布，用以帮助生成效果较佳的直方图．

基于R-Tree的空间连接代价模型的改进

对基于R-Tree的空间连接代价模型进行了探讨,主要研究了HUANG Y W提出的空间连接代价模型。利用最优/最差选择策略降低该算法的时间复杂度,对基于缓冲区的代价模型提出了改进后的评估公式,通过实验验证了改进后的模型比原模型提高了评估的精确度。

限定误差的直方图

限定误差的直方图方法以任意给定的误差作为前提，生成满足要求的直方图．本文在作者已有工作的基础上，进一步探讨生成限定误差直方图的方法，以适用于等值和范围两种查询，并进行了大量的模拟实验．实验结果表明，限定误差的直方图不仅估算精确，肯定能满足预定的要求，而且算法简单，实现效率高，具有良好的应用前景．

基于Agent的分布式数据库查询优化研究

目前分布式数据库查询优化器基于代价模型,总代价=CPU代价+I/O代价+通信代价,在远程通信网或数据传输率较低的系统中,通信代价应作为首要的优化目标来考虑;提出了一种基于Multi-Agent技术的查询模型(QMAS);同时为了保证系统组内、组间Agent之间的高效通信,采用了树型拓扑结构(TTMAS)的通信模型,系统内各Agent使用通信原语高效通信、协作,且满足Agent间的通信路由最优,从而保证了QMAS的查询效率.

物流配送成本优化估计的数学模型研究

为了有效地利用物流成本估计中线性和非线性数学模型的优点,把线性预测性能优异的ARIMA数学模型和RBF神经网络相结合,使模型非线性数学变化上形成估计优化,可以捕捉物流成本价格的线性和非线性规律,有效地减少传统预测数学模型中一些非线性因素的影响。以某物流公司1991～2012年物流操作成本为数据,将所提出的数学模型与网格搜索SVR模型、PSO-SVR模型、Levenberg-Marquardt BP神经网络模型及背景值优化GM(1,1)模型进行对比实验。结果表明所提出的优化数学模型能够解决上述问题且具有更高的预测精度。