基于嵌入式关系的一种Multi-join算法

去掉第一范式“原子属性”的限制条件而得到的关系模式称作嵌入式或扩展的关系模式。嵌入式关系模型已经被数据库理论界接受为一种规范的关系模型,它可以有力地支持存储树型(层次)或图形(网状)数据的系统,比如办公自动化、多媒体系统等许多新的应用领域。试验及分析证明嵌入式关系模型与符合第一范式的关系模型同样严格,换句话说,只要遵守更高的规范形式,删除1NF关系“原子属性”

Optimization of Multi-Join Queries in Shared-Nothing Systems

This paper proposes a semi-greedy framework for optimizing multi-joinqueries in shared-nothing systems. The plan generated by the framework com-prises several pipelines, each performing several joins. The framework deter-mines the 'optimal' number of joins to be performed in each pipeline. Thedecisions are made based on the cost estimation of the entire processing plan.Two ekisting optimization algorithms are extended under the framework. Ananalytical model is presented and used to compare the quality of plans producedby each optimization algorithm. Our study shows that the new algorithms out-perform their counterparts that are not extended.

用于多表连接优化的深度强化学习嵌入表示

针对数据库查询优化中多表连接优化问题,任务是找到一个合适的连接顺序使查询执行计划最优,为此提出一种查询语句的嵌入表示方法SmartEncoder。通过优化查询语句中多表连接的嵌入表示信息,得到更丰富的关于连接的信息,将多表连接顺序选择优化建模为深度强化学习问题,根据动作的概率分布选择连接,从过去的经验中学习,生成更好的查询执行计划。在Join Order Benchmark数据集上的实验结果表明,SmartEncoder能够有效提高查询的效率。

面向数据联邦的安全多方θ-连接算法

近年来,多个国家地区出台了一系列数据安全相关的法律,例如欧盟的《通用数据保护条例》等.这些相关法律法规的出台,加剧了各企业机构等多方之间数据共享难的数据孤岛问题.数据联邦(data federation)正是解决该问题的可能出路.数据联邦是指多个数据拥有方在不泄露各自原始数据的前提下,结合安全多方计算等隐私计算技术,联合完成查询任务的计算.这一概念已成为近年来的研究热点,并涌现出一系列相关的代表性系统工作,如SMCQL、Conclave.然而,针对关系数据库系统中核心的连接查询,现有数据联邦系统还存在如下问题:首先,连接种类单一,难以满足复杂连接条件下的查询需求;其次,算法性能低下,由于现有系统往往直接调用安全工具库,其运行时间与通信开销高昂.因此,针对以上问题进行研究,提出了数据联邦下连接算法.主要贡献如下:首先,设计实现了面向多方的联邦安全算子,能够支持多种运算;其次,提出了支持θ-连接的联邦连接算法与优化策略,显著减少了连接查询所需安全计算代价;最后,基于基准数据集TPC-H,验证了该算法的性能.实验结果表明,与现有数据联邦系统SMCQL、Conclave相比,该算法能够将运行时间和通信开销分别降低61.33%和95.26%.

基于FPGA的软硬件协同的多表哈希连接加速器

多表连接操作难以实现硬件加速。一方面,多表连接请求中表的数目不确定且连接方式多变,这种灵活的计算请求与固定的硬件行为之间存在矛盾;另一方面,多表连接的中间结果随表的增加而扩充,数据结构的管理和维护也要求更高的硬件开销。为支持灵活高效的多表连接计算,本文提出一种软硬件协同的优化方法。软件部分,将多表连接抽象为正向和反向2种计算模式并支持不同方式的多表连接。硬件设计采用访存和计算协同优化的方法:设计一种规则的硬件哈希表结构以提高内存访存带宽;设计支持正反向计算的同构专用计算引擎,配置多数据通道和指令控制系统实现高效的并行运算,提升多表哈希连接的计算效率。实验结果表明,相比中央处理器(CPU)执行表连接操作,单计算引擎能够提升性能9.2~11.0倍。通过多路并行的技术,实现8路并行的多表哈希引擎,能够充分利用板卡片外(DDR)内存带宽,实现相比CPU超过71.1倍的性能提升。

基于安全多方计算的隐私保护图查询

【目的】在互联网时代,图数据凭借着其丰富语义和结构信息,在众多的领域中发挥着独特的作用。同时,越来越多的公司选择使用“云服务”作为基础设施平台,个人敏感数据的保护问题愈发受到人们的关注。这为隐私保护的图计算带来了严峻的挑战。【方法】本文针对图计算中至关重要的子图匹配问题,首次提出了基于安全多方计算的图查询保护策略,将隐私保护图查询问题转化为关系表的安全连接问题,并根据图数据的特性对安全连接子协议进行改进。【结果】相比于之前的隐私保护图查询工作,本文协议不仅提供了更低的计算和通讯开销,并且具有更高的安全保障性和可信度。

基于遗传算法的多连接表达式并行查询优化

多连接表达式的并行查询优化是提高数据库性能的关键问题之一.提出了使用遗传算法来解决多连接表达式的并行查询优化问题.为了提高查询处理器的执行效率,采用启发式规则来搜索最优的多连接表达式并行调度执行计划.文中给出了详细的测试结果和性能分析.实验结果表明,结合启发式知识的遗传算法是解决多连并行查询优化的有效途径,对提高数据库的性能起到重要作用.

基于蚁群算法的多连接查询优化方法

介绍蚁群算法在多连接查询优化中的应用,在介绍蚁群算法的基本原理和工作流程的基础上,提出一种利用蚁群算法进行数据库多连接查询优化的方法,并建立基于蚁群算法的多连接查询优化模型。理论分析与试验结果表明,用蚁群算法解决多连接查询优化问题取得了满意的效果。

一种分布式数据库多元连接查询优化算法及改进

论文对于分布式数据库中的多元连接查询提出了一种优化算法。该算法产生的操作序列具有全局优化特征。在远程网中，采用最小生成树算法，生成最佳的连接序对能使得总的代价达到最小。而在局域网中，采用改进的最小生成树算法，生成尽可能多的并行连接序对，最大程度地应用并行性，使得响应时间最小。

数据仓库中的一种提高多表连接效率的有效方法

联机分析处理OLAP查询经常涉及多表连接,所以提高多表连接的性能就成了提高OLAP查询处理的关键性问题·针对目前直接提高多表连接效率的方法、并行多表连接算法和连接索引,提出了变形多表连接索引·该方法基于使用SQL语句表述的查询模型库QMB建立一系列符合条件的变形多表连接事实表,并建立这些变形多表连接事实表的索引·在特定的多表连接查询中,变形多表连接事实表能替代原事实表与各维表连接,并在查询处理过程中动态更新·理论分析和实验结果表明,该方法可以有效地提高多表连接的查询效率·

基于混合遗传算法的关系型数据库查询优化

分析了关系型数据库的查询优化问题 ,针对多连接查询提出将遗传算法和爬山法结合 ,从而构造了关系型数据库多连接查询优化问题的混合遗传算法 ,并进行了实验计算 .结果表明 ,用混合遗传算法解决多连接查询优化问题 ,可以发挥遗传算法和爬山法的不同优势 。

空间查询优化

由于空间数据的复杂性,空间查询需要建立自己的代价模型。该文首先介绍了建立四叉树直方图来对空间查询的选择性进行估计,然后在此基础上对DM-SDB的查询代价进行估计,并使用该代价模型对DM-SDB的多连接查询进行优化。

退火遗传算法的多连接查询应用

多连接查询的优化是数据库查询的关键问题之一,遗传算法与模拟退火算法的结合有利于全局最优解的搜索。提出了一种混合算法,并将其应用到多连接优化问题中,改进了获得最优查询计划的性能。

联机分析查询处理中的一种聚集算法

联机分析处理(online analytical processing,简称OLAP)查询是涉及大量数据的即席复杂查询,从SQL(structured query language)角度来看,这些查询通常都包含多表连接和分组聚集操作.从OLAP查询处理角度出发,提出一种新的基于排序的聚集查询算法MuSA(sort-based aggregation with multi-table join).该方法充分考虑到数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin相结合,排序时采用关键字映射技术对排序关键字进行压缩,从而可以显著地提高排序速度.此外,通过预先估计聚集分组的数目,优化选择不同的排序方法,使得算法对不同的分组聚集查询都进行优化.算法实验数据表明,这种聚集查询算法与传统的聚集查询处理方法相比,其性能有显著的提高.

数据仓库查询处理中的一种多表连接算法

在进行数据仓库的 OLAP( online analytical processing,联机分析处理 )查询处理时 ,经常会涉及到多表连接操作 ,因此 ,提高多表连接的性能就成了数据仓库领域的关键性问题 .基于数据仓库的星型模式 ,给出了一种新的多表连接算法 ( M- Join) .与传统关系数据库管理系统的多表连接查询处理相比 ,该算法充分考虑了数据仓库中的数据本身和多表连接的特点 ,采用对多个表进行一次性连接的方法 ,使得查询的性能有明显的改善 .同时 ,还给出了算法的实验结果和分析 .

混合存储下的MapReduce启发式多表连接优化

对Map Reduce下的多表连接查询进行了研究,发现由于Map Reduce框架本身的局限性,造成执行效率较低。针对此问题,提出了Map Reduce启发式多表连接优化方法(Map Reduce based heuristic multi-join optimization,MHMO),为不同的连接模式启发式地推荐不同的执行算法。特别的,对于混合连接,首先将其分组为多个简单连接模式,进而定义代价模型确定各分组的最优执行顺序。结合列存储的延迟物化技术,大大提高了Map Reduce下多表连接的执行性能。最后,在数据仓库基准测试数据集TPCH上进行了实验,验证了MHMO的有效性。

基于机群系统的并行多连接查询优化算法

多连接查询优化是并行数据库系统的核心问题。已有的研究工作多集中于连接个数较少的情况,不适用于机群系统中的多连接查询优化。在机群环境中,系统的通信带宽是一种瓶颈资源。提出了基于遗传算法的多连接查询优化算法,算法考虑了关系的存储信息和网络的通信代价,有效地利用了机群系统中的资源。实验结果表明,算法具有良好的性能,能够提高多连接查询的执行效率。

基于分组序号的聚集算法

联机分析处理OLAP(online analytical processing)查询作为一种复杂查询,当使用SQL(structured query language)语句来表述时,通常都包含多表连接和分组聚集操作,因此提高多表连接和分组聚集计算的性能就成为ROLAP(relational OLAP)查询处理的关键问题.提出一种基于分组序号的聚集算法MuGA(group number based aggregation with multi-table join),该方法充分考虑数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin(multi-table join)相结合,使用分组序号进行分组聚集计算,代替通常的排序或者哈希计算,从而有效地减少CPU运算以及磁盘存取的开销.算法的实验数据表明,提出的MuGA算法与传统的关系数据库聚集查询处理方法以及改进后的基于排序的聚集算法相比,性能都有显著提高.

基于遗传算法的数据库多连接查询优化策略

结合多连接查询的特点,提出了一种基于遗传算法的查询优化策略.在查询左深树策略空间上构造了遗传算法的一个原型,设计出查询优化问题的染色体编码方法,并基于该编码方法给出了选择策略及交叉、变异算子.

轿车车身轻量化及其对连接技术的挑战

2009年中国以300多万辆的优势,首次超越美国,成为世界汽车产销第一大国,比预计提前了5～6年。中国车市的优异表现,不仅有效拉动了中国本土汽车产业链的发展,也为经济危机条件下世界汽车工业做出巨大的贡献。然而,全球产销第一带来的不仅仅是欣喜,更多的则是压力。中国汽车工业在技术水平、创新能力、品牌影响力以及国际竞争力等方面与世界汽车强国还有明显的差距。与此同时,汽车工业也成为我国能源安全、低碳经济和城市环境的巨大负担,使其发展受到限制,转型迫在眉睫。汽车轻量化作为降低原油消耗和尾气排放的重要手段,已经得到世界各国的高度重视,成为世界汽车强国提高品牌竞争力的重要手段。对全球汽车车身轻量化的方法和发展趋势进行综述,分析车身轻量化技术的发展对焊接与连接的挑战,并对新型的车身连接技术进行分析和评价,以对我国轻量化车身的设计与制造提供有益借鉴。