一种高效的不确定数据流并行Skyline查询处理方法

随着信息技术的不断发展,针对不确定数据流的应用和研究逐步引起学界的广泛关注.目前不确定数据流上Skyline查询的相关研究多关注于单机环境下的查询算法.当用户对查询响应速度要求较高或滑动的窗口规模较大时,基于单机环境进行集中处理的查询效率受到计算能力的限制,难以满足查询的实时性需求.当前诸如数据中心等分布式计算环境的兴起和广泛运用,为实现不确定数据流的分布并行Skyline查询处理提供了有利条件.对于高速到达的不确定数据流上的Skyline查询,当前研究的挑战在于如何充分利用分布式计算环境实现并行查询处理,以提高查询处理的效率.文中针对已有基于单机环境的集中式查询处理方法因计算能力不足而难以满足当前用户查询需求的问题,提出了一种针对不确定数据流的分布并行Skyline查询处理的两级并行查询模型TPM.实验表明基于TPM模型对不确定数据流进行分布并行Skyline查询处理的方式在不同滑动窗口规模、数据维度和并行节点数目的条件下,均具有良好的性能.

基于多重加权树的并行数据查询处理方法(英文)

研究了并行数据库系统的优化问题，提出了一个基于多重加权树的查询处理方法。这种方法由基于多重加权树的并行查询计划模型、并行查询计划的代价模型和一个并行查询优化器等三部分组成。并行查询计划模型首次模拟了所有关系操作、查询执行的三种并行性、查询操作的处理器和存储器分配、按流水线方式并行执行的操作间的存储器分配以及数据重分布。查询代价模型充分考虑了按流水线方式并行执行的操作间的等待时间，并给出了一种自底向上的查询代价计算方法．查询处理器以最经常使用的选择一投影一连接查询为背景。查询优化器使用了一组确定启发式规则为数据操作分配处理器，并且很好地利用了存储器资源。此外，查询优化器支持多种连接操作实现算法，能够根据不同情况为查询中每个连接操作选择优化的连接操作实现算法。该查询处理方法已经用于作者自行设计的并行数据库管理系统，取得了良好的效果。

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.