Linked-Tree: An Aggregate Query Algorithm Based on Sliding Window over Data Stream

How to process aggregate queries over data streams efficiently and effectively have been becoming hot re search topics in both academic community and industrial community. Aiming at the issues, a novel Linked-tree algorithm based on sliding window is proposed in this paper. Due to the proposal of concept area, the Linked-tree algorithm reuses many primary results in last window and then avoids lots of unnecessary repeated comparison operations between two successive windows. As a result, execution efficiency of MAX query is improved dramatically. In addition, since the size of memory is relevant to the number of areas but irrelevant to the size of sliding window, memory is economized greatly. The extensive experimental results show that the performance of Linked-tree algorithm has significant improvement gains over the traditional SC （Simple Compared） algorithm and Ranked-tree algorithm.

路网数据流的预测聚集查询新方法研究

时空数据流的聚集查询技术已经成为数据库领域的研究热点。到目前为止,还没有一种有效的全时态聚集索引适用于非欧氏空间的路网数据流聚集查询。实现路网数据流的全时态聚集查询,必须解决:(1)路网的非欧氏空间特性问题;(2)路网上移动对象的重复计数、非均匀分布以及预测聚集问题。Sketch RR-tree解决了非欧氏空间特性和重复计数问题;为解决非均匀分布问题,借鉴草图划分思想,提出动态草图索引结构DynSketch:采用AMH智能划分Sketch RR-tree,使每个划分区域内车辆均匀分布,以提高聚集查询质量;同时,基于DynSketch,结合ES预测模型,提出了路网数据流的预测聚集查询算法。

不确定数据查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务以及移动对象管理等各种现实的不确定性应用中.不确定数据查询作为不确定数据管理的重要组成部分,在信息检索、数据挖掘、决策制定和环境监控等众多应用中发挥重要作用,目前已成为数据库和网络计算等领域的一个研究热点.从目前不确定数据查询研究的各种查询类型介绍和查询特点分析出发,主要综述了4种典型的不确定数据查询类型,即不确定Skyline查询、不确定Top-k查询、不确定最近邻(NN)查询以及不确定聚集查询;重点论述了各种不确定数据查询的定义,各类查询的特点,并分类介绍了当前各类不确定数据查询研究的现状和各种查询方法的优缺点;最后,基于当前不确定数据查询技术的最新研究动态指出了未来研究工作的趋势.

基于滑动窗口的数据流连续J-A查询的处理方法

数据流滑动窗口连接聚集连续查询(简记J-A查询)是经常使用的一类查询.这类查询的直观处理方法是创建查询操作树,以流水线的方式计算查询结果.这种方法需要在主存中保存滑动窗口连接的结果,查询处理的主存空间开销为Ο(α×β),其中α,β为参加连接两个滑动窗口的大小.在数据流的查询处理中,内存是最重要的计算资源.提出了两种滑动窗口J-A连续查询处理算法——IC算法和TC算法,使得查询处理的空间开销降为Ο(α+β).理论分析和实验结果表明,所提出的算法具有更高的效率.

无线传感器网络数据管理技术

无线传感器网络主要应用于环境监控,需要对网络运行过程中产生的大量数据进行有效的管理,从而提高网络性能。该文讨论无线传感器网络数据管理技术的发展情况,分析传感网中的数据管理与传统分布式数据库管理的区别,总结在传感网中进行数据管理的关键技术和难点,介绍各项关键技术的进展,指出传感网数据管理技术面临的挑战和研究方向。

分布式数据流增量聚集

分布式处理是数据流管理中的主流技术,聚集是分布式数据流系统中一种重要的连续查询类型.在分布式数据流环境中,由于需要连续计算聚集值,并且在分布式网络中连续传送聚集值,导致系统的通信开销非常大.为了有效地减少网络中数据流的传输量,提出了一种近似增量聚集算法(approxi-matelyincremental aggregate over distributed data stream,AIADDS).算法增量地计算网络中各个站点的聚集值,只有当聚集值的改变超出给定的阈值才向其他站点传送聚集改变量,这样,可以显著地降低网络的数据传输量.作为算法核心的VSB-Tree能够有效地合并、存储来自孩子站点的聚集值,同时增量地向它的父站点传送聚集改变量.理论分析和实验结果表明,算法是行之有效的.

基于滑动窗口的在线数据流增量聚集查询

增量查询技术由于能有效处理大量、快速、源源不断到达的数据流,因此备受关注。滑动窗口是动态数据流环境下的一种典型的窗口类型。该文研究了基于滑动窗口的数据流聚集查询,提出了一种新的增量聚集查询算法,采用了多种增量计算方法和查询共享技术,实现了多窗口资源共享。实验验证了该方法的有效性。

数据流层次窗口模型及聚集查询算法

本文提出了一种多层次时间窗口模型,支持在不同时段对数据流进行不同粒度的建模,并给出了多粒度聚集树结构及其数据流聚集查询算法,从而有效地解决了在有限时空条件下的数据流聚集查询问题。

基于硬件加速的高速数据流连续实时聚集查询

近年来,动态数据流环境下的聚集查询正成为一个热点研究问题.目前的相关算法主要是采用近似技术,以牺牲精度来换取处理速度的提高.然而,在高速数据流环境下,处理速度仍然难以满足需求.软硬件协同的高速数据流处理技术逐渐引起人们的关注.提出了一种基于硬件加速的高速数据流聚集查询方法,充分发挥硬件在处理速度上的优势和软件在灵活性方面的长处.算法是增量的,也实现了多窗口资源共享.最后,给出了算法的复杂度分析并实验验证了方法的有效性.

数据流滑动窗口上的一种多聚集查询共享策略

基于如何提高多个聚集查询的查询效率,提出了一种共享链树结构的多查询聚集计算共享策略.利用每个滑动窗口逻辑地将链树划分成若干子树,它们各自根节点中的聚集值恰好就是每个查询对应的结果值.数据流上多个查询可以在同一棵链树上并发执行,避免了每个查询的重复建树.同时,利用链树本身可降低无用的重复比较的性质,使得多个查询在同一棵链树上只需进行少量更新比较就可求得每个查询的新聚集值.实验证明,多个查询共用同一链树结构,可以最大程度地共享资源,减小内存使用量,因此大大提高了数据流上的查询处理效率,加大了数据流上的任务吞吐量,改善了系统性能.

基于数据流的近似查询计算及其应用研究

通过分析基于实化聚集视图的查询重写方法,将相关的查询计算理论与数据流的查询相结合,针对数据流的特征,给出了一种具有广泛应用前景的基于数据流的近似查询计算方案。

一种时空数据流中范围聚集查询共享策略

根据查询谓词的相似性来实现计算共享是数据流查询优化的主要策略之一,主要针对时空数据流中基于滑动窗口的范围聚集问题进行查询优化,采用时间片段和空间片段分别描述滑动窗口之间和空间范围谓词之间的重叠。提出基于时空分片技术将时空数据流元组分成互不重叠的时空片段。范围聚集查询首先基于时空片段生成中间结果,然后根据查询条件与时空片段的映射关系生成查询结果。实验表明,提出的时空分片策略能大大提高时空数据流中范围聚集查询的性能。

基于数据流模式的聚集快速查询计算研究

为了减少在计算和存档数据流的过程中对昂贵的存档数据的存取,分析了聚集数据查询的特点,并引入了聚集查询语言和聚集查询重写方法。针对数据流近似查询计算的需求,概述了数据流计算的基本特征,提出了一种基于数据流的近似计算模型。在此基础上,根据实际应用环境给出了一种近似查询提纲的小波方法。该计算架构和方法在人口信息系统中的实际应用表明,可以实现对数据流的快速聚集查询处理,并获得有效的查询结果。

流数据复杂聚类查询处理算法

流数据上的连续查询,尤其连续聚类查询是流数据处理研究的难点。草图算法能够计算流数据上等值连接大小的高精度近似值,而直方图算法能够较精确地统计流数据的分布。本文结合这两种算法的优势,提出了一种能够高效处理流数据上复杂聚类查询的算法。理论和实验结果表明,该算法具有较高的精度和较小的空间复杂度。

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.

数据流复杂查询处理的研究

在连续的数据流上提供查询的应答对很多应用环境来说是一个极为重要的需求。本文主要探索了如何使用有限的内存在数据流上进行聚集SQL查询,以获得近似的结果。使用随机草图技术,计算非常小的数据流草图,以获得聚集查询的近似结果,并保证误差能在一定的范围之内。并讨论了在草图方法中如何利用已有的直方图统计信息来提高应答的质量。其关键的思想就是对属性域进行智能化的划分,分解草图化问题,确保所获得查询的结果具有合适的近似精度。不论从理论还是实验上都可以证明草图提供的聚集查询结果比传统的直方图更有效、更精确。

基于小波方法的数据流查询计算研究与应用

许多领域中大量应用所产生的数据流的处理已成为聚集数据处理的一个重要方面。文章在对数据流查询计算进行深入研究的基础上,分析了该情形下聚集查询语言与重写的特征,给出了一类有效的快速查询计算模型。该计算模型的核心是运用小波分析方法,通过建立有效的小波提纲来提高查询处理的效率。最后,在实际应用环境下对所给出的模型进行了应用分析。

数据流滑动窗口聚集查询降载策略研究

滑动窗口聚集查询在数据流管理系统中应用广泛,数据流到达高峰期,必须考虑滑动窗口聚集查询中出现的降载问题。分析了子集模型的特点和已有降载策略的不足,给出了数据流滑动窗口聚集查询降载问题的约束条件,提出了能保证子集结果产生的基于丢弃窗口更新策略的降载算法。理论分析和实验结果表明,该算法对数据流滑动窗口聚集查询降载问题的处理具有较高的有效性和实用性。

基于时间倾斜的数据流聚集压缩算法

对于许多应用领域不断产生的数据流,面向数据流聚集查询的应用最为广泛。本文在构造压缩桶的基础上,提出了基于时间维度压缩数据流的算法,来动态地形成压缩数据流,并进一步给出了使用压缩桶获得数据流聚集查询的数学方法。

数据流上多滑动窗口聚集查询的优化算法

在数据流的查询处理中,聚集查询是一种常用的查询类型.系统经常需要在同一个数据源上处理多个聚集查询,而单独地执行每个查询会导致严重的可扩展性问题和性能问题,因此实现相似查询之间的资源共享变得至关重要.针对多个具有不同时间窗口的聚集查询,本文提出了一种优化的窗口聚集算法OPWA(Optimized Paired Window Aggregation).先根据各时间窗口参数对聚集查询进行分组,使得相似查询可以同步调度;再采用paired技术对数据流进行分割.一方面减少了时间切片的数目,降低了空间的需求;另一方面同步地执行相似查询,减少了系统的计算开销.实验表明OPWA具有较好的性能.