高效的Top-k相互Skyline查询算法

Top-k相互Skyline查询返回相互Skyline查询中的前k个对象.这种查询是数据分析者寻找有意义对象进行决策支持的一种重要直觉工具.然而,这种查询还没有引起研究社区足够的注意力.介绍了几种新颖的算法,包括Topk-TBBS,Topk-dMBBS,Topk-wMBBS.主要的思想是信息重用和高效的修剪策略.特别地,Topk-wMBBS算法由于完全重用了搜索中的节点信息,并利用了最好优先BF搜索策略.因而它获得了最好的性能.同时证明了该算法有最优的I?O访问效率.最后,使用了2个真实数据集和4个服从不同分布的合成数据集进行了集中实验.实验结果表明,提出的算法无论是变化参数k的大小、数据集的尺寸和Cache尺寸都是有效的,且具有很高的效率,尤其Topk-wMBBS具有最小的I?O访问次数.

基于差分隐私的路网环境skyline查询

路网中的skyline查询在智慧交通、兴趣点发现和位置服务等领域具有重要的应用价值,但存在查询效率较低、未考虑查询结果的隐私性等问题。有鉴于此,文中提出了一种基于差分隐私的路网环境下skyline查询方法。首先,针对路网环境下的初始数据集数据量大和数据复杂的特点,对数据集进行预处理,利用基于距离属性划分的skyline层和路网Voronoi图的性质提出了3个剪枝规则,基于剪枝规则给出了路网环境下的数据集剪枝算法,从而有效地过滤掉大量冗余数据;其次,针对过滤后的数据集,利用网格索引的存储方式来节省存储空间,并设计了基于网格索引的skyline扩展树,基于扩展树和相应的剪枝规则提出了查询全局候选skyline点集的算法;最后,针对查询结果集,利用差分隐私预算分配模型来分配隐私预算,并基于信息散度进行结果集发布,有效提高了数据信息的隐私性。实验结果表明:所提出的查询方法的准确率在99%以上;其在数据集规模较大情况下的查询效率相较于传统skyline查询方法提升10%以上;在总差分隐私预算为0.01、0.10、0.50和1.00时,所提出的隐私预算分配方法的相对误差均低于等差分配和等比分配方法。

基于重用技术的相互Skyline查询算法

提出了一种新的Skyline查询,即相互Skyline查询(MSQ).给定一个对象集合P和一个查询对象q,MSQ返回一个对象集合,它的每个对象既在q的动态Skyline中,同时也在q的可逆Skyline中.基于传统的R-tree索引、重用堆信息技术以及启发式的修剪策略,显著降低了I/O成本,改进了基于BBS算法和BBRS算法实现的MSQ算法.几个真实数据集的实验表明提出的算法有效而高效,比一般MSQ算法快几个数量级.

一种最优的相互skyline查询算法

提出了一种最优的相互skyline搜索算法OMS,它的主要思想是R-tree搜索堆重用技术、窗口查询堆重用技术和高效的修剪策略.OMS与相互skyline算法RIBBS相比,它表现出更高的性能和效率.这是因为OMS消除了多次的动态skyline计算且挽救了更多的I/O成本.理论分析证明OMS计算相互skyline是最优的.在真实数据集上的大量实验结果表明,OMS算法是有效的且保持了较高的效率.

跨信任域的联邦k-支配Skyline查询算法

k-支配Skyline查询是一种主流的Skyline查询变种,其在多目标决策与推荐领域有着广泛的应用。随着这些应用规模不断扩大,在由多个参与方组成的数据联邦中进行跨域k-支配Skyline查询的需求日益旺盛。然而,由于数据联邦中的参与方之间彼此不互信,进行跨信任域的查询计算需引入大量安全操作,效率较低。为此提出了一种基于跨域隐私向量聚合的算法,从而实现高效的联邦k-支配Skyline查询,并运用一种密文压缩技术进一步优化查询效率,最后通过充分的实验验证了所提方案的优越性。

面向高维数据的Skyline查询处理技术研究

Skyline查询是一种基本的数据库操作,在推荐系统等多标准决策场景中有许多应用.随着数据量的迅速增长和信息技术的不断发展,原有的高纬数据Skyline查询算法存在着成本高、速度慢的问题.本文提出了新的基于网格划分的Skyline查询算法,该算法有效利用了新型CPU结构多线程能力增强的特点,提高了对硬件的利用效率.在基于网格划分的思想下,数据空间被划分为多个网格,以网格为单位检查支配关系,这样可以按网格进行修剪,而无需检查每个网格中的点.实验结果表明,本文提出的算法在多个方面都优于最先进的Skyline算法,尤其在计算时间上的优势最为明显.

一种基于路网的多源聚合距离Skyline查询算法

基于路网距离的多源Skyline查询在地图服务中广泛使用,但现有的Skyline查询方法对于复杂的路网距离计算效率低下,并且随着查询点数量的增加查询结果集变得过于庞大,无法为用户提供精简有效的查询结果。为了提高查询结果的有效性和查询效率,提出一种基于最小聚合距离的倒排索引Skyline查询算法,该算法对道路网建立QG-tree索引,提高聚合距离的计算效率;同时对兴趣点集建立倒排索引,结合剪枝策略对兴趣点进行检索,减少聚合距离计算和支配判定的开销,有效地提高查询效率。在真实道路网上的实验表明,所提出的算法效率比现有算法DSR和N3S快1~3个数量级,可以有效地处理道路网环境下多源Skyline查询问题。

基于时间的空间文本关键词skyline查询

在移动互联网环境下,空间文本skyline查询可以有效支持用户在空间和关键词方面的查询。随着需求的多样性,基于用户经常会同时考虑空间距离、数值型信息、关键词和时间等因素对查询结果的影响,提出了基于时间的空间文本关键词skyline查询(Time based Spatial Text Keyword Skyline Query,TSTKSQ),用来查找在空间、数值、关键词和时间都满足条件的优秀对象,设计了基于时间的空间文本关键词skyline查询的索引结构STTR-Tree,提出了关键词、时间和时空关键词相关性的评价函数,在裁剪策略的基础上提出了skyline查询算法。通过实验结果分析,验证了算法的准确性和有效性。

基于Map-Reduce的海量数据高效Skyline查询处理

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.

道路网环境下K-支配空间Skyline查询方法

为了弥补已有的研究成果无法直接处理道路网环境下K-支配空间Skyline查询问题的不足,提出了基于网络Voronoi图的道路网环境下K-支配空间Skyline查询方法.该方法将K-支配应用到道路网Skyline查询中以处理多属性数据对象,在实际应用中可以用来解决道路网环境下多目标查询和决策问题.方法主要包括道路网中约减数据集过程和K-支配检查过程.首先基于空间数据点构建网络Voronoi图,并对查询点建立查询凸包,通过网络Voronoi图的性质与查询区域的位置关系对数据集约减,从而优化数据集并且有效地减少查询点重复搜索的现象;然后对候选集的非空间属性进行K-支配检查得到道路网精炼集合;最后对精炼集合进行支配检查得到最终的空间Skyline集合.理论研究和实验表明所提出的方法具有较高的效率,可较好地处理道路网环境下K-支配空间Skyline查询问题.

有效预处理P2P网络中的子空间skyline查询

多维空间的skyline查询处理是近年来数据库领域的一个研究重点和热点.Vlachou等人首次考虑如何在P2P网络中有效进行子空间上的skyline查询,并提出"扩展skyline集合"的概念来减少预处理时的网络传输量.然而实验评估表明,扩展skyline集合只能有限地减少子空间skyline查询预处理的数据传输量.基于此,提出一种缩减预处理时数据传输量的有效方法TPAOSS(three-phase algorithm for optimizing skyline scalar).TPAOSS算法根据全空间skyline集合与子空间skyline集合间的语义关系分3个阶段来传输必要的数据,其中第1阶段发送全空间skyline对象;第2阶段接收种子skyline对象;而第3阶段基于Bloomfilter技术发送种子skyline对象在子空间上的重复对象.为了降低第2阶段的数据传输量,给出两种接收种子skyline对象的有效策略.理论分析和实验评估结果表明,所给出的算法具有有效性和实用性.

不确定Skyline查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务、移动对象管理网上购物和市场监控等各种实际应用中.不确定Skyline查询作为不确定数据管理的一个重要方面,由于其在决策制定、市场分析、环境监控和数据挖掘等方面的重要作用,近年来在数据库和网络计算领域受到广泛关注.首先,概述了各种不确定数据类型上的Skyline查询定义,包括离散、连续概率分布模型以及不完全数据上的Skyline查询定义;其次,分析了不确定Skyline查询的特点,并在此基础上综述了现有的各种不确定数据集上的集中式和分布式Skyline查询方法,重点分析了各种算法的原理和优缺点;再次,介绍了不确定数据流上的Skyline查询定义并综述了各种不确定数据流上的Skyline查询方法;最后,基于最新研究动态指出了未来不确定Skyline查询研究的趋势.

无线传感器网络中一种近似Skyline查询处理算法

由于无线传感器网络的能源有限,且在许多应用中Skyline查询的部分结果即可满足用户需求,提出了一种近似Skyline查询处理算法,在满足用户查询需求的前提下最大化地节省能量.该算法仅需无线传感器网络中的部分传感器节点回传其感知数据即可计算出Skyline查询的一个近似结果集.由于该算法在处理查询时,每个传感器节点只需考察自身数据信息即可决定是否回传其感知数据,而无须与其他传感器节点的感知数据进行比较,因此可以避免大量的网内通信开销,从而节省网络能源.模拟环境下的大量实验结果表明,该算法可以根据用户的应用需求,节能地处理传感器网络中的近似skyline查询.

高效处理分布式数据流上skyline持续查询算法

基于非共享策略,围绕着降低系统反应延迟与通信负荷的目标,提出了一种分两阶段渐进求解的分布式算法BOCS(based on the change of skyline),并对算法的关键实现环节,如协调站点与远程站点间的通信、skyline增量的计算等进行了系统优化,使算法在通信负荷与反应延迟上达到了较好的综合性能.理论分析证明,在所有基于非共享策略的算法中,BOCS算法通信最优.大量的对比实验结果也表明,所提出的算法高效、稳定且具有良好的可扩展性.

云计算环境下的容错并行Skyline查询算法研究

云计算为分布并行Skyline查询提供强大存储能力和计算能力的同时,其大规模数据中心固有的故障频发特性给可靠Skyline查询处理带来极大挑战。现有研究致力于提高Skyline算法的响应时间、渐进性、负载均衡等各项性能,不能保证故障情况下查询继续正确执行。为此,提出一种容错并行Skyline查询算法(fault-tolerant parallel Skyline,FTPS)。该算法通过故障监测和任务迁移,使得能够在查询过程中及时发现故障,并将故障节点的计算任务迁移到副本节点,保证查询的正确执行。理论分析和实验证明,FTPS算法能够在不影响正常Skyline查询处理性能的情况下获取较好的容错处理性能。

一种并行处理Skyline查询的有效方法

Skyline查询是近年来数据库领域的一个研究重点和热点,这主要是因为Skyline查询在许多领域有着广泛的应用.现有的工作大都集中于单处理机环境,然而,由于Skyline查询是CPU敏感的,因此,在实际应用中,现有的方法具有很大的局限性.基于此,提出一种有效降低处理Skyline查询时间开销的并行算法PAPSQ(Parallel algorithm for processing skyline queries).算法有机结合多维数据对象的自身特性和通用多处理机系统的实施优点,以Skyline查询搜索偏序格为底层结构,利用多维数据对象的同胚评估值和偏序格加权技术来有效提高并行处理Skyline查询的效率.实验评估表明,PAPSQ算法具有有效性和实用性.

基于社交的空间文本skyline查询

将社交信息应用到空间文本skyline查询中,提出了基于社交的空间文本skyline(SSTS)查询。SSTS查询中skyline对象的选择依赖于三个方面:与查询用户之间的距离、与查询关键字的文本相关性和在用户中的流行性。该查询引入了新型的函数计算它的社交相关性。为了提高查询者的满意度,扩展了SSTS查询,提出了受限的基于社交的空间文本skyline(constrained SSTS,CSSTS)查询,同时引入了一个新颖的概念受限skyline。针对每一种查询,应用了裁剪策略和终止条件,提高了查询速度。最后,通过实验验证了所提方法的有效性。

基于高斯模型的不确定数据流Skyline查询方法

由于数据的动态性及不确定性等特征,使得不确定数据流上Skyline查询研究面临挑战.不确定对象一般采用多元概率密度函数(PDF)表示,现有的不确定数据流Skyline查询方法均采用离散型随机变量建模.然而不确定数据流中的对象可能是连续变化的,离散模型对连续性随机变量难以适用.针对连续PDF建模的不确定数据流Skyline查询进行了研究,提出了基于高斯模型的不确定数据流Skyline查询方法(SGMU),该方法包含2个过程:1)动态高斯建模算法(DGM):对滑动窗口采样并建立高斯模型,将原始的数据流转化为不确定对象PDF的参数流;2)提出了基于高斯树的查询算法(GTS)以建立空间索引结构和执行Skyline查询.实验结果表明,SGMU算法不仅能够对连续型不确定对象进行有效建模以辅助Skyline查询,而且能够有效地减少查询对象个数,提高Skyline查询效率.

基于MapReduce的Skyline-join查询算法

Skyline查询是一种非常耗时的操作,而涉及多个表的Skyline查询(Skyline-join查询)则会给数据库系统带来更多的负载,从而影响整个系统的响应时间.为解决这个问题,提出了基于Google设计的MapRe-duce并行处理框架的Skyline-join查询处理算法,采用分片剪枝的方法降低复杂度,进而提高查询性能.在Amazon的云计算平台(EC2)上进行的实验表明,该算法可以有效减少冗余操作和网络数据传输,基本不受节点个数以及数据量的影响,具有很好的可扩展性.

利用k-d树索引改进数据流skyline查询算法

skyline查询技术近来引起了研究者们的广泛关注,面向数据流的skyline查询是其中的热点.对面向数据流的skyline查询问题进行了研究.对现有方法进行了改进,提出一种基于k-d树的skyline增量更新算法.该方法采用事件链机制来处理数据点的状态变化,避免重复计算过期数据点排它支配域上的skyline;增量数据点的处理过程中采用k-d树作为索引结构,以增强索引结构对数据流变化的自适应性;针对k-d树索引提出多个剪枝规则来减小搜索域,提高搜索效率.理论分析及实验表明,该方法能够更快地响应用户的查询请求,更适用于大规模、疏密分布变化的高速数据流应用场景.