海量数据上有效的top-k Skyline查询算法

在许多应用中,Skyline查询是一种十分重要的查询类型,它在潜在的巨大的数据空间中返回不被其他元组支配的用户感兴趣的元组,但是Skyline查询无法控制返回结果的数量。处理一个新的top-k Skyline查询问题,该查询返回支配分数最大的k个Skyline元组,从而控制了需要向用户返回的查询结果数量。分析发现,大多数现有算法忽略了利用支配分数作为限制Skyline查询的结果数量的度量。提出一个新的基于表扫描的RSTS(ranked Skyline with table scan)算法来有效计算海量数据上的top-k Skyline结果。RSTS算法首先对表执行预排序操作,保证预排序表的元组按照对有序列表的round-robin扫描的顺序排列。RSTS算法包括两个阶段。阶段1利用对预排序表的顺序扫描来获得候选元组。阶段2计算候选元组的支配分数并返回结果。可以证明,RSTS算法具有早结束特性,并给出其扫描深度的理论分析。提出对于候选元组的剪切操作,理论剪切效果表明,绝大多数的Skyline结果可以直接丢弃。实验结果表明,RSTS算法可以有效计算top-k Skyline结果。

面向大规模数据集的并行化Top-k Skyline查询算法

随着数据规模的日益庞大,在大规模数据集中帮助用户定位出数据量可控的代表性信息显得越发重要。虽然Top-k Skyline查询能够找到数据集中前k个最具代表性的信息,在获取代表性信息的同时又控制了结果规模,满足了上述要求,但是现有的Top-k Skyline查询在面对大规模数据集时效率较低,并不适用于大规模数据集。为了解决这个问题,将Top-k Skyline查询与并行化处理相结合,提出了一种面向大规模数据集的并行化Top-k Skyline查询算法PTKS(parallel Top-k Skyline),通过充分利用分布式资源,将原有查询进行有效的并行化处理,同时设计了基于用户偏好的用于缩减结果数据量的筛选规则,满足用户需求。在真实数据集上进行了相关实验,并与现有方法进行了对比,结果表明PTKS在大规模数据集上的查询效率更具有优势,能很好地适用于大规模数据集。

DFTS:面向大数据集的Top-k Skyline查询算法

Top-k Skyline查询结合了Top-k与Skyline的特性,可以在数据集中找到最好的点。但是,现有的算法在大数据环境下具有较高的时间开销。文中提出一种新的算法DFTS,其可以高效地在大数据集中进行Top-k Skyline查询。DFTS包括3个步骤:首先,利用度值评价函数对数据集进行排序,快速过滤掉大量的点,仅保留足够少的候选集;然后,对候选集进行Skyline查询计算,进一步排除掉Skyline集合外的点;最后,筛选出Top-k的数据点作为最终结果。通过这种方式,DFTS有效减少了算法的运行时间。从理论上证明了DFTS查询的最终结果符合Top-k Skyline查询的要求。基于大数据集的大量实验表明,DFTS具有比现有算法更好的性能。

基于差分隐私的路网环境skyline查询

路网中的skyline查询在智慧交通、兴趣点发现和位置服务等领域具有重要的应用价值,但存在查询效率较低、未考虑查询结果的隐私性等问题。有鉴于此,文中提出了一种基于差分隐私的路网环境下skyline查询方法。首先,针对路网环境下的初始数据集数据量大和数据复杂的特点,对数据集进行预处理,利用基于距离属性划分的skyline层和路网Voronoi图的性质提出了3个剪枝规则,基于剪枝规则给出了路网环境下的数据集剪枝算法,从而有效地过滤掉大量冗余数据;其次,针对过滤后的数据集,利用网格索引的存储方式来节省存储空间,并设计了基于网格索引的skyline扩展树,基于扩展树和相应的剪枝规则提出了查询全局候选skyline点集的算法;最后,针对查询结果集,利用差分隐私预算分配模型来分配隐私预算,并基于信息散度进行结果集发布,有效提高了数据信息的隐私性。实验结果表明:所提出的查询方法的准确率在99%以上;其在数据集规模较大情况下的查询效率相较于传统skyline查询方法提升10%以上;在总差分隐私预算为0.01、0.10、0.50和1.00时,所提出的隐私预算分配方法的相对误差均低于等差分配和等比分配方法。

基于Skyline的三角形快速折叠方法研究

随着各种三维建模软件模型数据量越来越复杂,传统的网格简化算法受到海量三维模型数据量严重挑战,大型三维模型高效简化成为Web端军事推演虚拟试验可视化的迫切需求。为了提升模型简化的效率,论文引入Skyline思想,提出了基于Skyline的三角形快速折叠算法TMF-Skyline以保持原始模型始终朝着折叠收敛速率最大的方向进行折叠。最后通过与边折叠算法和三角形折叠算法进行比较,展示了该算法在大型三维模型数据的简化任务中具有更快的折叠速度性能。

基于差分隐私Skyline算法的智能云平台中的数据隐私保护研究

针对工业互联网云平台中不同子系统数据割裂和隐私保护问题,文章提出基于Bubble-Skyline算法的解决方案,该方案包括数据收集模块、数据预处理模块、数据分析建模模块。在数据收集模块和数据预处理模块中使用协议加密和哈希映射转化表,安全地传输与整合不同系统之间的数据;在数据分析模块中使用Bubble-Skyline算法获得最优解。采用某工厂的历史数据验证表明,在工厂排产中,该方案能够在保护数据隐私的同时优化排产方案,平均生产时间减少了17.15%。

无线传感网络中基于MapReduce的组合Skyline查询算法

无线传感网络通过传感器节点能够收集到海量数据,利用组合Skyline查询技术可以在海量数据中获取以组合为单位的用户感兴趣的信息。然而,由于无线传感网络所处环境的不确定性及节点能量有限等问题,使得在海量数据下组合Skyline查询效率不太理想。针对该问题,提出一种基于MapReduce的组合Skyline查询算法(MR-GSKY算法),首先通过预处理操作去除无用点,然后将数据集分块,充分利用MapReduce分布式计算的特点,在Map阶段并行计算每一分块的键值对,再利用删减操作去除无用候选组合,在Reduce阶段执行扩展操作对不同键值对的组合进行整合并计算出组合Skyline的中间结果,通过多次Map和Reduce操作生成G-Skyline(n)。实验结果表明,该算法比现有算法具有更好的性能。

高效的Top-k相互Skyline查询算法

Top-k相互Skyline查询返回相互Skyline查询中的前k个对象.这种查询是数据分析者寻找有意义对象进行决策支持的一种重要直觉工具.然而,这种查询还没有引起研究社区足够的注意力.介绍了几种新颖的算法,包括Topk-TBBS,Topk-dMBBS,Topk-wMBBS.主要的思想是信息重用和高效的修剪策略.特别地,Topk-wMBBS算法由于完全重用了搜索中的节点信息,并利用了最好优先BF搜索策略.因而它获得了最好的性能.同时证明了该算法有最优的I?O访问效率.最后,使用了2个真实数据集和4个服从不同分布的合成数据集进行了集中实验.实验结果表明,提出的算法无论是变化参数k的大小、数据集的尺寸和Cache尺寸都是有效的,且具有很高的效率,尤其Topk-wMBBS具有最小的I?O访问次数.

度量空间中的Top-k反向Skyline查询算法

不同于传统的度量空间Skyline查询,提出了一种新颖的度量空间中的Skyline查询MkRS(metric top-kreverse skyline).MkRS从反向角度执行度量空间中的Skyline.给定查询对象q和单调参考函数f,MkRS返回k个包含m个数据对象的子集,以至于每个子集G的度量Skyline包含q.评估这种查询,需要执行从输入数据集P中n个数据对象里选择m个对象的穷举搜索以及每个排列子集的度量Skyline.这些计算由于巨大的搜索空间而需要极高成本.提出了基于排序机理的算法STS(sort and threshold skyline),它可以提前终止计算,仅需要检查很少部分的子集.然后,利用信息重用技术给出了基于重用的STS算法rSTS(reuse STS),进一步减少了STS中80%以上的I?O访问.大量的实验表明提出的算法有效、快速.

跨信任域的联邦k-支配Skyline查询算法

k-支配Skyline查询是一种主流的Skyline查询变种,其在多目标决策与推荐领域有着广泛的应用。随着这些应用规模不断扩大,在由多个参与方组成的数据联邦中进行跨域k-支配Skyline查询的需求日益旺盛。然而,由于数据联邦中的参与方之间彼此不互信,进行跨信任域的查询计算需引入大量安全操作,效率较低。为此提出了一种基于跨域隐私向量聚合的算法,从而实现高效的联邦k-支配Skyline查询,并运用一种密文压缩技术进一步优化查询效率,最后通过充分的实验验证了所提方案的优越性。

基于Skyline服务的Top-k选择方法

为缩小Skyline服务集,提高服务选择的效率,提出一种Skyline服务Top-k选择方法。首先,用数据推理的方式为Skyline服务的Top-k选择提供理论依据,并提出Skyline服务Top-k选择的相关命题;然后,基于这些命题,提出Skyline服务Top-k选择算法,该算法可以得到被选择可能性最大的Top-k Skyline服务集;最后,通过实验证明,该方法能有效降低服务选择的时间,而不影响服务组合的最终结果。

面向高维数据的Skyline查询处理技术研究

Skyline查询是一种基本的数据库操作,在推荐系统等多标准决策场景中有许多应用.随着数据量的迅速增长和信息技术的不断发展,原有的高纬数据Skyline查询算法存在着成本高、速度慢的问题.本文提出了新的基于网格划分的Skyline查询算法,该算法有效利用了新型CPU结构多线程能力增强的特点,提高了对硬件的利用效率.在基于网格划分的思想下,数据空间被划分为多个网格,以网格为单位检查支配关系,这样可以按网格进行修剪,而无需检查每个网格中的点.实验结果表明,本文提出的算法在多个方面都优于最先进的Skyline算法,尤其在计算时间上的优势最为明显.

一种网格化高并发Skyline查询处理方法

为减少冗余支配测试对Skyline查询性能的影响并提高Skyline查询处理的效率,本文将测试单位扩大为网格,并设计了一种基于网格分层划分的Skyline查询方法.通过不断缩小Skyline点集所在网格的方式,使网格之间的支配关系与点支配关系重合,从而避免了点与点之间大量无效的支配测试,提升了Skyline查询处理的效率.方法中同一层的网格可并行计算,且层次计算过程可达到任意精度,适用于计算能力有限但对结果精度要求不高的场合.实验结果表明,方法与现有Skyline查询处理方式相比具有数据吞吐量大、响应速度快等特点,在拥有高性能GPU或多核CPU等高并发环境下其优势更为明显.

在正交查询范围内解决G-Skyline查询中的why-not问题

旨在基于正交查询范围来回答G-Skyline查询中的why-not问题.讨论了G-Skyline查询中产生why-not问题的原因,概述了如何修改why-not点和正交查询范围,使基于正交范围的G-Skyline查询的候选点集中包含why-not点.当why-not点在正交范围内时,展示了如何修改why-not点并缩小正交范围;同时,还给出了当why-not点不在正交范围内时,如何展开正交范围.充分利用了G-Skyline的特性,通过提前进行剪枝,极大地缩短了计算时间.同时,通过比较所有组合的执行代价,确保以最小的代价解决G-Skyline查询中的why-not问题.实验结果表明:提出的算法切实有效,剪枝操作能够过滤大量无关数据,从而显著减少计算量并缩短计算时间.

一种基于路网的多源聚合距离Skyline查询算法

基于路网距离的多源Skyline查询在地图服务中广泛使用,但现有的Skyline查询方法对于复杂的路网距离计算效率低下,并且随着查询点数量的增加查询结果集变得过于庞大,无法为用户提供精简有效的查询结果。为了提高查询结果的有效性和查询效率,提出一种基于最小聚合距离的倒排索引Skyline查询算法,该算法对道路网建立QG-tree索引,提高聚合距离的计算效率;同时对兴趣点集建立倒排索引,结合剪枝策略对兴趣点进行检索,减少聚合距离计算和支配判定的开销,有效地提高查询效率。在真实道路网上的实验表明,所提出的算法效率比现有算法DSR和N3S快1~3个数量级,可以有效地处理道路网环境下多源Skyline查询问题。

基于Flink的k-支配skyline体并行求解算法

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算法MKSSOA,该算法对每名用户的候选集和中间集分别进行存储,同时在k-支配检查过程中利用2集合中数据点出现的先后次序将候选集中的非k-支配skyline点存储到对应用户的中间集中,以便下一名用户筛选使用,这样可以减少数据点之间的比较次数,避免重复计算,从而提升查询效率。同时,提出了面向多用户的k-支配skyline体并行求解算法MKSPSA,通过Apache Flink并行处理框架有效减少了数据点的比较时间。理论研究和实验结果显示,提出的算法具有较高的效率,能很好地处理多用户k-支配skyline问题。

分布式网络中连续时间周期的全局top-K频繁流测量

在分布式网络中,测量top-K频繁流对资源分配、安全监控等应用至关重要。现有的top-K频繁流测量工作存在不适用于测量分布式网络流量或只考虑单时间周期等局限。为此,提出了分布式网络中连续时间周期的全局top-K频繁流测量方案,在分布节点中布置了紧凑的概率数据结构来记录网络流信息,每个时间周期结束后分布节点向中心节点发送必要信息,中心节点汇聚得到从测量开始至当前时间周期的全局top-K频繁流。考虑到每条流可能出现在一个或多个测量节点,使用了不同的方法来减少传输开销。对于每条流只会出现在单一节点的情况,采用传输分段最小值的方法来获得阈值,实验结果表明这种方法减少了全量传输超过50%的传输开销。对于每条流会出现在多个节点的情况,提出了多阶段无误差处理方法和单阶段快速处理方法,分别应对不能容忍误差的场景和实际高速网络流量,相比每个时间周期都使用已有单周期方法,传输开销的实验表现降低了两个数量级。最后还提出了一种利用历史平均增值信息降低通信延迟的方法,实验结果表明该方法有效降低了限制信息的平均相对误差。

一次性条件下top-k高平均效用序列模式挖掘算法

针对传统序列模式挖掘(SPM)不考虑模式重复性且忽略各项的效用(单价或利润)与模式长度对用户兴趣度影响的问题,提出一次性条件下top-k高平均效用序列模式挖掘(TOUP)算法。TOUP算法主要包括两个核心步骤:平均效用计算和候选模式生成。首先,提出基于各项出现位置与项重复关系数组的CSP(Calculation Support of Pattern)算法计算模式支持度,从而实现模式平均效用的快速计算;其次,采用项集扩展和序列扩展生成候选模式,并提出了最大平均效用上界,基于该上界实现对候选模式的有效剪枝。在5个真实数据集和1个合成数据集上的实验结果表明,相较于TOUP-dfs和HAOP-ms算法,TOUP算法的候选模式数分别降低了38.5%~99.8%和0.9%~77.6%;运行时间分别降低了33.6%~97.1%和57.9%~97.2%。TOUP的算法性能更优,能更高效地挖掘用户感兴趣的模式。

基于时间的空间文本关键词skyline查询

在移动互联网环境下,空间文本skyline查询可以有效支持用户在空间和关键词方面的查询。随着需求的多样性,基于用户经常会同时考虑空间距离、数值型信息、关键词和时间等因素对查询结果的影响,提出了基于时间的空间文本关键词skyline查询(Time based Spatial Text Keyword Skyline Query,TSTKSQ),用来查找在空间、数值、关键词和时间都满足条件的优秀对象,设计了基于时间的空间文本关键词skyline查询的索引结构STTR-Tree,提出了关键词、时间和时空关键词相关性的评价函数,在裁剪策略的基础上提出了skyline查询算法。通过实验结果分析,验证了算法的准确性和有效性。

PeakSketch:检测网络流中的top-k流的无偏和通用草图

通过对现有Sketch结构的研究,提出一种新的Sketch结构:PeakSketch,本文将其应用于三种任务:检测top-k频繁流,检测top-k重变化流,检测top-k持久流,从理论上证明了PeakSketch可以提供无偏估计,并且给出了算法的误差界。实验结果表明,PeakSketch的各项性能优秀,在检测top-k频繁流任务中,PeakSketch的吞吐量显著提升,特别是在分配内存小于200 kB以下时,吞吐量最高提升可以达到50%,准确率最高提升一倍,PeakSketch也展现突出的性能。