基于差分隐私Skyline算法的智能云平台中的数据隐私保护研究

针对工业互联网云平台中不同子系统数据割裂和隐私保护问题,文章提出基于Bubble-Skyline算法的解决方案,该方案包括数据收集模块、数据预处理模块、数据分析建模模块。在数据收集模块和数据预处理模块中使用协议加密和哈希映射转化表,安全地传输与整合不同系统之间的数据;在数据分析模块中使用Bubble-Skyline算法获得最优解。采用某工厂的历史数据验证表明,在工厂排产中,该方案能够在保护数据隐私的同时优化排产方案,平均生产时间减少了17.15%。

跨信任域的联邦k-支配Skyline查询算法

k-支配Skyline查询是一种主流的Skyline查询变种,其在多目标决策与推荐领域有着广泛的应用。随着这些应用规模不断扩大,在由多个参与方组成的数据联邦中进行跨域k-支配Skyline查询的需求日益旺盛。然而,由于数据联邦中的参与方之间彼此不互信,进行跨信任域的查询计算需引入大量安全操作,效率较低。为此提出了一种基于跨域隐私向量聚合的算法,从而实现高效的联邦k-支配Skyline查询,并运用一种密文压缩技术进一步优化查询效率,最后通过充分的实验验证了所提方案的优越性。

一种基于路网的多源聚合距离Skyline查询算法

基于路网距离的多源Skyline查询在地图服务中广泛使用,但现有的Skyline查询方法对于复杂的路网距离计算效率低下,并且随着查询点数量的增加查询结果集变得过于庞大,无法为用户提供精简有效的查询结果。为了提高查询结果的有效性和查询效率,提出一种基于最小聚合距离的倒排索引Skyline查询算法,该算法对道路网建立QG-tree索引,提高聚合距离的计算效率;同时对兴趣点集建立倒排索引,结合剪枝策略对兴趣点进行检索,减少聚合距离计算和支配判定的开销,有效地提高查询效率。在真实道路网上的实验表明,所提出的算法效率比现有算法DSR和N3S快1~3个数量级,可以有效地处理道路网环境下多源Skyline查询问题。

面向高维数据的Skyline查询处理技术研究

Skyline查询是一种基本的数据库操作,在推荐系统等多标准决策场景中有许多应用.随着数据量的迅速增长和信息技术的不断发展,原有的高纬数据Skyline查询算法存在着成本高、速度慢的问题.本文提出了新的基于网格划分的Skyline查询算法,该算法有效利用了新型CPU结构多线程能力增强的特点,提高了对硬件的利用效率.在基于网格划分的思想下,数据空间被划分为多个网格,以网格为单位检查支配关系,这样可以按网格进行修剪,而无需检查每个网格中的点.实验结果表明,本文提出的算法在多个方面都优于最先进的Skyline算法,尤其在计算时间上的优势最为明显.

基于Flink的k-支配skyline体并行求解算法

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算法MKSSOA,该算法对每名用户的候选集和中间集分别进行存储,同时在k-支配检查过程中利用2集合中数据点出现的先后次序将候选集中的非k-支配skyline点存储到对应用户的中间集中,以便下一名用户筛选使用,这样可以减少数据点之间的比较次数,避免重复计算,从而提升查询效率。同时,提出了面向多用户的k-支配skyline体并行求解算法MKSPSA,通过Apache Flink并行处理框架有效减少了数据点的比较时间。理论研究和实验结果显示,提出的算法具有较高的效率,能很好地处理多用户k-支配skyline问题。

在正交查询范围内解决G-Skyline查询中的why-not问题

旨在基于正交查询范围来回答G-Skyline查询中的why-not问题.讨论了G-Skyline查询中产生why-not问题的原因,概述了如何修改why-not点和正交查询范围,使基于正交范围的G-Skyline查询的候选点集中包含why-not点.当why-not点在正交范围内时,展示了如何修改why-not点并缩小正交范围;同时,还给出了当why-not点不在正交范围内时,如何展开正交范围.充分利用了G-Skyline的特性,通过提前进行剪枝,极大地缩短了计算时间.同时,通过比较所有组合的执行代价,确保以最小的代价解决G-Skyline查询中的why-not问题.实验结果表明:提出的算法切实有效,剪枝操作能够过滤大量无关数据,从而显著减少计算量并缩短计算时间.

一种网格化高并发Skyline查询处理方法

为减少冗余支配测试对Skyline查询性能的影响并提高Skyline查询处理的效率,本文将测试单位扩大为网格,并设计了一种基于网格分层划分的Skyline查询方法.通过不断缩小Skyline点集所在网格的方式,使网格之间的支配关系与点支配关系重合,从而避免了点与点之间大量无效的支配测试,提升了Skyline查询处理的效率.方法中同一层的网格可并行计算,且层次计算过程可达到任意精度,适用于计算能力有限但对结果精度要求不高的场合.实验结果表明,方法与现有Skyline查询处理方式相比具有数据吞吐量大、响应速度快等特点,在拥有高性能GPU或多核CPU等高并发环境下其优势更为明显.

基于时间的空间文本关键词skyline查询

在移动互联网环境下,空间文本skyline查询可以有效支持用户在空间和关键词方面的查询。随着需求的多样性,基于用户经常会同时考虑空间距离、数值型信息、关键词和时间等因素对查询结果的影响,提出了基于时间的空间文本关键词skyline查询(Time based Spatial Text Keyword Skyline Query,TSTKSQ),用来查找在空间、数值、关键词和时间都满足条件的优秀对象,设计了基于时间的空间文本关键词skyline查询的索引结构STTR-Tree,提出了关键词、时间和时空关键词相关性的评价函数,在裁剪策略的基础上提出了skyline查询算法。通过实验结果分析,验证了算法的准确性和有效性。

一种基于索引的高效k-支配Skyline算法

由于在多标准决策支持等应用上具有重要的意义,skyline查询成为近年来数据库和数据挖掘领域的一个研究热点.然而随着数据集维数的增加,数据点之间形成支配关系的可能性越来越小,导致了skyline点数目过多而无法提供任何有效信息.为了在高维数据集中找到更重要和更有意义的skyline点,人们提出了k-支配skyline的定义.但现有的用于k-支配skyline的算法在时间效率、空间复杂度和渐进输出性上都有待提高.该文提出了一种基于索引的高效k-支配skyline算法,通过为数据集建立两个索引,算法可以高效地进行计算,在时间、空间和渐进性上均优于现有的算法.

基于Map-Reduce的海量数据高效Skyline查询处理

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.

基于云模型的不确定性QoS感知的Skyline服务选择

由于传统QoS感知的Web服务选择方法无法保证服务选择的可靠性和实时性,提出了一种基于云模型的不确定性QoS感知的Skyline服务选择方法.该方法首先通过云模型计算QoS的不确定性,然后采用Skyline计算提取Web服务中的Skyline服务,剔除冗余服务,最后采用混合整数规划在Skyline服务中进行服务选择.在公共有效数据集和合成数据集上的实验结果表明,所提出的方法能够为用户提供可靠、快速的服务选择.

数据流上高效计算子空间Skyline的算法

流数据处理和多维空间中子空间上Skyline的计算是近年来数据管理与数据挖掘领域的研究热点.此前相关工作只专注于滑动窗口上Skyline的维护问题,未涉及到滑动窗口中子空间Skyline的计算.文中提出了一个基于网格索引的高效维护滑动窗口上Skyline的算法,以此为基础采用自顶向下的方式通过两个阶段增量式地返回目标子空间上的结果;开发的多个剪枝策略和启发式优化方法显著地提高了全空间Skyline的维护以及子空间Skyline的计算效率.理论分析和实验结果表明:与同类算法相比,文中提出的StreamSubsky算法以极少的时间开销就能输出第一个结果,并且算法具有良好的可扩展性.

基于Skyline的QoS感知的动态服务选择

服务计算相关技术标准的持续完善和不断成熟推动了基于Web服务重用的分布式应用系统开发方式的迅速普及.而随着服务数量的爆炸性增长,网络上存在着大量功能相似、非功能特性各异的服务,如何在功能相当的服务集中选择质量较优的服务成为一个亟待解决的问题.传统的基于服务质量的服务选择方法,无论是局部最优或是全局最优策略,均面向服务库中的所有服务进行选择,选择效率受服务数量影响较大,因此不适用于基于大规模服务库的服务选择.文中引入数据库查询中的skyline方法,利用skyline中的支配关系,在选择过程中仅考虑skyline之上的服务,从而大大缩小了服务选择的范围,提高了服务选择的效率.同时针对动态Web服务环境,提出一种动态环境下的skyline服务维护算法,并通过一系列仿真实验证明了所提算法的高效性及良好的可扩展性.

概率数据流上Skyline查询处理算法

概率数据流管理与分析逐步引起了研究者们的关注.Skyline查询技术是近年来数据库领域的研究热点.此前相关工作仅限于静态数据集或传统确定性数据流上的Skyline查询处理,尚无人考虑概率数据流上的Skyline计算问题,本文提出的SOPDS算法则较好地解决了该问题.在采用适应性更强的网格索引的基础上,提出了概率定界、逐步求精、提前淘汰与选择补偿等启发式规则对算法从时间和空间两方面进行了系统地优化.实验表明,算法在时间与空间上具有较高的整体性能.

数据流上连续动态skyline查询研究

skyline查询能够从大规模数据集上计算满足多个标准的最优点.数据流上的skyline计算是数据流上最基本的查询操作之一,对于很多在线应用具有非常重要的意义,尤其在移动计算环境、网络监控、通信网络以及传感器网络等领域.不同于大部分传统的skyline研究,主要研究数据流上约束skyline和动态skyline计算问题.采用网格索引存储元组,提出了GBDS算法用于计算和维护动态skyline.通过为每个查询定义影响区域,使得在元组到达和失效时需要处理的元组个数最小化.理论分析和实验结果证明了提出方法的有效性.

高效的Top-k相互Skyline查询算法

Top-k相互Skyline查询返回相互Skyline查询中的前k个对象.这种查询是数据分析者寻找有意义对象进行决策支持的一种重要直觉工具.然而,这种查询还没有引起研究社区足够的注意力.介绍了几种新颖的算法,包括Topk-TBBS,Topk-dMBBS,Topk-wMBBS.主要的思想是信息重用和高效的修剪策略.特别地,Topk-wMBBS算法由于完全重用了搜索中的节点信息,并利用了最好优先BF搜索策略.因而它获得了最好的性能.同时证明了该算法有最优的I?O访问效率.最后,使用了2个真实数据集和4个服从不同分布的合成数据集进行了集中实验.实验结果表明,提出的算法无论是变化参数k的大小、数据集的尺寸和Cache尺寸都是有效的,且具有很高的效率,尤其Topk-wMBBS具有最小的I?O访问次数.

基于Skyline的空战仿真数据三维可视化回放研究

对空战仿真数据进行三维可视化回放,直观逼真地还原空战仿真过程,为用户了解空战过程中任意时刻、任意视角和任意目标的信息提供交互工具,对研究空战有着重要意义。设计了基于Skyline的空战态势三维可视化回放实现方法,并对空战仿真数据的压缩存取、目标的动态加载、标牌显示、带轨迹变化的态势拖放等实现方法,实现了数据的三维可视化回放,并有效提高了态势回放效率。

不确定Skyline查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务、移动对象管理网上购物和市场监控等各种实际应用中.不确定Skyline查询作为不确定数据管理的一个重要方面,由于其在决策制定、市场分析、环境监控和数据挖掘等方面的重要作用,近年来在数据库和网络计算领域受到广泛关注.首先,概述了各种不确定数据类型上的Skyline查询定义,包括离散、连续概率分布模型以及不完全数据上的Skyline查询定义;其次,分析了不确定Skyline查询的特点,并在此基础上综述了现有的各种不确定数据集上的集中式和分布式Skyline查询方法,重点分析了各种算法的原理和优缺点;再次,介绍了不确定数据流上的Skyline查询定义并综述了各种不确定数据流上的Skyline查询方法;最后,基于最新研究动态指出了未来不确定Skyline查询研究的趋势.

基于事件的位置不确定移动对象连续概率Skyline查询

Skyline查询是基于位置服务(Location based service,LBS)的一项重要操作,其目的是发现数据集中不被其他点支配的点的集合.移动对象在运动过程中,其位置信息具有不确定性,导致各数据点间的支配关系不稳定,从而影响Skyline操作.本文针对以位置不确定移动对象为查询点的Skyline查询进行研究,首先,定义了查询点移动时各对象间支配概率,提出了支配概率和Skyline概率的微元计算方法.在此基础上,提出一种面向不确定移动对象进行连续概率Skyline查询的有效算法UCPSC.该算法首先快速计算初始时刻的p-Skyline集合;然后,定义了两类可能引起p-Skyline变动的事件,通过对这些事件的跟踪计算快速更新p-Skyline集合,无需在移动对象的每一运动时刻去遍历整个数据集,实现了对p-Skyline的连续更新操作,大大减少了算法的查找和计算开销,提高了运算效率;最后,提出一种静态算法USPSC,与UCPSC进行了对比试验,实验结果证明了算法的有效性.

MapReduce框架下的Skyline计算

由于Skyline查询广泛应用于多目标决策、数据可视化等领域,近年来成为数据库领域的一个研究热点。针对云计算环境,在MapReduce框架下设计并实现了Skyline算法。MapReduce是一个运行在大型集群上处理海量数据的并行计算框架,其主要思想是任务的分解与结果的汇总。基于不同的数据划分思想,实施了三种Skyline并行算法,分别是基于MapReduce的块嵌套循环算法(MapReduce based block-nested-loops,MR-BNL)、基于MapReduce的排序过滤算法(MapReduce based sort-filter-skyline,MR-SFS)以及基于MapReduce的位图算法(MapReduce based bitmap,MR-Bitmap),并针对这三种算法进行了系统的实验比较,得出了不同数据分布、维数、缓存等因素对算法性能的影响结果。