有效降低分布式SKYLINE查询网络传输代价

分布式网络中的skyline查询是近年来信息检索学科的一个研究重点.目前大多数研究工作均没有考虑在分布式网络中,如何有效降低skyline查询的网络传输代价.为此,提出一种在分布式网络中,有效降低skyline查询传输代价的方法RTCSQDN(Reducing the Transferring Cost of Skyline Queries over Distributed Networks).RTCSQDN算法充分利用父空间skyline对象集与子空间skyline对象集间的语义关系通过三个阶段来平衡网络传输量和查询时间开销.同时,文章给出一种新颖的多维对象传送策略PTGPV(Policy for Transferring Grouping Position Values)来避免直接传送skyline对象本身,从而最小化数据传输量.详细的理论分析和大量实验评估表明,文章给出的算法具有有效性和实用性.

一种高效的分布式Skyline查询算法

本文提出了一种新的分布环境中的Skyline查询算法——一种新的四阶段Skyline算法FDSL。现有的算法,如Distributed Skylining算法,在节点数m较大时会消耗大量的网络带宽。FDSL算法在任意数据集上只需要四次交互就能完成,并且通过剪除不必要的对象来减少网络带宽的消耗。本文通过模拟数据验证了FDSL算法的效率。实验表明,当节点数m大于4时,FDSL算法的性能比现有算法提高了15%～30%。

一种基于移动Agent的分布式Skyline查询算法

针对分布式计算环境,利用移动Agent技术提出了一种基于移动Agent的分布式Skyline查询算法,并进行了深入的分析。通过分析可知,该算法可以实现在分布式环境下求解全局Skyline点。

基于一致性哈希算法的分布式数据库索引查询优化方法

为了解决分布式数据库索引查询负载不平衡的问题,基于一致性哈希算法设计了分布式数据库索引查询优化方法.根据分布式数据库服务器节点CPU处理能力、带宽和缓存大小,采用动态反馈机制计算各服务器节点的索引查询负载率,通过一致性哈希负载平衡算法将任务分配给各服务器节点,并实时调整负载.以最小总代价为目标,利用多蚁群算法求得最佳查询路径.实验结果显示,基于一致性哈希算法的优化方法整体曲线趋势较平稳,在用户请求数量为4 000条时,最大负载平衡度为1.5%,全程响应时间小于35 ms.这说明该方法能够有效调整分布式数据库的负载分布,且受数据库规模影响较小,具备强大的查询响应能力.

Oracle和MySQL数据库在大数据环境下的分布式计算与查询优化

随着大数据技术的快速发展,数据库系统面临着前所未有的挑战,尤其是在分布式计算和查询优化方面。本文旨在探讨Oracle和MySQL数据库在大数据环境下的分布式计算与查询优化策略。介绍了分布式计算的基本概念,分析了Oracle和MySQL在分布式计算中的架构,并对其性能进行了评估。探讨了分布式计算中的同步与一致性问题。详细讨论了查询优化的基本原理,对比分析了Oracle和MySQL的查询优化器,并提出了相应的优化策略。针对大数据环境下的查询优化挑战,提出了Oracle和MySQL的查询优化技术,并探讨了分布式查询优化的实现方法。最后,总结了研究成果,对Oracle和MySQL数据库的优化提出了建议,并对未来大数据环境下数据库技术的发展趋势进行了展望。本文的研究为数据库在大数据环境下的性能提升提供了理论支持和实践指导。

基于差分隐私的路网环境skyline查询

路网中的skyline查询在智慧交通、兴趣点发现和位置服务等领域具有重要的应用价值,但存在查询效率较低、未考虑查询结果的隐私性等问题。有鉴于此,文中提出了一种基于差分隐私的路网环境下skyline查询方法。首先,针对路网环境下的初始数据集数据量大和数据复杂的特点,对数据集进行预处理,利用基于距离属性划分的skyline层和路网Voronoi图的性质提出了3个剪枝规则,基于剪枝规则给出了路网环境下的数据集剪枝算法,从而有效地过滤掉大量冗余数据;其次,针对过滤后的数据集,利用网格索引的存储方式来节省存储空间,并设计了基于网格索引的skyline扩展树,基于扩展树和相应的剪枝规则提出了查询全局候选skyline点集的算法;最后,针对查询结果集,利用差分隐私预算分配模型来分配隐私预算,并基于信息散度进行结果集发布,有效提高了数据信息的隐私性。实验结果表明:所提出的查询方法的准确率在99%以上;其在数据集规模较大情况下的查询效率相较于传统skyline查询方法提升10%以上;在总差分隐私预算为0.01、0.10、0.50和1.00时,所提出的隐私预算分配方法的相对误差均低于等差分配和等比分配方法。

基于人工智能技术的分布式数据库重复记录自动检测系统设计

以人工智能技术为基础前提的分布式数据库重复记录自动检测的方式,以提高数据库查询时的准确率以及查询效率。设计系统首先对数据信息进行对应的特征提取,而后通过权衡函数对样本信息进行整合,通过自适应分解得到相应的目标函数并求解,结合灰狼算法以及Shingle完成数据查询。经过算例验证,改进设计方式准确率均超过90%,平均耗时在35 s以内,满足自动查询快速精确的要求。

高效处理分布式数据流上skyline持续查询算法

基于非共享策略,围绕着降低系统反应延迟与通信负荷的目标,提出了一种分两阶段渐进求解的分布式算法BOCS(based on the change of skyline),并对算法的关键实现环节,如协调站点与远程站点间的通信、skyline增量的计算等进行了系统优化,使算法在通信负荷与反应延迟上达到了较好的综合性能.理论分析证明,在所有基于非共享策略的算法中,BOCS算法通信最优.大量的对比实验结果也表明,所提出的算法高效、稳定且具有良好的可扩展性.

面向分布式数据库的算子并行优化策略

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。

分布式环境下连续概率Skyline查询

Skyline计算是多准则决策,数据挖掘和数据库可视化的重要操作。移动对象在运动过程中,由于位置信息的不确定,导致局部各数据点间的支配关系不稳定,从而影响全局概率Skyline集合。针对分布式环境下不确定移动对象的连续概率Skyline查询更新进行研究,提出了一种降低通信开销的连续概率Skyline查询的有效算法CDPS-UMO,该算法在局部节点中对局部概率Skyline点的变化进行跟踪;提出了有效的排序方法和反馈机制,大大降低了通信开销和计算代价;提出一种基本算法naive,与CDPS-UMO进行了对比实验,实验结果证明了算法的有效性。

分布式环境下的Skyline代表点查询

为了克服Skyline查询的不足即结果集大小无法控制,提出了Skyline代表点查询,返回k个可描述全局Skyline轮廓的Skyline代表点。研究了分布式环境下的Skyline代表点查询,提出了Naive算法和FDRA。Naive算法首先转移每个子节点上满足条件的两个局部代表点,再通过比较传来的局部代表点间的评价函数值大小决定子节点是否需要传送余下的局部点,以实现剪枝非代表点;与之相比,FDRA的改进在于过滤元组的选择,运用反馈方法,将每次动态更新最大评价函数值的点作为过滤元组,大大降低了计算代价,中心服务器每次只发送过滤元组到分布节点,这样可以尽早且最大限度地剪枝不可能成为代表的Skyline点。提出的算法降低了服务器间的通信开销,返回了正确的结果集,实验论证了算法的有效性与高效性。

基于电网分布式存储构建业务分析模型的探索和研究

由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明:所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。

分布式数据的反Skyline查询算法

Skyline查询是一个典型的多准则优化问题,在多标准决策,数据挖掘以及市场分析等实际应用中起着越来越重要的作用.反skyline查询则是在skyline查询基础上提出的,它的查询结果与skyline查询相反,是返回以查询点作为其动态skyline点的数据集合.但此前的工作仅限于集中式数据上的反skyline查询.在现实应用中,基于更新成本、性能等考虑,数据经常是分散存放并通过网络互联的.诸如网上购物,环境监测等具体应用中,集中式算法不再适用于分布式环境.本文提出分支界限(BBDRS)和预排序(PDRS)两种分布式算法,尽可能的过滤掉远程站点上不可能成为反skyline点的数据,减少了发往协调站点的通信负载,降低协调站点计算量,以降低查询延迟.理论论证和实验数据都显示了该方法的可行性和有效性.

一种高效的分布式动态Skyline查询算法

随着数据规模的增长,集中式环境下的查询算法已无法满足对大规模数据的查询需求,对此提出一种分布式动态Skyline查询(Distributed Dynamic Skyline Query,DDSQ)算法。DDSQ算法包含本地计算和合并计算两个过程。本地计算中,基于B树索引提出基础扫描算法(Basic Scan Algorithm based on B-tree,BSAB)来快速计算分布式动态Skyline候选集;提出优化的扫描算法(Optimized Scan Algorithm based on B-tree,OSAB),与BSAB相比,OSAB进一步减少了扫描空间,提高了计算效率。合并计算中,采用轮转策略对动态Skyline候选集进行合并计算。通过一系列实验验证了DDSQ算法的有效性。

无线传感网络中基于MapReduce的组合Skyline查询算法

无线传感网络通过传感器节点能够收集到海量数据,利用组合Skyline查询技术可以在海量数据中获取以组合为单位的用户感兴趣的信息。然而,由于无线传感网络所处环境的不确定性及节点能量有限等问题,使得在海量数据下组合Skyline查询效率不太理想。针对该问题,提出一种基于MapReduce的组合Skyline查询算法(MR-GSKY算法),首先通过预处理操作去除无用点,然后将数据集分块,充分利用MapReduce分布式计算的特点,在Map阶段并行计算每一分块的键值对,再利用删减操作去除无用候选组合,在Reduce阶段执行扩展操作对不同键值对的组合进行整合并计算出组合Skyline的中间结果,通过多次Map和Reduce操作生成G-Skyline(n)。实验结果表明,该算法比现有算法具有更好的性能。

分布式环境下大规模移动对象范围查询算法

移动对象的连续范围查询是许多基于位置的服务的核心问题。针对该问题,提出一种面向大规模移动对象并发范围查询的分布式搜索方法。首先,设计了一种由全局网格索引(GGI)和局部弹性四叉树构成的移动对象分布式动态索引(DDI)结构。其次,提出了一种基于DDI结构的分布式查询算法(DSA),该算法首先引入了一种在移动对象和查询点的位置连续变化的情况下的查询结果增量更新策略;然后,在增量更新过程中引入一种面向多并发查询的共享计算优化策略,该策略能够根据已有计算结果对移动对象范围查询结果进行增量搜索。最后,基于德国路网模拟了3个具有不同空间分布的移动对象数据集,将DSA与NS(Naive Search)、GI(Grid Index)和分布式混合索引(DHI)进行对比。实验结果表明,与性能最好的对比算法DHI相比,DSA的初始查询时间减少了22.7%,增量查询时间减少了15.2%,性能优于对比算法。

分布式不确定数据上的概率Skyline计算

提出了分布式不确定数据上概率skyline的低通信开销算法。首先给出了一种间接的对象分布信息——剪枝空间,分布节点通过共享全局剪枝空间,能够减少通信开销。为了降低传输剪枝空间带来的额外通信开销,对表示剪枝空间的虚拟对象集合进行基于距离的压缩。与基本算法相比,100个分布节点时,在真实数据集上节省了69%的通信开销;在均匀、正相关、反相关三种标准模拟数据上分别节省60.5%、41.8%、24.5%的通信开销。

一种分布式环境中的二分式多层网格skyline算法

skyline计算在数据挖掘、多标准决策和数据库可视化等领域有着非常重要的作用,这些年已经得到了广泛的关注,以往对于skyline查询的研究大多集中在处理集中的数据集上,即集中式skyline查询,已经得到了很多的研究成果。然而,实际情况是:相关数据几乎分散在几个不同的服务器上,因此在分布式环境中的skyline查询计算需要从各个服务器收集大量的数据;现有的在分布式环境中的skyline查询方法有两个主要问题:一是skyline查询的处理时间较慢;二是在网络中服务器之间传输了很多不必要的重叠数据。提出了一种二分式多层网格法(DMLG),可以有效地处理在分布式环境中的skyline查询。该方法利用网格的方法,借鉴二分法,最大限度地减少了不必要的重叠数据传输,基于不同的数据集的实验表明,这种方法优于现有的方法。

分布式数据流上的Skyline计算

为了降低分布式数据流上的连续Skyline计算过程中的通信开销,提出了基于远程过滤的思想并对相关理论基础进行了证明,描述了系统的体系结构并提出了两个过滤模型v_Max和Distance。理论分析和实验结果证明了所提方法在某些数据分布情况下降低通信开销的有效性。

海量空间数据的分布式存储查询优化分析

海量空间数据的分布式存储查询优化可提高数据分析的有效性,以海量空间数据为中心,从服务范围查询性能的角度,建立以SPark平台与MySQL数据库为中心的海量空间数据分布式平台,并引入索引机制,利用空间编码技术以及分布式存储搭建海量空间数据存储模型,对海量空间数据的存储查询进行优化,旨在进一步提高海量空间数据的查询响应速度与应用效果。