Decentralization of a Multi Data Source Distributed Processing System Using a Distributed Hash Table

A distributed processing system (DPS) contains many autonomous nodes, which contribute their own computing power. DPS is considered a unified logical structure, operating in a distributed manner;the processing tasks are divided into fragments and assigned to various nodes for processing. That type of operation requires and involves a great deal of communication. We propose to use the decentralized approach, based on a distributed hash table, to reduce the communication overhead and remove the server unit, thus avoiding having a single point of failure in the system. This paper proposes a mathematical model and algorithms that are implemented in a dedicated experimental system. Using the decentralized approach, this study demonstrates the efficient operation of a decentralized system which results in a reduced energy emission.

面向异构DHT存储的数据与位置解耦算法

分布式哈希表(distributed hash table,DHT)由于其高效的数据寻址方式而被广泛应用于分布式存储.传统DHT必须将数据存放在指定节点中才能实现高效的数据分布式寻址,极大地限制了DHT技术的应用范围.例如,在异构存储网络中,节点的存储空间、带宽、稳定性等均有较大差异,结合数据特征和节点性能差异选择合适的数据存放节点可以很大程度上提高数据的访问效率,而传统DHT数据和存储位置紧耦合的特征导致其难以应用于异构的存储网络中.针对此问题,提出了vRoute算法以实现DHT中数据标识与其存储位置的解耦.通过构建基于Bloom Filter的分布式数据索引,vRoute算法可以在不降低数据寻址效率的基础上允许数据存储在网络中的任意节点.通过扩展Kademlia算法实现了vRoute,并从理论上证明了vRoute算法的有有效性.最后,模拟实验表明vRoute以较低的存储、网络开销实现了和传统的DHT算法接近的数据寻址效率.

基于DHT的层次式P2P资源定位模型

P2P系统的一个核心问题是如何高效定位所需资源。该文提出了一种基于DHT(distributedhashtable)的层次式资源定位模型,将层次式引入结构化P2P系统。模型将节点组织成一个多层网络,每层可以包含多个DHT子网。该模型有助于解决P2P网络的可扩展性和可管理性问题。模拟测试表明,模型在路径长度和访问延迟方面的性能优于原DHT。

基于DHT的P2P搜索定位技术研究

在P2P系统中,如何高效准确地对资源进行定位是衡量其性能的一个关键。通过对目前基于DHT的几个典型P2P系统搜索定位算法的介绍,分析了基于DHT搜索定位技术的优点和存在的问题,并对P2P发展进行了展望。

基于DHT的分布式索引技术研究与实现

针对索引创建和维护效率不高的问题,设计了一种基于DHT(Distributed Hash Table)的分布式倒排索引构建算法。该算法利用基于改进的Chord网络的分布式哈希表技术,将分词后的结果分散到多个索引服务器上并行构建索引,同时采用前驱列表定位和减少服务器定位延迟的技术,大大缩短了索引构建时间。通过采用统一调度的基于分块的增量式倒排索引更新策略,索引更新时不再需要移动已有的索引文件,提高了索引更新效率。利用周期性稳定算法和前驱列表定位提高了系统的稳定性、容错性和索引的一致性。

DHT算法基本统计特性及其应用

对分布式哈希表(DHT)分析与建模,首先面临的问题是需要了解DHT的基本统计规律。从节点间距服从几何分布这一结论出发,利用概率论相关知识讨论了离散与连续地址空间上DHT网络中间距的分布规律以及一段地址空间上节点出现个数的概率特性。通过对节点管理范围的分析,研究了两种DHT网络的平衡性,并通过测量一段地址空间上的平均节点个数来估计网络规模。结果表明:Chord网络中节点负载是不均衡的,Pastry网络由于节点管理范围定义的细微差别使得节点的负载均衡性有很大改善,而网络规模的估计问题等价于泊松过程的参数估计问题。

一类DHT算法中负载的概率分布

根据节点之间间距的概率,推导出Chord、Pastry和虚拟服务器(VS)平衡方案下节点负载的概率分布。分析表明在这些分布式哈希表(DHT)算法中,节点负载都服从相同形式的伽马分布。特别地,当一个物理节点上放置20个虚拟节点,以概率0.99保证节点之间的负载差异不超过两倍。仿真实验验证了以上结果。

一种基于DHT的P2P搜索方法

在网络搜索技术中,P2P模式有C/S模式无可比拟的优势。P2P为非中心化结构中的网络用户赋予更多的权力,使网络应用的核心从中央服务器向网络边缘的终端设备扩散,因而可以全面改写当前的网络搜索技术。在各种P2P技术中,搜索技术是最有价值、最亟待解决的问题,其中分布式哈希表(DHT)协议将是对等网搜索的重要发展方向。本文首先概述P2P搜索技术现状,接着分析比较了当前几种典型的协议搜索方法,最后讨论一种基于分布式哈希表的协议搜索方法。

对等网络中DHT搜索算法综述

在P2P网路中如何快速准确地对资源进行定位是衡量其性能的一个关键。现在的分布式P2P系统普遍采取的是DHT(distributed hash table,分布式哈希表)搜索方法。基于DHT的P2P网络搜索算法的研究已经是P2P研究的一个热点。从P2P定义出发,介绍了P2P网络按照拓扑结构的分类发展;然后深入介绍了目前对等网络几种分布式哈希查找算法Chord、CAN、SkipNet和Cycloid等,并对这些算法从拓扑结构、路由复杂度、路由表大小、容错性、扩展性、负载平衡性等方面进行了评估比较;最后分析了这些算法的优缺点及今后研究的重点。

DHT网络规模估计算法的定量分析与设计

为准确而高效地估计分布式哈希表(DHT)的网络规模,提出一种基于平均间距的估计算法。该算法利用节点之间的间距服从指数分布这一特性,通过测量平均间距长度估计网络规模。从最简单情况入手,逐渐增加估计的间距个数,定量分析了网络规模估计值的概率分布和置信区间。根据分析,如果采用多条间距估计网络规模,估计值将服从参数为(k,k)的伽马分布的尾分布。最后,仿真试验验证了算法的有效性与分析的正确性。

DHT负载均衡的必要性

在分布式哈希表(DHT)中,节点ID通常随机选择,但这并不意味着DHT是负载均衡的。仿真结果表明,Chord网络中的负载是不均衡的。在总结对该问题相关工作的基础上,理论上证明了DHT算法本质上的不均衡性,并精确给出节点负载不均衡性的上界范围,仿真验证了分析结论。

DHT网络中的多维复杂查询处理方法研究

DHT网络中的高级查询处理是关系其应用领域拓展的重要问题,也是学术界与工业界共同关注的研究热点。基于Kademlia协议提出一种DHT网络中的多维复杂查询处理方法,其索引结构考虑了用户的查询偏好,使同类数据的存储位置具有相关性,同时巧妙地利用了Kademlia路由表的特点与更新方法,避免了索引维护过产生额外的通信开销,并且通过多点存储、沿路缓存改善了系统的容错性与负载均衡性。分析和实验表明,该方法以O(logN)的路由跳数复杂度和较低的开销实现了资源的多维复杂查询。

P2P网络中基于DHT的自适应Chord风险模型

针对Chord模型在节点加入或离开时产生大量消息,不适用于动态网络的问题,提出一种基于分布式哈希表(Distribute Hash Table,DHT)的自适应Chord模型,即Self-adaptive Chord。方法是该模型在节点加入或离开的时候暂不考虑整个网络逻辑拓扑的一致性,只简单更新其前驱节点和后继节点的路由表,而在节点转发消息时动态地调整各节点路由表,使得网络逻辑拓扑动态地趋向于一致。通过实验对比评估了自适应Chord和Chord性能,结果表明自适应Chord能有效降低由于网络动荡引发的消息数量,同时基本保留了Chord的高效率查询。结论为自适应Chord提供了一种在节点动荡频繁的环境下的候选解决方案。

P2P系统中基于DHT的文件存储与复制策略的设计

基于一个具有良好扩展性与通用性的DHT文件存储和共享系统,结合传统的数据复制技术,在充分考虑P2P网络的异构性前提下,设计了一种自组织的文档存储策略和一种结合节点综合性能的自适应的最多请求者与最近最少访问相结合的复制策略。这两种策略结合使用,能够保证文档存储的可靠性、共享信息的高效可用性,并可自动调整网络的负载平衡状况,保证网络的可扩展性与稳定性。

基于DHT-P2P新型的ONS解析机制

针对基于DNS技术的EPCglobal ONS系统存在负载不均衡,查询时延较大等缺点,提出基于改进DHT机制的层次化ONS解析系统,运用OverSim网络仿真平台进行仿真实验。实验结果表明基于DHT机制的ONS解析系统能够有效地应对单点失效,平均查询时延波动轻微,相比于EPCglobal ONS系统具有更好的负载均衡性能,这个特性极其适合地址空间急剧增长的物联网,对加快物联网的发展具有很重要的现实意义。

一种基于DHT混合型对等发现服务的算法设计

提出一种新的发现服务算法ROAD,尝试采用混合策略来适应系统的不同变化程度;通过改善超级点的使用方式,构建加速路由表,加快发现服务的速度,降低消息转发的延时;并通过幂次序组播算法改善对超级点的依赖性。选择不同质量类型的超级点,ROAD可以扩展成满足不同服务需要的发现机制。

E-SkipNet:一种支持多属性范围查询的DHT网络

传统DHT网络能支持高效的关键字精确查找,但无法直接支持多属性范围查询,提出一种新的DHT网络E-SkipNet,可支持高效的多属性范围查询.E-SkipNet对传统DHT网络SkipNet进行了扩展改进,将数据属性信息引入到节点双ID设置中,将节点组织成多个属性域负责存储各属性数据,从而支持多属性查询;进一步采用均匀位置保留哈希函数对数据进行映射存储,从而在各属性域中保留数据属性值的顺序关系,这是支持高效范围查询的关键.分析表明,E-SkipNet网络可以支持多属性范围查询,具有良好的负载均衡性和对数据模式的适应性,且比现有MAAN和Mercury等同类方法具有更少的查询路由跳数.

一种基于DHT的Web缓存共享方法

提出了一种基于DHT技术的Web缓存共享方法。该方法使得企业网络中所有节点能够相互共享浏览器中的本地缓存,从而形成一个高效的、大规模的分布式缓存共享系统。针对Web缓存共享的系统响应迅速的要求提出一种路由步长为O(2)的路由协议,保证Web查询请求最多只经过一次转发就可到达目标节点。性能分析和仿真实验的结果证明其在路由可靠性、命中率、系统响应和缓存代价方面均有满意的效果。

基于DHT的物联网命名服务体系结构研究

针对物联网对象命名服务中根服务器负载过重、负载不均衡和单点失效等问题,提出建立基于分布式哈希表的物联网命名服务体系结构,以对等的环型结构替代树型结构;同时采用基于物理网络拓扑的、依靠邻居节点集合的分簇算法,改进了Chord算法,实现了该物联网命名服务原形系统。仿真实验与分析证明了该体系结构能够增强物联网命名服务的有效性、完整性、保密性和匿名性,并具有查询速度快、负载均衡、可扩展性好、能有效应对单点失效等优点。