基于分布式哈希表DHT技术在对等网资源查找模式的探究

P2P网络模式是对非中心化的网络节点(即边缘节点)赋予更多的自治权力,即应用核心从中央服务器往边缘主机节点扩散。而这种模式下的资源定位或者查找将运用新兴的一种方式,那就是DHT技术。这也是本文重点阐述的内容。

基于分布式哈希表的分布式子空间聚类算法

提出一种基于分布式哈希表(DHT)的分布式子空间聚类(DISCLUS)算法,该算法对各结点存储的数据分别进行子空间聚类,对聚类结果进行合并,得到分布式系统的聚类结果.针对子空间聚类的特点,提出结果集缩减和结果集剪枝策略对结点间通讯进行优化.为实现结点聚类结果合并,提出分布式表决算法(DDV).该算法利用底层覆盖网的拓扑结构进行层次化表决信息收集,在动态网络环境中实现了对所有结点的无冗余覆盖.理论分析和实验表明,DISCLUS算法的聚类误差和通讯性能能够较好地适应系统数据集规模、网络规模和数据空间维度的增加.

基于DHT的层次式P2P资源定位模型

P2P系统的一个核心问题是如何高效定位所需资源。该文提出了一种基于DHT(distributedhashtable)的层次式资源定位模型,将层次式引入结构化P2P系统。模型将节点组织成一个多层网络,每层可以包含多个DHT子网。该模型有助于解决P2P网络的可扩展性和可管理性问题。模拟测试表明,模型在路径长度和访问延迟方面的性能优于原DHT。

DHT算法基本统计特性及其应用

对分布式哈希表(DHT)分析与建模,首先面临的问题是需要了解DHT的基本统计规律。从节点间距服从几何分布这一结论出发,利用概率论相关知识讨论了离散与连续地址空间上DHT网络中间距的分布规律以及一段地址空间上节点出现个数的概率特性。通过对节点管理范围的分析,研究了两种DHT网络的平衡性,并通过测量一段地址空间上的平均节点个数来估计网络规模。结果表明:Chord网络中节点负载是不均衡的,Pastry网络由于节点管理范围定义的细微差别使得节点的负载均衡性有很大改善,而网络规模的估计问题等价于泊松过程的参数估计问题。

DHT负载均衡的必要性

在分布式哈希表(DHT)中,节点ID通常随机选择,但这并不意味着DHT是负载均衡的。仿真结果表明,Chord网络中的负载是不均衡的。在总结对该问题相关工作的基础上,理论上证明了DHT算法本质上的不均衡性,并精确给出节点负载不均衡性的上界范围,仿真验证了分析结论。

动态DHT中基于目录的负载平衡技术

首先介绍了一种新的虚拟节点选择方法,该方法使虚拟节点在拓扑空间中具有群聚性,能减小节点的连接度,并且能考虑节点在存储能力上的差异,选择适量的虚拟节点。然后将该方法与基于目录的负载平衡方法相结合,将分布式负载平衡简化为目录中节点的负载平衡。模拟测试表明:该技术在动态的Chord中具有可靠的负载平衡功能。

基于DHT-P2P新型的ONS解析机制

针对基于DNS技术的EPCglobal ONS系统存在负载不均衡,查询时延较大等缺点,提出基于改进DHT机制的层次化ONS解析系统,运用OverSim网络仿真平台进行仿真实验。实验结果表明基于DHT机制的ONS解析系统能够有效地应对单点失效,平均查询时延波动轻微,相比于EPCglobal ONS系统具有更好的负载均衡性能,这个特性极其适合地址空间急剧增长的物联网,对加快物联网的发展具有很重要的现实意义。

基于节点距离度量的DHT测量方法研究

针对当前分布式哈希表（DHT）网络测量方法难以在准确性和完整性上取得平衡及节点发现不完整的不足，进行了两个方面的改进：第一，通过分析单个节点的路由表大小以及K桶数量，指导选取合适的测量ID数量，降低测量开销；第二，通过考察相邻节点距离，提出了一种基于节点距离度量的测量方法，以提高数据完整性。在此基础上，开发了面向BitTorrent系统DHT网络的主动测量系统——BD-Crawler。实验结果表明，BD-Crawler的节点发现效率优于其他方法。同时，测量结果发现，节点ID分布和消息响应时间在一定程度上影响着系统性能。

DHT系统的安全性优化方法研究

对分布式哈希表(DHT)系统的安全脆弱性问题进行了研究,提出了多种安全性优化策略,并给出了一个原型系统。进行了真实网络实验,实验数据表明,现有DHT网络易受索引毒害和路由污染攻击,产生的错误查询结果甚至会引发更大规模的网络安全事件。通过改进一个个DHT系统的节点ID生成机制、路由表更新机制和搜索路径选择机制,从系统运行的各个阶段提升其安全场,抵御攻击者共谋。基于上述方法设计的原型系统在保证平均查询跳数增加不到1跳的情况下,在共谋攻击节点占比60%的网络中,将系统查询成功率保持在65%以上,其方法适用于各种分布式哈希表结构,具有重要的实际应用前景。

基于对等结点指针表优化的Chord算法改进

对等网络需要解决的一个关键性问题是如何有效地查找存储所需资源的结点。文中在研究分布式查找算法Chord的基础上,介绍了分布式哈希表(DHT)的主要思想,阐述了资源关键字查找方式,重点分析结点指针表的特性及其表中冗余信息对查找资源的影响,进而提出了覆盖冗余信息的方法(URFChord)改进结点指针表。URFChord方法首先要计算指针表的冗余量R(N),然后在不增大指针表存储空间的情况下,删除指针表冗余信息再添加R(N)个新的路由信息。通过性能分析及仿真实验,证实了这种改进方法的可行性和有效性,减少了平均查找路径长度,提高了查询效率。

分布式结构化P2P网络下局部敏感哈希快速检索的负载均衡

研究了分布式哈希表(DHT)结构化P2P网络下,采用局部敏感哈希(LSH)方法进行相似检索时的负载均衡问题。考虑到LSH方法在高维空间下可以有效地进行K近邻检索,近年来LSH逐渐扩展到DHT分布式P2P网络下处理分布式相似检索问题,提出了一种采用虚拟节点方式管理多维度LSH桶空间的方法,将服从特定分布的多维LSH桶空间映射到DHT命名空间,以更好的负载均衡效果降低分布式环境下快速检索的性能损耗,优化查询效率。进而,以Chord结构为例,提出了基于虚拟节点的负载均衡具体算法。与其他方法相比,该方法能有效地改善节点负载均衡。通过实验验证了该方法的有效性。

DHT原理及功能探讨

作为结构化P2P系统底层架构的分布式哈希表——Distributed Hash Table(DHT),已成为P2P网络中节点组织和查询的热点问题,同时针对分布式哈希表的理论和应用情况已有了一定的研究.阐述了分布式哈希表的基本原理,并细化了现有的分布式哈希表分层的思想,主要是总结了DHT的功能,并将它按照功能分割为三层,详细论述了每一层的具体功能和实现模块,提出了与应用程序交互的数据管理层的内容.

基于改进B树索引的DHT多维范围查询

DHT在分布式网络环境中的应用越来越来得到重视,著名的算法有Chord、CAN、Pastry、Tapestry,以及Kademlia,它们使用一致性哈希的方法,虽然保证查询的效率和准确性,但是破坏原有数据的组织结构,使得DHT只支持精确查找,不支持复杂查询。根据实际,提出一种基于B树的范围查询,将改进后的B树索引分布式存储到网络节点中,从而在DHT之上建立的数据索引。在不破坏DHT结构的基础之上支持范围查询功能,提出如何解决多维范围查询的方法。

基于对等网络的面向小文件的云存储系统

针对目前主从结构的云存储系统在存储小文件延迟过大的问题,提出基于对等网络(P2P)的分布式云存储系统.通过改进Chord路由算法提高了资源的查询效率,在系统中引入中心路由节点,中心路由节点上存储系统中所有节点的路由和状态信息,使资源查询时间复杂度缩短到O(l),客户端预取中心路由节点数据,从而减少数据操作时的时间开销;系统通过备份的策略来保证数据的可靠性,实现中数据备份数为3;系统实现了文件存储、读取、删除及列目录等基本操作功能.实验结果表明,与Hadoop HDFS文件系统相比,该系统的小文件操作时间减少了一个数量级.

基于洗牌策略的Sybil攻击防御

洗牌策略从理论上解决了分布式哈希表(DHT)的Sybil攻击问题.为克服敌手作弊,引入受信节点构成分布式认证系统,由受信节点对新加入节点进行认证,保证节点签名和ID不能伪造;同时引入记录洗牌加入过程的票据来判定节点合法性,杜绝了敌手积累过期ID.由于保存票据的数量决定了论文提出算法的应用效果,通过理论分析和仿真实验证实设计的算法需要保存的票据数量不大,保证了算法的可行性.

一种新的结构化P2P覆盖网络路由算法

为提高结构化P2P覆盖网络的路由算法效率,在DHT网络的基础上,提出了一种用较小路由维护开销获取较大路由长度的路由算法CSSP.定义了简短的常数级别的路由表,用来记录L长度的缓存节点、1单位长度的超级节点、1单位长度的后继节点,并给出了节点加入和离开网络时的路由表维护算法以及超级节点的分布式选举算法.与Chord等典型算法的性能比较分析证明,CSSP算法在路由表维护的复杂度、路由复杂度、容错性以及节点加入和退出时的网络抖动量等性能方面都有明显改善,是一种有效的路由算法.

一种距离加权Bloom Filter的网络路由机制

基于分布式哈希表(DHT)的P2P查找经常受到在底层网络中路由时无必要的路径长度增加的影响。另外,DHT在处理复制方面也有一定的缺陷。提出了距离加权Bloom Filter(dwBF),详细地阐述了在资源分散的覆盖网络中使用距离加权Bloom Filter网络路由算法。

基于距离加权Bloom filter的网络路由算法

基于分布式哈希表(DHT)的P2P查找经常受到在底层网络中路由时无必要的路径长度增加的影响.另外,DHT在处理复制方面也有一定的缺陷.文中探讨了解决这些问题的方法.对使用Bloom filters作为资源路由的方法做了简要回顾,并较为详细地阐述了在资源分散的覆盖网络中使用距离加权Bloom filter的网络路由算法.对该算法进行了仿真测试,证明了其有效性.

覆盖网络测试探析

基于分布式哈希表DHT(DistributedHashTable)的P2P理论结构和算法研究的主要困难在于难以在实际网络中进行性能测试。OpenDHT是一个全球性的覆盖网(Overlaynetwork),能够提供一个具体的实验平台,通过响应客户端请求实现一个真正的DHT,以完成覆盖网络测试。

基于JXTA的层次性P2P搜索引擎框架的研究与设计

提出了一种用层次性P2P搜索体系来解决集中式搜索中的中心节点瓶颈问题,以及纯粹P2P搜索中的查询消息风暴和网络扩展性问题,并在P2P应用开发平台JXTA上开发了层次性P2P搜索系统原型,在小规模网络上进行了测试.测试结果验证了所提出的层次性P2P搜索体系结构及相应查询路由机制是可行的.