基于VDF和一致性哈希的区块链网络分片策略

分片是一种解决区块链可扩展性问题的关键技术。针对区块链网络分片可能会使恶意节点更容易集中在同一个分片内以及实用拜占庭容错(practical byzantine fault tolerance,PBFT)共识机制主节点选择不合理问题,提出基于可验证延迟函数(verifiable delay function,VDF)和一致性哈希的区块链网络分片方法(blockchain network sharding algorithm based on verifiable delay function and consistent hashing,VCNS)。使用可验证延迟函数随机进行分片,使得恶意节点能够均匀分配到不同的分片中,从而有效避免了大量恶意节点同时控制某个分片的情况,增强了分片区块链的安全性。同时,主节点选举结合一致性哈希算法,由分片内当前主节点选出片内下一个主节点,片内成员节点会验证当前主节点计算出的下一个主节点是否正确,防止当前主节点与恶意节点合谋,增强主节点选举的安全性。实验结果表明,VCNS在保障分片区块链安全性的前提下,具备了高吞吐量和低共识时延的优势。

基于一致性哈希算法的分布式数据库索引查询优化方法

为了解决分布式数据库索引查询负载不平衡的问题,基于一致性哈希算法设计了分布式数据库索引查询优化方法.根据分布式数据库服务器节点CPU处理能力、带宽和缓存大小,采用动态反馈机制计算各服务器节点的索引查询负载率,通过一致性哈希负载平衡算法将任务分配给各服务器节点,并实时调整负载.以最小总代价为目标,利用多蚁群算法求得最佳查询路径.实验结果显示,基于一致性哈希算法的优化方法整体曲线趋势较平稳,在用户请求数量为4 000条时,最大负载平衡度为1.5%,全程响应时间小于35 ms.这说明该方法能够有效调整分布式数据库的负载分布,且受数据库规模影响较小,具备强大的查询响应能力.

改进一致性哈希优化存储邮政数据算法的研究

随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。

基于一致性哈希环多主节点的改进实用拜占庭容错算法

联盟链技术作为一种建立供需双方的可信交易的工具,促进了云制造平台的发展。实用拜占庭容错(PBFT)共识算法是联盟链最受欢迎的共识协议,得到了广泛的研究和应用,但是还存在节点较多导致PBFT算法扩展性较差、重播攻击降低了共识算法的性能、网络结构静态难以维持高效的运行状态3个问题。为此,提出一种改进的实用拜占庭容错(IPBFT)算法。首先,通过优化主节点的选取方式将单个主节点扩展为多个主节点,使得多个主节点在一致性哈希环的桶中实现数据均匀分布和任务均匀调度;然后,通过多线程并行执行共识算法以最大程度地减少时延并提高算法的吞吐量,从而提高了算法的可扩展性;其次,在重播攻击算法中通过定期旋转桶来分配正确的主节点,然后通过分配的主节点来接收客户端的请求,以防止客户端的重播攻击;最后,设计了一套节点移除机制来加入可靠的节点或者移除拜占庭节点,减少视图切换操作,从而使系统维持较高的运行状态。实验结果表明,IPBFT明显优于PBFT共识算法,很好地解决了以上3个问题。

基于一致性哈希算法的分布式机电系统海量数据存储策略研究

针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希算法的机电液数据的哈希环信息映射,同时引入虚拟节点解决哈希偏移问题。考虑各主机性能差异,基于权值分配虚拟节点,实现负载的自适应,并建立了虚拟节点的动态分配机制。试验结果表明:该存储策略具有良好的负载均衡性,较平均分配各主机节点数量的一致性哈希动态分配存储策略效果更好,能有效减少动态分配次数,使系统快速进入正常运行状态,实现数据的高效存储。

CHB-Consensus:一种基于一致性哈希算法的区块链共识机制研究

区块链中的共识协议使得网络中相互不信任的节点对全网的交易状态达成一致的确认。当前的共识协议在"去中心化、安全性、能耗"3个方面存在矛盾,无法同步优化。针对该问题,本文基于一致性哈希算法,设计实现了全新的区块链共识协议,称为"CHB-Consensus"。该共识协议在"诚实"节点创建新区块时不耗费多余的"算力"资源,但是"恶意"节点进行新块创建攻击或"双花"攻击时需要耗费海量算力。"CHB-Consensus"形成的区块链网络与比特币系统基于同样的安全性假设,因此,"CHB-Consensus"节省了海量算力的同时没有牺牲去中心化和安全性的优势。本文分析了"CHB-Consensus"共识协议可能存在的攻击过程,并给出了严格但可调整的验证策略。"CHB-Consensus"共识过程引入了CA,CA数字证书只作为共识过程的准入凭证,CA对区块链网络及区块链数据结构不具有任何特殊的管理控制权限,但有交易隐私泄露的风险,这取决于CA的安全性和可信性。本文最后分析了"CHB-Consensus"的健壮性及对应不同网络环境的优化策略。

基于动态反馈的一致性哈希负载均衡算法

负载均衡一直是分布式网络的一个研究重点.近年来随着网络视频监控系统的广泛应用,负载均衡也逐步应用到该领域,以满足分布式视频监控的需要.本文针对分布式系统的视频服务器集群提出了一种新的负载均衡方案,将动态反馈机制与一致性哈希算法相结合,并根据其业务特性进行了优化和改进,增加了系统的可靠性和抗冲击性,提高了负载均衡的总体效果.

分布式存储系统中改进的一致性哈希算法

随着网络存储系统的发展,分布式存储中的数据均匀分布和高效定位的问题越来越备受关注。现存的关于分布式系统的数据分布的可靠性和可用性等方面并不能得到有效的保证。文中提出了一种改进的一致性哈希算法,通过对Redis存储节点进行逻辑划分成一个组,组内采用主从的模式提高了分布式存储的一致性和可靠性,并分析了同一个组内不同读写策略的数据一致性。经过实验比较,该算法能有效地降低系统平均响应时间,提高系统吞吐量,使分布式存储系统负载更为均衡。当组内主节点宕机时,利用从节点的备份数据以及主从切换可以及时对外提供集群服务,这一点有助于实际的研发分布式存储。

分组一致性哈希数据分割方法

针对分布式入侵检测系统进行数据分割时面临的数据完整性和负载均衡问题,提出一种分组一致性哈希数据分割方法。采用TCP流重组技术保证数据的完整性;在对数据进行分割时,采用改进的分组一致性哈希算法,将具有相近计算能力的结点分为一组,根据组的计算能力,将各组按比例交替映射到整个数据哈希值计算对应的空间;在数据分配时,对结点的负载进行检测和动态调整。仿真测试结果表明,该方法具有较高的检测率,算法所需虚拟结点数量减少,降低了内存占用,提高了系统的负载均衡性。

基于贪心算法的一致性哈希负载均衡优化

一致性哈希是一种运用于服务器集群的动态扩展技术,由于其良好的弹性横向扩展性而广为运用。然而一致性哈希本身没有相关的负载均衡措施,很容易导致节点间的数据倾斜,因此其负载均衡也就成为了一个相当重要的研究方向。文中首先设定一种微服务架构的服务器集群场景,对该集群的负载特性进行分析,提出一种对一致性哈希环的分割方式及基于贪心算法的分配策略,并根据该场景设计合适的哈希函数,用于优化传统的哈希环分配方法,实现负载分配时期的负载均衡。同时本文也研究了该哈希算法的横向扩展性与可并行运算的负载预测方式。经实验证明,与传统的虚拟节点式一致性哈希算法相比,文中所提出的算法可以将最高负载节点与最低负载节点的负载差值控制在10%以内,其效率提高了20%左右,一定程度上优化了整个系统的负载情况。

数据库集群研究中的一致性哈希算法分析

为了提高数据的运行速度以及运行的可靠性和安全性,需要设置合理的数据划分方法 ,并将一致性哈希算法运用到数据库集群研究中。本文分析了一致性哈希算法在数据库集群研究中的具体应用方法 ,并设计了具体的数据划分方案,为后期的数据研究工作提供参考和借鉴。

基于一致性哈希算法的分布式数据库高效扩展方法

大数据背景下,分布式数据库在使用过程中经常需要扩容,在扩容过程中,各存储节点的哈希值需要重新计算,数据对象也需要大量迁移数据。本文通过预留子分区识别位、数据库扩容过程中物理存储节点编码“高位不变,低位置1”等技术手段实现数据库的高效扩展。对比实验标明:该方法避免了分布式数据库在扩容时的已有存储节点哈希值的重新计算工作,减少了数据对象的数据迁移量,提高了分布式数据库的扩展效率。

一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案。最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好。

改进的一致性哈希算法及应用

针对分布式入侵检测中的数据分割问题,给出一种改进的一致性哈希算法。该算法针对采集的数据包,通过TCP流重组建立TCP数据链,保证数据流的完整性;再通过结点的分组对一致性哈希算法进行改进,并实现组间和组内的数据分配,减少虚拟结点数量;对结点的负载均衡检测和调整策略,改善了系统的负载均衡性。仿真测试结果表明该算法具有较好的负载均衡性。

基于一致性哈希的Web跨域认证优化方案

提出一种Web跨域认证优化方案.该方案在认证服务器和一致性哈希的环形空间上的虚拟结点之间建立了映射关系.应用服务器通过计算一个唯一标志的哈希值来选择认证服务器进行用户身份认证,允许以最小的代价增加或移除认证服务器,并且,具有较强的负载均衡能力和较好的冗余机制.该方案使用Web协议传递认证消息,适用于对安全性要求不太高、对性能和扩展性要求较高的互联网服务.

基于动态权重的一致性哈希微服务负载均衡优化

随着互联网技术的发展,互联网服务器集群的负载能力正在面临着前所未有的挑战,实现合理的负载均衡策略尤为重要。为了使负载均衡达到最佳的效率,可以使用一致性哈希算法来对集群负载均衡系统进行负载分配。针对微服务架构的服务器集群场景,对该集群负载均衡的特性进行分析,提出一种基于虚拟节点的一致性哈希环的设计与分割方法及基于动态权值的分配策略,在一致性哈希算法的基础上,实现服务集群之间的负载转移,解决微服务集群中服务负载增多,导致服务之间负载不均衡的问题,防止其中某些服务因为负载压力过大,导致服务崩溃的问题。经实验表明,与传统的一致性哈希算法相比,改进后的负载均衡策略负载不均衡的概率是原来的31%;并且动态分配策略具有良好的负载均衡性能,有效地解决了微服务分布式架构的负载均衡问题。

基于虚节点的一致性哈希算法的优化

一致性哈希算法在分布式存储集群中得到了比较广泛的应用,但是在较大数据存储压力下会面临数据分布方面的负载均衡的问题,和数据迁移方面高效性的问题,策略的缺失会造成存储系统整体的可用性偏低。针对以上问题,本文提出了具体的虚节点反馈机制,如何合理的初始化设定虚节点数量,根据存储环境实现虚节点数量的自动分配和对存储节点的负载反馈,保证分布式存储中的负载均衡,以及在存储环境发生变化时,有效的提高数据迁移的效率,增强系统的自适应能力。最后,通过实验测试,得出数据分布结果和节点变化对数据迁移的影响,验证了该机制的有效性。

基于一致性哈希的分布式数据库性能拓展

当对分布式数据库进行设计开发时,通常需要考虑网络设备的异质性和系统内网络之间的可用程度和互操作程度,以及系统网络的规模和开发成本等多个因素。目前一般的分布式数据库通常被设计成一系列网络构成的多层专用网络系统,当衡量网络规模和可用程度等问题时,需要基于每个问题进行单独的设计,由于这种方案缺乏统一的解决途径,导致管理和测试的效率降低。针对传统方式引起的多次设计问题,提出一种新的一致性哈希策略来进行分布式数据库性能动态拓展的方法。首先,通过一个中心管理节点群来控制所有节点的通信过程,并完成处理故障等任务,其中每一个节点均对应一类网络管理方式及协议方式;然后,对相应的异构网络设备进行监控和统计;最后,要保证节点之间则采用统一的协议进行通信。在内网环境下对函数误差、丢失信息量和时延进行评估,测试结果表明这些指标保持稳定,与多层分布式专用网络方法相比,新的方法在节点个数增加接近8倍的情况下,平均误差仅升高了74%,丢失数据量增加了52%,往返时延在毫秒量级上基本没有变化,因此认为这种方案比传统方法能够在保持性能的前提下容纳更多节点的通信进程,表现出一定的易扩展性,且由于对异构设备兼容,使得设计及架设的代价较低。

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.

一致性哈希算法在分布式系统中的应用

随着互联网技术的迅猛发展,分布式系统逐渐成为重要的技术之一。阐述了一致性哈希算法的原理,详细介绍了一致性哈希算法在分布式系统中的应用,并总结了一致性哈希算法的优点。