基于一致性树分布的数据分布式存储方法

随着云计算和大数据技术的发展,传统的单一存储介质的数据存储方式已经不能满足大数据处理的需求,在这样的背景下,分布式数据存储得到了广泛的应用。然而,目前存在的几种分布式存储方式并不能够完美地满足分布系统的需求。为了更有效地实现数据的分布式存储和冗余备份,采用一种新的基于一致性树分布(CTD)的分布式存储方法,并提出基于该方法的备份策略,实现数据索引与存储位置的映射。该方案具有负载平衡、无单点故障问题、扩展性高且易于实现的优点。同时提出了基于一致性二叉树分布(CBTD)的应用方案。通过对应用系统实例的分析,验证该方法能够很好地满足分布式系统的数据平衡、负载均衡和扩展性需求。

基于群体智能算法的大数据分布式存储方法

采用目前方法对大数据进行存储时,无法有效分配数据中存在的冗余数据,导致方法存在带宽占用率高、负载均衡度低、节点剩余能量低和数据存储量低的问题。提出基于群体智能算法的大数据分布式存储方法,利用一致性树分布存储方法完成大数据的分布存储,通过群体智能算法选择存储节点,对存储节点和大数据进行映射处理,将数据映射到对应的存储节点中,并采用遗传算法对大数据中存在的冗余数据进行分配,完成大数据的分布式存储。实验结果表明,所提方法的带宽占用率低、负载均衡度高、节点剩余能量高、数据存储量高。