基于聚类和一致Hash的数据布局算法

如何有效地对数据进行布局是大规模网络存储系统面临的重大挑战,需要一种能够自适应存储规模变化、公平有效的数据布局算法.提出的CCHDP(clustering-based and consistent hashing-aware data placement)算法将聚类算法与一致hash方法相结合,引入少量的虚拟设备,极大地减少了存储空间.理论和实验证明,CCHDP算法可以按照设备的权重公平地分布数据,自适应存储设备的增加和删除,在存储规模发生变化时迁移最少的数据量,并且可以快速地定位数据,对存储空间的消耗较少.

基于一致性Hash的分布式海量分子检索模型

针对大数据环境下,传统通用图匹配检索低效、折射率数据无法快速定位的问题,建立了基于一致性Hash的分布式海量分子检索模型。模型结合分子特点,将连续的折射率通过等宽算法离散化建立高速Hash索引,实现分布式海量分子检索系统,有效减小了参与计算的分子数据规模,并根据分子访问频次处理冲突从而提高分子检索效率。实验结果表明,在包含20万个分子的数据中,该方法平均检索耗时约为通用图匹配平均检索耗时的5%,模型性能稳定,具有高可扩展性;对于海量数据环境下依据折射率检索高频次分子较为适用。

基于一致性Hash算法的分布式缓存数据冗余

为了优化大型分布式网站中的数据缓存机制,提出基于一致性Hash算法的缓存数据冗余机制。分析不同散列函数性能,使数据能均匀分布在Hash环上不同节点,使用二分法在主从Hash环上分别进行存取缓存数据。本地测试及结果分析表明,该冗余机制明显优于直接读库和单机缓存,在分布式系统中能有效降低冗余操作带来的性能损耗,提高了网站的健壮性和稳定性,为高并发、分布式缓存系统设计提供了一个新的思路。

基于一致性Hash的电力企业MDS集群高质量元数据管理模型

本文基于一致性Hash设计了电力企业动态化MDS集群高质量元数据管理模型。首先详细分析一致性Hash算法,其次设计数据集成化元数据框架,再次构建一致性Hash集群数据管理模型,最后进行实验验证。实验结果表明,此模型不仅可提高元数据分布均衡性,还可基于备份结点策略保留MDS失效数据信息,同时利用数据延迟处理方式促使集群变化数据迁移量减少,从而实现数据存储的元数据优化管理与扩展。

一种基于条带的一致性散列数据放置算法

分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe,SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.

一致性哈希在HIS负载中的研究和应用

本文从重庆市中医院HIS系统负载均衡的实际应用出发,构件了两院部HIS系统负载均衡架构体系,分析了各负载均衡算法的优劣,选择了一致性Hash算法,并对其原理以及服务器的增减进行了研究和讨论,最后针对实际应用效果进行了阐述。一致性Hash负载均衡算法能够平衡各服务器压力和有效利用缓存,并在有服务器夯机情况下也尽量降低对临床的影响等特点,特别适合于推广在web服务器中。

基于数据关联性聚类的数据布局算法

现代信息系统的突出特征是基于海量数据的分布式应用集群。优化海量数据的存储布局,以提升存储资源的利用率和应用执行的速度,是一个重要研究课题。由于数据与数据之间存在关联性,只考虑负载均衡的布局算法缺乏实用性,需要进一步考虑数据与数据的关联性以提高应用执行速度。建立了数据和数据的关联矩阵,基于关联矩阵进行聚类,再将数据分配到各个数据中心中,计算执行应用时的数据迁移量,并与一致hash算法进行了比较,结果表明数据迁移量大大低于一致hash算法。

云计算环境下支持复杂查询的多维数据索引机制

针对云计算环境下分布式存储系统的数据索引不支持复杂查询的问题,提出了一种多维数据索引机制M-Index,采用金字塔技术(pyramid-technique)将数据的多维元数据描述成一维索引,在此基础上首次提出前缀二叉树(prefix binary tree,PBT)的概念,通过提取一维索引和PBT有效节点的前缀作为数据在存储系统中的主键.数据根据主键和一致性Hash机制发布到存储节点组成的覆盖网络.设计了基于M-Index的数据查询算法,将复杂查询请求转换成一维查询键值,有效支持多维查询和区间查询等复杂查询模式.理论分析和实验表明,M-Index在复杂查询模式下具有良好的查询效率和负载均衡.

基于聚类的动态负载均衡在数据采集上的应用

为了构建一个基于微博的社会网络,需要提供大量的微博数据源,那么如何才能实时高效的获取微博信息是构建微博社会网络面临的重大挑战。本文提出了一种基于聚类的动态负载均衡数据采集方法,将聚类算法与动态负载均衡结合是一次新的尝试,测试表明,能够满足对微博数据采集的需求。

一种面向海量存储系统的高效元数据集群管理方案

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server,MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.

基于私有云的种子追溯管理平台的研究

种子销售数据、流向数据的采集与计算是种子追索管理的重要环节。随着种子量的增加和种类的繁杂,传统的数据处理方式在进行计算、存储时,存在着负载能力低、吞吐量差等问题。借鉴Hadoop分布式计算模型的并行计算和分布式存储的方式,设计基于私有云的种子追溯管理平台,研究一致性Hash算法优化数据库集群配置、MapReduce对大数据的并行计算。结果表明,与传统单节点处理方式相比,采用私有云并行计算方式可以大大提高并行计算能力、存储效率和平台的负载能力,同等数据量下云平台处理时间约为单节点集群的33.3%。

一种云数据库的设计与实现

云数据库是把各种关系型数据库看成一系列简单的二维表,并基于简化版本的SQL或访问对象进行操作的数据库。云数据库能够为多个用户同时提供类似于单节点数据库的服务。在当前云计算技术不断发展中,数据库不断发展进化,从原始的单节点数据库逐渐发展成为云数据库,数据存储能力相对于过去提高了数倍。目前云数据库服务不断增多,在此背景下,讨论了一种云数据库的设计与核心子系统的实现。

企业信息系统高质量元数据管理

灵活易扩展的元数据集群方案可有效消除大规模数据存储和查询访问性能的瓶颈,为此,基于一致性Hash提改进元数据映射,提高集群系统的负载均衡,通过节点备份、失效接管和延迟更新策略提高容错性能和扩展性,以降低集群变动时的数据迁移量,实验验证了方案的有效性。

基于多云存储的数据放置策略方案研究

随着网络技术的快速发展,在不同场景下,用户对于信息获取的实时性需求越来越呈现多样化。研究表明,数据放置策略优化可有效提高数据请求的效率,使得在对性能影响较小的基础上,最终满足用户对数据获取的实时性需求。该文拟在多云存储平台下对数据放置策略进行优化,根据性能及实时性需求的不同,在副本数量、放置位置等方面进行改进和完善,从而满足不同场景的数据实时性需求。

基于Redis的系统缓存容量平滑扩展方案

本文对基于Redis缓存的系统怎样进行缓存数据容量扩展展开探讨,并提出具体的解决方案,从而使缓存数据容量在进行扩展的过程中,减少对系统的影响。