卫星网络混合负载均衡策略下的多径流量分配算法

为均衡卫星网络流量分配,满足用户QoS需求,提出一种全局和局部结合的混合负载均衡策略下的多径流量分配算法(HLB-MTD)。根据QoS业务需求进行部分路径筛选,基于表的散列算法进行流量的初次分配;在初次分配的基础上针对突发拥塞进行局部调整,建立重映射目标函数,通过改进交叉和变异概率的遗传算法求出最优解;求得局部优化的,流到路径的映射策略。仿真结果表明,该算法可有效缓解卫星网络拥塞,实现流量均衡分配,在丢包率、平均排队时延、等指标上有更好的提升。

一种基于动态空间划分和压缩布隆过滤器相结合的分布式元数据负载均衡算法

分布式元数据管理系统利用多个元数据服务器对大量元数据进行存储和管理。该系统将海量元数据通过不同的映射策略分配到不同的元数据服务器上,减少单台元数据服务器所处理的数据量,从而减少磁盘访问次数,进而提高整个元数据管理系统的性能。元数据管理系统通常会使用哈希函数将元数据键映射到不同的元数据服务器中。然而,当数据特征值相似时,由于散列函数的单向性,会导致数据分布不均衡的问题,造成元数据服务器性能下降。为解决上述问题,提出了一种动态空间划分和压缩布隆过滤器相结合的元数据负载均衡算法,该算法首先构建一个哈希桶来组织元数据键,通过哈希算法将元数据键映射到不同的哈希桶中;在映射过程中,根据元数据服务器的负载情况动态调整目标哈希桶,并在上述哈希桶中有序地保存元数据键的映射信息。当访问元数据时,首先通过压缩布隆过滤器对元数据键进行预处理,然后通过二分查找在指定的哈希桶中进行元数据映射信息的查找。与近年来提出的元数据管理算法相比,所提算法在映射键发生倾斜时仍能保证元数据服务器负载均衡,并通过对比实验表明,所提算法相比最优的元数据管理算法,在内存占用仅提升2%的条件下,获得了20%的搜索性能提升。

基于一致性哈希算法的分布式数据库索引查询优化方法

为了解决分布式数据库索引查询负载不平衡的问题,基于一致性哈希算法设计了分布式数据库索引查询优化方法.根据分布式数据库服务器节点CPU处理能力、带宽和缓存大小,采用动态反馈机制计算各服务器节点的索引查询负载率,通过一致性哈希负载平衡算法将任务分配给各服务器节点,并实时调整负载.以最小总代价为目标,利用多蚁群算法求得最佳查询路径.实验结果显示,基于一致性哈希算法的优化方法整体曲线趋势较平稳,在用户请求数量为4 000条时,最大负载平衡度为1.5%,全程响应时间小于35 ms.这说明该方法能够有效调整分布式数据库的负载分布,且受数据库规模影响较小,具备强大的查询响应能力.

改进一致性哈希优化存储邮政数据算法的研究

随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。

键值对与对象存储在分布式存储系统中的应用

为解决传统存储系统在海量文件存储和文件路径快速变更时难以兼顾的问题,在对比分析文件存储和对象存储利弊的基础上,提出将K-V键值对的文件目录结构与对象存储结合的方案,使系统在拥有高吞吐量的同时,快速完成目录的迁移工作。在使用TiKV集群存储文件元数据提高数据扩容上限时,引入虚拟节点的哈希算法与代理节点结合,减少集群扩容时的IO漂移。实验结果表明,该系统具有吞吐量大、迁移速度快、水平扩展性强、扩容过程平稳的特点。

基于一致性哈希算法的分布式机电系统海量数据存储策略研究

针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希算法的机电液数据的哈希环信息映射,同时引入虚拟节点解决哈希偏移问题。考虑各主机性能差异,基于权值分配虚拟节点,实现负载的自适应,并建立了虚拟节点的动态分配机制。试验结果表明:该存储策略具有良好的负载均衡性,较平均分配各主机节点数量的一致性哈希动态分配存储策略效果更好,能有效减少动态分配次数,使系统快速进入正常运行状态,实现数据的高效存储。

面向智能电网的数据密集型云存储策略

智能电网环境下数据密集型应用往往涉及跨数据中心的数据传输和数据中心内的数据迁移,这对数据分布提出了新的挑战。为了充分利用计算存储资源,满足智能电网大规模数据的可靠存储和高效处理的实际需求,提出了基于云计算的数据密集型存储方法,该方法将数据集映射成数据空间的点集。设计了两阶段分类过程:第1阶段基于传统的K均值算法实现点集的初始分类;第2阶段针对各数据集与初始聚类的隶属关系,引入数据迁移的代价函数,对初始分类进行调节,实现数据集到数据中心的布局方案。实验结果表明,该算法能够有效提高数据存取效率并兼顾全局负载均衡。

基于Chord算法的物联网信息查询机制

针对物联网中现有物件名称服务查询机制的查询时延大、查找效率低等缺点,提出一种基于Chord算法的物联网信息查询机制。应用OMNET＋＋网络平台进行仿真实验,结果表明,该机制在网络负载均衡、查询效率等方面有所改善,使网络时延由1.5 s左右降低到0~0.025 s之间,适用于地址空间急剧增长的物联网。

CDN网络中对象一致性算法研究

针对内容分发网络设计的基于请求的对象一致性算法ROCA,以对象的请求频度为依据,按照一定的刷新间隔TTR,从web服务器下载对象的最新版本.但ROCA算法存在着对象情况的滞后感知问题,本文提出了对象模糊聚类算法OFCA,并对ROCA进行了优化.OFCA算法以对象名称属性的概念分层为基础,通过模糊聚类找出同类对象修改的共同规律,并以此为依据修正TTR.基于轨迹驱动的仿真结果表明,算法获得的刷新时间符合对象的修改规律,模糊聚类算法对ROCA有明显的改进.

基于多目标优化的云存储副本分布策略的研究

针对现有云存储副本分布策略优化目标比较单一的不足,提出了局部最佳分布策略(Local Optimum Distribution,LODS)。LODS策略通过给出一系列新定义并利用一致性哈希函数来缩小副本分布的节点选择范围,进一步结合层次分析法,将一定决策半径内的节点作为方案层中的候选对象,通过更深入地研究云存储多目标优化准则对其优化从而最终选择出当前候选方案中的最佳目标节点。实验结果表明,通过优化的最优决策半径取值相对稳定,不随云存储系统规模的扩展和数据的增多而剧烈变化,并且当取值最佳决策半径时,LODS策略的存储负载平衡、热度负载平衡、等待时间性能高于HDFS、Amazon S3等系统中所采用的副本分布策略。

分布式存储中数据分布策略的分析与研究

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基于节点容量感知的负载均衡策略.最后,针对当前分布式存储中数据应用环境中数据分布策略可扩展性以及灵活性的不足,并结合所得的研究成果写出了个人心得,提出一种更加合理的数据分布策略.

一致性哈希算法在分布式系统中的应用

随着互联网技术的迅猛发展,分布式系统逐渐成为重要的技术之一。阐述了一致性哈希算法的原理,详细介绍了一致性哈希算法在分布式系统中的应用,并总结了一致性哈希算法的优点。

基于一致性Hash算法的分布式缓存数据冗余

为了优化大型分布式网站中的数据缓存机制,提出基于一致性Hash算法的缓存数据冗余机制。分析不同散列函数性能,使数据能均匀分布在Hash环上不同节点,使用二分法在主从Hash环上分别进行存取缓存数据。本地测试及结果分析表明,该冗余机制明显优于直接读库和单机缓存,在分布式系统中能有效降低冗余操作带来的性能损耗,提高了网站的健壮性和稳定性,为高并发、分布式缓存系统设计提供了一个新的思路。

基于通用带权分布式哈希表的数据放置算法研究

研究了动态网络环境下基于网络的存储系统的数据放置算法,分析了现有的数据放置算法,提出了通用带权分布式哈希表算法。与相容哈希算法和对数算法定义的评判函数相比,考虑了各个节点的存储空间、数据分发节点与数据存储节点之间的物理距离、网络带宽等的限制。仿真结果表明,该算法能够实现数据的公平分发。

分布式实时运行数据驱动的液压支架群虚拟监测关键技术

针对多机装备可视化监测中存在的数据体量大以及单台主机模式下无法有效完成复杂任务的问题,提出了基于实时运行数据驱动的分布式液压支架群虚拟监测方法.该方法首先建立了基于实时运行数据的驱动模型;其次基于可识别数据交互器的数据传递方法,建立了C/S模式下的分布式局域网协同模型;然后基于一致性哈希算法的分配方法,建立了可根据主机负载状况动态分配任务的任务调度模型,最后以试验室液压支架群为例构建了分布式系统.试验结果表明:该方法建立的监测系统相比于单主机系统,提高了监测的稳定性,能够为透明综采工作面的建设提供核心技术支撑.

在分布式图形协作编辑系统中解决冲突的一个多版本方法

本文对网络环境下分布式图形协作编辑系统的没计与实现进行了讨论．使用多版本策略解决对共享文 件的访问的冲突问题,并详细阐述了分布式图形协作编辑系统的实现方法．

内生动态反馈的一致性哈希数据库负载均衡

相比集中式数据库,分布式数据库系统由多个服务器构成,适用于高并发用户访问场景。然而,如果单服务器负载过高,将导致整个分布式数据库系统性能瓶颈。文中提出了一种内生动态反馈(BDF)的一致性哈希算法,动态反馈服务器的CPU、RAM等负载信息,将负载均衡问题与装箱问题相结合,在均衡服务器负载的同时,提高服务器内部各类资源的使用率。构造负载基尼系数,刻画服务器间的负载率差异,基于差异适时梯度式,调整各服务器对应的哈希环虚拟节点数量以均衡负载。同时,通过对负载均衡周期进行动态调整,既能较好地满足动态负载均衡的需求,也能减少额外的资源消耗。通过仿真实验表明,提出的BDF算法能更好地应对负载均衡问题,有效提高了服务器的吞吐量并降低了响应时间。

基于一致性哈希的负载均衡算法研究

互联网应用的蓬勃发展,底层技术分布式存储功不可没,在分布式存储中,负载均衡是其中一个重要的技术,保障了系统的高性能、高可用。负载均衡技术分为静态负载均衡与动态负载均衡,主要研究基于一致性哈希的静态负载均衡算法在分布式存储中的应用,并采用理论和实验对算法进行验证。此外设计了两种副本算法提高系统的可用性和性能,基于设计的算法搭建了Redis集群进行测试,测试的效果符合预期具较强的推广性。

基于一致哈希算法的用电信息采集系统研究

电网公司的用电信息采集系统具有数据量大、在线终端多、通道类型多和应用场景复杂等特点,传统的负载均衡的方式,在增加前置机或前置机故障时,终端协议处理都会发生大规模的迁移。文章提出了采用硬件负载均衡器实现通信负载均衡,采用一致哈希算法实现采集前置机的负载均衡;对哈希算法进行了分析比较,选择CRC32查表法,保证了哈希算法的高效、单调和均匀分布,在前置机发生变化时,仅有少数终端发生迁移,不发生终端大规模的迁移,确保负载均衡,保证了系统的稳定性和可靠性。

基于面向对象的分布式遥感数据存储模型研究

现有的遥感数据存储模型大都针对遥感影像产品数据,且在分布式环境中不能达到较好的负载均衡,为了能够管理及高效存取海量多源异构的遥感数据,满足日益增长的高并发数据共享服务需求,提出了一种支持分布式虚拟化技术的遥感数据存储组织模型.模型利用面向对象思想对遥感数据进行分类及标准化处理,结合金字塔与全球剖分格网模型,建立分布式虚拟化环境下的遥感数据存储组织架构,利用一致性哈希算法思想解决数据在分布式环境下均衡性存储问题,同时通过虚拟化服务器动态分配策略优化了系统整体性能.实验表明新提出的模型比传统模型及同类模型更具优势.该模型已经应用在国家高分辨率对地观测系统河南数据与应用中心数据分发服务系统,验证了模型的可靠性、稳定性和适用性.