基于GM模型的HDFS副本放置改进策略

HDFS分布式文件系统默认副本放置策略在放置节点的选择上具有较大的随机性,且衡量节点负载的指标单一,易导致集群负载不均衡,影响系统性能。文章提出一种基于GM模型的改进策略,该策略综合考虑节点多个负载指标,并使用GM模型对节点量化负载进行预测,同时结合节点的HDFS工作连接数,对节点性能进行综合评价,选出最合适的副本放置节点。实验表明,与HDFS默认策略相比,文中所提策略能够减少作业执行时间和数据传输时间,在系统的执行效率和读写性能方面有较大提高。

Hadoop副本放置策略

分布式文件系统(Hdfs)采用随机的副本放置策略使得系统在运行一段时间后会出现数据分布不均衡的情况,从而降低数据的可靠性和读取速率.为解决Hdfs默认副本放置策略存在的问题,对Hdfs副本放置策略进行改进:在副本放置选择时优先考虑存储使用率低的节点.模拟实验一测试了机架数目对于算法的影响,结果显示改进后的副本放置策略中,机架数目对集群的均衡性影响很小,显示出较好的均衡性.模拟实验二测试了随着写入数据的增加,比较了使用改进前后的副本放置策略集群中节点使用率的标准差,证实了改进后的副本放置策略在存储均衡方面较原放置策略有着更好的表现.

基于教育资源网格的副本放置策略

副本机制是提高网格性能,降低客户端延迟的有效手段,副本放置策略是副本机制的关键问题。该文介绍了教育资源网格的体系结构,针对教育资源网格特殊的体系结构,提出了3种动态副本放置策略,并从不同的角度对它们进行了优化,在保持副本存储空间占用的前提下,降低了客户端延迟。实验表明了策略的有效性。

数据网格中QoS感知的副本放置方法

数据复制技术广泛用于数据网格,如何合理地放置复制时产生的数据副本来更有效地提高数据访问性能成为一个值得研究的重要问题。本文针对无向连通图表示的数据网格模型,提出了一种满足各用户服务质量(quality of service,QoS)需求的副本放置算法(replica placement algorithm,RPA),通过该QoS感知的副本放置算法能够获得k个副本放置位置,并且使得整个数据网格系统的通信代价最小。最后,文章通过相应的仿真实验证明了该算法的可靠性和有效性。

面向MANET环境的动态自适应副本放置算法研究

移动自组网环境给数据复制技术带来了新的挑战。本文提出了一种分布式动态自适应副本放置算法,算法以数据访问的通信开销作为目标函数,每个副本节点从其邻居节点收集读写请求的局部信息,动态地调整副本放置方案以适应访问请求和网络拓扑的变化。本文还提出了基于稳定邻居的副本放置算法以减小由于节点移动给副本放置带来的振荡。模拟实验表明,在移动自组网环境中,本文提出的算法有效地减少了数据访问的通信开销,提高了数据访问的效率。

分布式媒体服务系统中的副本放置算法

针对分布式媒体服务系统中的副本放置问题,从优化节点间的传输代价出发,提出一种基于全局信息的启发式副本放置算法——Zero2min,与现有算法相比,节省传输代价10%～36%。根据Zero2min算法的思路,给出媒体内容逐渐增加情况下的一种动态放置方法,仿真结果表明,其代价小于Max2min。

基于支持向量机的HDFS副本放置改进策略

为实现超大规模数据的存储并提高容错性,Hadoop分布式文件系统(HDFS)采用一种机架感知的多副本放置策略。但在放置过程中没有综合考虑各节点服务器的差异性,导致集群出现负载失衡。由于放置时采用随机方式,造成节点之间的网络距离过长,使得传输数据会消耗大量时间。针对以上问题,提出一种基于SVM的副本放置策略。通过综合考虑节点负载情况、节点硬件性能、节点网络距离为副本找到最佳的放置节点。实验结果表明,与HDFS原有的副本放置策略相比,该策略能更有效地实现负载均衡。

一种基于认知的动态副本放置方法

针对内容分发网中数据传输开销巨大的问题,提出一种基于认知的副本放置方法。通过对代理服务器反馈的用户需求动态信息,对内容流行度建立基于认知的预测模型,依据此模型启发式地完成内容的分发和放置。仿真结果表明,该方法能明显降低内容分发网络的传输开销,同时满足时变用户的动态需求,具有低时延、低开销等优点。与一般的算法相比,该方法能显著提高缓存命中率和降低用户请求的平均响应时延。

云存储环境下QoS感知的副本放置算法

云计算作为一种新的商业计算模型,提供了弹性计算和存储资源等服务.云计算具有超大规模、高可扩展性、高可靠性、虚拟化、按需服务和价格低廉等特点,许多用户把应用提交到云环境下运行.随着越来越多的数据密集型应用部署到云计算环境上运行,应用会有不同的QoS要求.为了保证在放置应用数据副本时,数据副本都能满足应用的QoS要求,我们需要考虑云计算环境下QoS约束的应用数据副本放置问题,为此提出一种QoS感知的副本放置算法(QoS-Aware Replica Placement with PSO,QRPPSO),该算法首先对QoS约束集的属性进行量化,然后构建目标优化模型,最后在副本放置优化算法引入粒子群优化来决定副本放置位置.仿真实验结果表明所提策略能有效解决QoS约束的应用数据副本放置问题.

数据网格中一种启发式副本放置算法

副本技术广泛用于数据网格中来减少数据访问代价,增强容错能力,从而提高数据网格中数据访问的性能和可靠性。如何合理地放置副本来更有效地提高数据访问性能成为一个需要解决的重要问题。针对无向连通图表示的数据网格模型,在考虑通信代价和存储代价的基础上,提出了一种启发式副本放置算法(heuristicreplica placement algorithm,HRPA),通过该算法能够得到k个副本的放置位置,并且使得整个系统的代价最小。最后,通过相应的仿真实验证明了该算法的可行性和有效性。

VCG机制在P2P存储系统副本放置中的应用

在点对点(P2P)存储系统副本放置简化模型下引入维克瑞—克拉克—格罗夫斯机制(VCG),建立副本放置模型到VCG机制的映射,设计适当的支付函数以达到副本预放置节点的激励相容,并分析占优战略均衡的存在性,证明了该均衡在多项式时间内可达到均衡。仿真实验表明该机制能达到预放置节点的激励相容。

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。

树型数据网格环境下副本放置算法研究

副本广泛地用于数据网格环境下以减少数据访问代价,降低网络带宽需求,增强容错能力等,但是副本数目受到节点存储能力等因素的限制,副本放置成为副本管理中一个值得研究的问题。文中针对网络带宽受到限制的树型数据网格,在考虑负载均衡的基础上,提出了一种利用动态规划方法求解最优最小可行副本集,然后在此基础上利用折半查找进行k个副本放置的算法,其时间复杂度小于O(n2logn)。仿真实验结果表明,这种副本放置算法能够获得较好的负载均衡,有效地提高数据访问性能。

一种基于时移电视系统的副本放置策略

针对时移电视系统中的副本放置问题,通过将流式传输的数据片副本有计划地放置在路由节点缓存空间内,以提高用户体验度,减少初始化时延和频道切换响应时延。研究了副本放置问题中的负载均衡和响应时延最小化等问题,总结了节点连接度与副本放置之间的关系,在分析网络电视数据特点的基础上,提出一种混合副本放置策略。仿真结果表明,该策略能够有效提高查询消息搜索成功率,且占用缓存空间较小。

一种数据流处理环境下的节点副本放置方法

物联网环境下的许多应用表现为传感数据的连续流式处理,且系统往往通过节点的副本技术保障可用性。但是,运行时副本的备份和放置存在内存和带宽等资源开销,产生处理的延迟。该文给出一种方法,根据运行时的资源消耗以贪心方式放置节点的副本,折中了系统的可用性和开销。实际系统的仿真实验表明,在相同的条件下,该方法相比传统的随机放置,能为系统提供更稳定的可用性。

树形数据网格中实现副本放置的一种优化算法

针对树形数据网格这种分布式分层数据网格模型,提出了一种最佳副本放置算法,其中的副本数量k可以由用户指定。算法实现由2个阶段构成.在阶段1,对二叉树的全部节点以反向广度优先顺序被访问,且基于对象i的一个副本是否被放置在一个节点上,以自底向上的方式计算出包含读取成本和存储成本的总复制成本;在阶段2,基于一个递归过程,把由在阶段1计算得到的读取成本和存储成本作为输入,采取自上而下的过程放置副本,以使总复制成本最小化。理论分析和仿真实验结果表明,最佳副本放置算法不仅有较低的时间复杂度,而且在归一化放置成本、有效网络利用和本地访问百分比性能指标方面都优于目前几种典型的副本放置算法。

一种改进的HDFS副本放置策略

在HDFS默认放置策略中,放置副本时未考虑节点实时负载,易导致集群系统负载不均衡。由于放置副本采用随机方式,易造成存放副本节点网络距离过大,影响系统的数据传输性能。针对以上问题,本文提出一种改进的副本放置策略,该策略综合考虑节点CPU使用率、内存使用率、带宽使用率等负载指标,结合节点网络距离,对节点进行综合性能评价,最终寻找最佳副本存放节点。实验表明,与默认副本放置策略相比,该策略可提高集群数据传输效率,在负载均衡方面也有一定的改善。

基于访问量预测的教育资源网格副本放置策略

副本放置策略是数据网格副本机制的关键问题。针对教育资源网格环境,提出了基于访问量预测的副本放置策略(FATBRS),并介绍了基于历史数据的访问量预测(FATTHD)和基于人工神经网络的访问量预测(FATANN)两种访问量预测方法。FATBRS策略有效降低了用户的访问延迟,仿真实验证实了该策略性能的优越性。

非服从性分布式系统中博弈分析法下的副本放置问题

为解决非服从性分布式系统中多数据、多节点、有容量限制的副本放置问题,建立了副本放置模型以及向博弈模型的映射,分析了在无容量限制及有容量限制下纳什均衡的存在性问题以及纳什均衡的优化程度。考虑到纳什均衡获取的时间不可行,提出了无删除副本放置局面的定义,设计了该局面的获取算法并分析算法的相关性质。模拟实验显示了无删除副本放置局面获取算法下系统平均副本数和总代价随节点的容量及放置代价变化的过程,同时在小节点规模下与最优副本放置结果进行比较,结果显示纳什均衡带来的系统总代价不会与最优系统总代价有大的差别,说明在保证个体利益最大化时,全局的效益并不会有大的损害。

内容分发网络中带容量和能力约束的副本放置问题研究

副本放置问题是内容分发网络中的一项关键技术,已有的副本放置模型未考虑服务器的负载能力,本文研究考虑了基于内容分发网络服务器存储容量约束与服务能力约束的副本放置问题,建立了双约束的副本放置模型,设计了贪婪算法,把两阶段的模型求解转化成求解一系列的单服务器节点的最小费用流模型,获得了副本放置策略和用户请求重定向策略,并分析了算法的复杂性。