Method for replica creation in data grids based on complex networks

In order to reduce makespan and storage consumption in data grids, a node selection model for replica creation is proposed. The model is based on the degree distribution of complex networks. We define two candidate replica nodes： a degree-based candidate pool and a frequency-based candidate pool, through which a degree-based candidate pool is defined in consideration of onsidering the access frequency; a candidate pool-based frequency is also defined. The data replica is copied to the node with the minimum Local cost in the two pools. Further, this paper presents and proves a replica creation theorem. A dynamic multi-replicas creation algorithm （DMRC） is also provided. Simulation results show that the proposed method may simultaneously reduce makespan and data used in space storage consumption.

基于存储联盟的双层动态副本创建策略—SADDRES

针对面向企业的数据网格应用,给出了平民数据网f格DGHB的概念,并提出了针对DGHB网格的一种基于存储联盟的双层动态副本创建策略—SADDRES.通过在数据网格模拟工具OptorSim中的模拟,分析、比较了SADDRES策略与基于缓存的副本创建策略、基于经济模型的副本创建策略等多种策略的性能.实验结果表明,SAD-DRES策略在面向企业的数据网格应用中具有更好的系统性能.

教育资源网格模型及副本创建策略

教育资源网格是解决目前分布式教育资源共享问题的有效手段.针对中小学教育资源共享问题,提出了层次式的教育资源网格模型,定义了各层节点的功能.通过与欧洲数据网格对比,分析了教育资源网格的特点.基于层次式的教育资源网格,对影响副本创建策略性能的因素进行了分析,然后引入网络带宽和文件大小两个参数,提出了一种动态副本创建策略(dynamic replica creation strategy,简称EDRS).利用数据网格模拟工具OptorSim构建了教育资源网格虚拟环境,分析比较了EDRS策略与Caching-LRU策略、Caching-LFU策略和基于经济模型的副本创建策略的性能.最后,综合各项指标分析了不同策略对教育资源网格系统性能的影响.结果表明,EDRS策略在教育资源网格应用中有着更好的系统性能.

基于内容分发的数据网格副本创建策略

结合混合的网格拓扑模型,提出了一种基于内容分发的副本快速创建策略。该策略使用区域中心节点之间的历史记录和传输代价,选择出一个最佳的区域中心,将新产生的文件传输到最佳区域中心;在客户节点从其他的区域中心传输某一文件的时候,同时在该客户节点所在的区域中心建立文件的副本。在网格模拟器OptorSim中测试了该策略,结果表明该策略能够减少作业的平均完成时间。

网格环境下数据副本创建策略

本文在网格环境中探讨了数据副本创建策略,包括城内副本衍生和域间副本扩展策略。策略选择恰当的时机 和地点创建副本,在充分利用存储资源的同时改善了用户的访问速度和带宽消耗。

分布式存储系统中数据副本管理机制

分布式存储系统需要完善的数据副本创建、部署、选择、定位和一致性管理机制以保证分布式计算环境中的数据安全、可用、可靠、可扩展性和服务的高效、连续性。文中全面分析与研究了国内外对分布式存储系统中的副本管理机制研究现状,重点对副本创建、副本定位、副本一致性维护和副本撤销机制进行深入的研究,并从数据可用性、节点负载均衡、数据一致性和带宽消耗等性能指标进行了分析。文中的研究成果对于分布式存储系统的合理设计与构建具有良好的参考价值。

基于用户访问统计特性的流媒体文件复制策略

该文采用数理统计方法,根据用户访问统计特性预测文件流行度,结合文件自身属性,确定副本生成数量;针对不同流媒体服务器资源属性,采用动态区间映射方法进行副本放置。实验表明,基于用户访问统计特性的文件复制策略,提高了系统服务性能,保证了系统的负载均衡。

基于hybrid拓扑的数据网格副本创建策略

数据复制技术被广泛应用于数据网格中,以缩短数据访问时间和传输时间、降低网络带宽消耗。针对包含树型拓扑和环型拓扑的混合式网格拓扑结构,提出了一种考虑网络带宽、网络传输延迟、用户请求频率和站点可用存储空间大小等因素的副本创建策略,并引入评估函数衡量各因素的影响大小,具有良好的可靠性、可扩展性和自适应性。模拟实验的结果显示此副本创建策略可以有效降低数据平均访问时间。

一种基于虚拟工作空间的有状态网格服务副本复制方法

网格副本复制技术只能对无状态的数据、文件资源等进行复制,而不能对网格服务这种包含软硬件需求、有状态的服务形式进行复制.为解决网格服务的访问瓶颈、负载均衡等问题,本文提出一种基于虚拟工作空间的有状态网格服务副本复制方法Ragsres.Ragsres利用虚拟工作空间良好的执行分离属性和对执行环境可定制化的特性,实现对网格服务运行所需的软硬件环境的搭建和复制;根据虚拟机监控快照技术的数据转换原理,完成网格服务内存状态的复制;采用web服务的有状态资源模拟技术,实现有状态资源的状态复制.

教育资源网格中基于节点负载的副本放置策略

针对教育资源网格中节点存储能力和处理能力差、网络带宽分布不均的特点,提出一种基于节点负载的副本放置策略(Node Load based Education Resource Grid Replication Strategy,NLERS)。该策略按照网络带宽分布的特点分为域内和域间两部分,域内部分通过将副本放置在性能相对较高的节点来减少无效副本的创建次数,提高副本的响应时间;域间部分则通过副本在域间的扩散来减少远程副本的访问次数,提高副本响应时间。利用OptorSim模拟器构建了教育资源网格虚拟环境,分析比较了NLERS与LRU(Least Recently Used)策略、LFU(Least Frequently Used)策略和Economy-Zipf策略的性能。实验结果表明,NLERS在节点能力有限的教育资源网格中具有更好的效果。

基于聚类的动态副本创建策略

为了达到动态地根据用户的需求来实现数据的预取和缓冲的目的,提出了基于聚类的动态副本创建策略(DRCC).该策略根据用户的访问历史来抽取访问数据的特征,判断这些文件之间的相关性,并通过聚类操作形成用户的相关文件类集合,然后根据该集合进行数据文件副本的创建.实验结果表明,DRCC策略可以有效地识别出客户节点的访问需求,并据此进行文件的复制,从而缩短了客户应用的访问时间,提高了访问效率,同时该策略还具有较强的应用适应性.

数据网格中副本创建策略研究与仿真

在数据网格环境下探讨数据副本创建策略,包括域内副本衍生和域间副本扩展策略。在此基础上提出了一种Cascading Replication和经济模型相结合的域间副本扩展策略(Cas+Eco),仿真验证该模型的优越性。

基于博弈思想的副本创建策略研究

在云计算等复杂网络环境下,提高海量数据存储的可靠性和访问效率,需引入副本存储及管理技术。基于此,提出基于博弈思想的副本创建策略,应用博弈原理建立复杂网络环境下的副本创建基本模型,证明纯策略纳什均衡解的存在性及求解方法,并通过仿真分析方法验证了该策略的有效性。

基于热度分析的动态副本创建算法

在分布式文件系统(DFS)中,副本的数量通常预先配置,不能适应文件访问需求的动态变化。针对该问题,提出了基于热度分析的动态副本创建算法(DRCA),优化副本的管理方式。动态副本创建算法通过分析文件在给定时间内的访问频率,推算文件的访问热度,并综合考虑统计周期、文件大小、工作环境等多种因素,按需动态地调整文件副本的数量,以减少文件访问的平均响应时间,提高数据服务性能。基于Hadoop的分布式文件系统(HDFS)开发了DRCA模块,并进行了性能测试,结果表明DRCA提供数据服务的性能优于HDFS自带的副本创建算法。

一种基于3阶段实现的高性能云存储计算

提出了一种基于动态数据复制策略和放置算法的3阶段云存储计算。在第1阶段,计算出一个文件的PD,然后根据得到的PD,从中找到最需要访问的文件和需要复制的文件;在第2阶段,计算出需要复制文件的RF,以确定文件是否应当复制或创建副本;在第3阶段,计算出这些节点的AF,以找到创建副本的数量并把副本放置在适当位置的特定节点,从而向用户提供相同服务的不同副本来增加数据可用性;实验结果表明,提出的云存储计算策略不仅能够有效找到需要复制的文件及创建和放置副本,而且在SBER和执行时间性能方面都优于目前比较先进的技术。

数据密集型应用中多优先级用户资源调度研究

针对用户之间具有明显优先级的数据密集型应用场景,提出了基于资源预留和资源抢占的用户级调度算法,该算法在提高资源利用率的前提下,能够快速响应高优先级用户的作业请求,降低资源抢占代价,并避免低优先级作业长时间得不到调度。提出了基于动态副本创建的任务调度算法,该算法实现了数据本地化执行,并解决了热点数据访问带来的负载均衡问题,降低了作业的响应时间。

数据网格中一种高性能动态数据复制策略

针对数据网格中的数据复制问题,提出了一种动态数据复制策略;在副本选择方面,通过考虑影响数据传输时间的链路带宽和影响数据传输性能的CPU及I/O的评分函数来选择一个最佳副本;在副本放置方面,计算出具有最小访问时间的存储单元,将副本放置在最佳的存储单元中;在副本管理方面,采用一个基于将来文件的访问次数n、特定副本的大小S、当前时间CT、特定副本的最后请求时间LT和数据的可用性A计算得到的CM值作为副本替换阶段对BSE中的可用副本进行删除的判决;仿真结果表明,提出的动态数据复制策略相比于其他算法,能得到更好的平均总作业执行时间、有效网络利用和系统文件丢失率。

基于竞标模式和访问热度的副本创建策略

研究典型数据副本创建策略,提出一种以节点在线率和节点存储能力作为价格的竞标模型副本创建策略。根据对基于访问热度的典型副本创建策略和基于竞标模型的典型副本创建策略的具体分析,改进典型副本创建策略对节点性能考虑的单一性,综合考虑节点的访问热度和负载等性能,实现基于竞标模式和访问热度相结合的副本创建策略。并通过基于网络带宽利用率和系统响应时间的实验,将该副本创建策略与两种典型副本创建策略进行实验对比,验证提出的基于竞标模式和访问热度的副本创建策略具有较好的性能。

非结构化P2P网络中基于流行度的层次式副本创建策略

为有效降低非结构化P2P网络中副本创建所引起的带宽和存储浪费,减少响应时间,提出了一种基于流行度的层次式副本创建策略PPSR.该策略充分考虑文件的异质性,利用文件流行度辅助副本创建,使得文件副本数量和分布更加合理.充分利用了当前非结构化P2P网络的双层拓扑结构,将超节点层副本创建策略与底层域内副本均衡策略有效结合.仿真结果表明,PPSR在当前非结构化网络中具有比其他流行算法更好的性能.

一种基于访问趋势的数据网格动态副本创建策略

当前的副本创建策略在选取热点数据时往往没有对访问突变做出反应,造成副本频繁创建和删除的网格动荡.针对上述情况,本文引入文件访问趋势的概念,提出一种基于访问趋势的数据网格动态副本创建策略(ADRS),ADRS根据历史数据访问情况计算出文件的访问趋势,然后根据文件的访问趋势决定数据副本的创建和删除.仿真结果表明,在随机访问模式下,对比最近访问最大权重算法(LALW),ADRS能有效地降低数据副本的创建次数,提高网格副本利用率并且在节点空间有限的情况下不会影响网格的效率.