移动分布式存储系统中自适应数据布局策略

分布式存储系统在移动网络场景中正受到越来越多的关注,作为其关键技术,数据布局对于提高数据分布式存储的成功率至关重要.然而,移动环境下无线信号不稳定,网络带宽波动大,传统的数据布局策略,如随机策略和存储容量感知策略,在数据布局时并未考虑节点的网络带宽,导致数据传输成功率低.面向高动态移动网络环境,针对移动分布式存储系统面临的数据布局问题,提出一种带宽感知的自适应数据布局策略.其基本思想是将网络带宽和节点上的其他信息结合,从而选择性能良好的节点,实现自适应数据布局,提高数据传输成功率.所提策略包含3个设计要点:(1)采用群组移动模型感知节点的网络带宽;(2)分组管理节点信息,减少通信开销,并利用小根堆的特性构建节点选择树;(3)自适应数据布局根据节点可用性动态选择性能良好的节点,提高数据传输成功率.实验结果表明:当网络动态变化时,所提策略的数据传输成功率相较于随机策略和存储容量感知策略分别提升30.6%,34.6%,并始终将通信开销维持在较低的水平.

便笺式存储器中一种新颖的交错映射数据布局

现代计算机一直沿用传统的线性数据布局模式,该模式允许对使用行主序模式存储的二维矩阵进行高效的行优先数据访问,但是增加了高效执行列优先数据访问的复杂性,造成列优先访问的空间局部性较差。改善列优先数据访存效率的常见解决方案是对原始矩阵进行预先转置操作,将列优先访问的复杂性集中在一次矩阵转置运算中,然而矩阵转置不仅会引入额外的数据传输操作,而且会消耗额外的存储空间用于存储转置后的矩阵。为了在不引入额外开销的情况下使行优先与列优先数据访问具有同样高效的访存效率,提出一种新颖的交错映射(IM)数据布局,同时在不改变便笺式存储器(SPM)内部结构的基础上,在SPM的输入和输出(I/O)接口处添加循环移位单元和译码单元2个新组件,实现交错映射数据布局并定制访存指令,使程序员可通过定制的访存指令充分利用该数据布局。实验结果表明,应用交错映射数据布局的SPM在仅额外增加了1.73%面积开销的情况下获得了1.4倍的加速。

基于节点中心性和热度的数据布局方法

随着5G和大数据的飞速发展,海量数据的快速、持久存储需求对存储设备和网络性能提出了极大挑战。信息中心网络以及边缘存储等技术的出现,使数据能够在网络边缘就近存储,减少了数据传输时延。但数据长期存储在网络边缘势必会引发边缘节点空间不足的问题,迫使数据传向更远方,降低存储效率。针对上述问题,提出一种基于节点中心性和热度的数据布局方法,利用节点空闲时间将高空间负载节点的数据迁移至低空间负载的节点,确保边缘高热度的节点空间富余。实验结果表明,相比较Random和一致性Hash等存储布局方案,在进行长期存储任务后,该方法能在边缘空间相对不足的情况下,减少存储数据时的传输开销,使数据写入时间减少30%以上。

混合云环境面向安全科学工作流数据布局策略

为解决混合云环境下科学工作流数据布局问题,在考虑数据的安全需求的前提下,以优化跨数据中心传输时延为目标,提出了一种混合云环境下面向安全的科学工作流布局策略。分析数据集的安全需求以及数据中心所能提供的安全服务,提出安全等级分级规则;设计并提出基于遗传算法和模拟退火算法的自适应粒子群优化算法(adaptive particle swarm optimization algorithm based on SA and GA,SAGA-PSO),避免算法陷入局部极值,有效提高种群多样性;与其它经典布局算法对比,基于SAGA-PSO的数据布局策略在满足数据安全需求的同时能够大大降低传输时延。

数联网标识解析系统中的标识数据布局策略

数联网是为解决目前互联网数据资源共享交互过程中传输效率低、协调成本高、安全管控难等缺陷而提出的一种新型信息基础设施。标识解析系统是实现数据流通的关键,但随着标识注册量和解析量的迅速增长,解析节点正面临着大量高并发解析请求,服务质量将变得难以保证。针对该问题,考虑数联网标识解析系统中节点架构的特点,以降低解析时延为目标,提出一种基于遗传算法的自适应离散粒子群优化算法(DPSO-GA)来对标识进行合理布局。该方法综合考虑节点之间的带宽、标识数量和节点容量等因素对解析时延的影响,引入遗传算法的交叉操作和变异操作,对粒子群优化算法的惯性权重因子采取自适应策略,对学习因子采取线性增减的策略。实验结果表明,相较于传统粒子群优化算法及遗传算法,该算法优化效果分别提升了48.9%和19.9%,增加了种群进化的多样性及搜索范围,减少了算法的时间复杂度以及陷入局部最优解的可能性,且能较稳定地降低标识解析时延。

云计算环境下面向数据密集型应用的数据布局策略与方法

云计算环境下面向流程的数据密集型应用已被广泛应用于多个领域.面对多数据中心的云计算环境,这类应用在数据布局方面遇到了新的挑战,主要表现在如何减少跨数据中心的数据传输、如何保持数据间的依赖性以及如何在提高效率的同时兼顾全局的负载均衡等.针对这些挑战,文中提出一种三阶段数据布局策略,分别针对跨数据中心数据传输、数据依赖关系和全局负载均衡三个目标对数据布局方案进行求解和优化.实验显示,文中提出的数据布局策略具有良好的综合性能,特别是在降低流程执行过程中由跨数据中心数据传输所导致的时间开销方面,效果尤为明显.

基于水平纠删码的云存储数据布局方法

针对云存储系统的扩展性和数据容错问题,设计了一种基于水平阵列纠删码的通用云存储系统方案,系统可按存储节点子集进行规模扩展;给出了一种可容3列随机删除错的数据布局方法,并利用校验数据位与信息数据位之间的对应关系,寻找到一种具有低计算复杂度的数据重构算法,提高了丢失数据的恢复性能。理论分析和原型系统测试表明,本布局方法与存储方案适合于构建对数据编译码复杂度、系统扩展性都具有较高要求的云存储系统。

一种基于3容错阵列码的RAID数据布局

在EVENODD码的基础上,提出一种新的基于EEOD码的RAID数据布局,只需要3个额外的磁盘保存校验信息,能容许任意3个磁盘同时故障,并给出了EEOD的代数定义,理论上证明了EEOD码的MDS性质.从一种新的途径讨论了EEOD码的译码过程:用图的回路表示通过"异或"运算得到的校验方程组,把译码过程归结为图回路的叠加,进而校验方程组图中度为偶数的顶点逐步消除.讨论了基于EEOD码阵列布局的性能,与其它RAID结构相比,容灾能力大幅度提高,编码和译码过程只需要简单的异或运算,但是空间利用率影响非常小,并且EEOD具有很好的性能,具有很好的应用前景.

基于聚类和一致Hash的数据布局算法

如何有效地对数据进行布局是大规模网络存储系统面临的重大挑战,需要一种能够自适应存储规模变化、公平有效的数据布局算法.提出的CCHDP(clustering-based and consistent hashing-aware data placement)算法将聚类算法与一致hash方法相结合,引入少量的虚拟设备,极大地减少了存储空间.理论和实验证明,CCHDP算法可以按照设备的权重公平地分布数据,自适应存储设备的增加和删除,在存储规模发生变化时迁移最少的数据量,并且可以快速地定位数据,对存储空间的消耗较少.

混合云中面向数据中心的工作流数据布局方法

科学工作流是一种复杂的数据密集型应用程序.如何在混合云环境中对数据进行有效布局,是科学工作流所面临的重要问题,尤其是混合云的安全性要求给科学云工作流数据布局研究带来了新的挑战.传统数据布局方法大多采用基于负载均衡的划分模型布局数据集,该方法可以获得很好的负载平衡布局,然而传输时间并非最优.针对传统数据布局方法的不足,并结合混合云中数据布局的特点,首先设计一种基于数据依赖破坏度的矩阵划分模型,生成对数据依赖度破坏最小的划分;然后提出一种面向数据中心的数据布局方法,该方法依据划分模型将依赖度高的数据集尽量放在同一数据中心,从而减少数据集跨数据中心的传输时间.实验结果表明,该方法能够有效地缩短科学工作流运行时跨数据中心的数据传输时间.

一种优化MapReduce系统能耗的数据布局算法

在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.

容许两个盘故障的磁盘阵列数据布局与图分解的条件和存在性研究

从一个新的途径讨论容许两个盘故障的磁盘阵列数据布局 :把由数据单元和通过“异或”运算得到的校验单元组成的校验组用一个图表示 ,把校验组容许两个盘故障的阵列布局归结为校验组的单元集合的划分 ,进而转化为校验组的图的顶点和边组成集合的满足一定条件的分解 .证明了校验组容许两个盘故障的单元集合划分的充分必要条件及存在性 ;讨论了优化阵列布局方案性能的条件 ;给出了阵列布局的步骤 .从而为设计具有最优性能的容许两个盘故障的磁盘阵列数据布局方案提供了有效的途径 .

大规模网络存储系统的数据布局算法研究

可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法。本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法。对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向。

混合S-RAID:一种适于连续数据存储的节能数据布局

存储系统规模的日益增大,其高能耗成为一个无法忽视的问题,因此对存储系统的节能研究十分重要.提出一种由SSD固态盘与普通磁盘组成的混合S-RAID结构,通过关闭部分处于空闲状态的磁盘,达到节能效果.混合S-RAID将包括超级块在内的少量随机读写数据放在由SSD组成的RAID1中,将连续数据放在由普通磁盘组成的S-RAID中,S-RAID对磁盘分组,连续数据访问模式下只有一个组处于活动状态,关闭处于空闲状态的磁盘组.在仅增加少量成本的前提下,提高了存储系统的节能效果.混合S-RAID适用于各种以连续数据访问为主要特征的应用环境.实验表明,由12块普通磁盘和两块SSD固态盘组成的混合S-RAID5与同级别RAID5相比,能耗仅为RAID5的28%.

云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。

异构架构下基于放松重用距离的多平台数据布局优化

异构架构迅速发展,依靠编译器来挖掘应用程序的数据局部性、充分发挥加速设备片上cache的硬件优势,是十分重要的.然而,传统的重用距离在异构背景下面临平台差异性挑战,缺乏统一的计算框架.为了更好地刻画和优化异构程序的局部性,建立了一个多平台统一的重用距离计算机制和数据布局优化框架.该框架根据应用在异构架构下的并行执行方式,从统计平均的角度提出了放松重用距离,并以Open CL程序为例给出了它的计算方法,为多平台数据布局优化决策提供统一的依据.为了验证该方法的有效性,在Intel Xeon Phi,AMD Opteron CPU,Tilera Tile GX-36这3个平台上进行了实验,结果表明,该方法在多平台上可获得至少平均1.14x的加速比.

适应节能与异构环境的MapReduce数据布局策略

大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储策略增加了对异构集群环境的适应能力,并能根据不同的作业类型进行存储节点的选择。实验结果表明:新的数据布局策略能够适应异构集群环境,达到减小MapReduce作业能耗的目的。

一种科学工作流的云数据布局与任务调度策略

云计算环境下,数据密集型科学工作流的数据文件在多数据中心间的合理布局,对科学工作流的执行效率具有很大的影响。根据科学工作流各数据集之间的依赖关系,并聚焦于运行科学工作流的各数据中心的处理能力差异和网络性能差异,提出一种可提高科学工作流执行性能的数据布局以及数据布局敏感的任务调度策略。分析和实验表明,上述策略可有效减少科学工作流运行时跨数据中心的数据传输,降低科学工作流的运行时间,从而提高科学工作流整体运行效率。

最优冗余双容错数据布局

在磁盘阵列双容错编码简单图表示法和双容错数据布局判定定理的基础上,提出了最优冗余布局定理,证明了full-2码(对应完全图)的双容错数据布局的磁盘数下界及最优冗余布局的构型。并给出了一种基于完全图的完全1-因子分解的full-2码最优冗余双容错数据布局构造方法。与其他双容错编码/布局相比,该方法生成的布局具有可靠性高、更新代价最优、冗余率最优、编码/解码复杂度低等优点,且构造方法适应性更强。

云环境下基于多目标优化的科学工作流数据布局策略

针对传统科学工作流数据布局策略在减少数据传输时间的同时,不能兼顾数据中心间的负载均衡,提出一种基于多目标优化的数据布局策略。首先生成固定数据集布局方案,然后利用多目标优化算法KnEA对非固定数据集进行布局,最终得到全局布局方案。KnEA算法利用knee points比普通非支配个体有着更好的收敛性特征,并综合考虑多个优化目标间的平衡,因而可以取得数据传输时间和负载均衡都很好的数据布局方案。通过对比实验证明了该数据布局策略的有效性。