基于RAMCloud的大文件存储方法的研究与实现

内存云(RAMCloud)是一个新型的基于内存的分布式键值存储系统,它通过高速网络,将数据中心的各个服务器的可利用内存整合起来进行统一管理,利用磁盘实现数据的持久化存储。它能够有效地支持在线大规模小数据的存取与访问,但是并不支持大文件的直接存取操作。针对上述问题,提出了一个基于文件分割和合并的解决方案,在此基础之上,设计和实现了一个大文件管理模块,并将此模块集成到RAMCloud中。通过实验对改进后的系统进行了性能测试,实验结果表明,该系统能够有效地支持大文件的存取,且与HDFS相比,读写速度均有着明显的性能优势。在后续工作中,考虑将此系统集成到HDFS中当作分布式缓存管理系统来使用,从而达到提高HDFS性能的目的。

大数据中心固态存储技术研究

比较SRAM(静态随机存取存储器)、DRAM(动态随机存取存储器)、闪存、磁盘和磁带等存储技术的性能,描述存储器层次结构,分析大数据中心云存储系统部署固态硬盘需克服的限制条件及两种用于遏制写入放大的技术,列举RAMCloud和Memcached两大实例,说明一致性散列算法的原理和应用。

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。

面向内存云的数据块索引方法

内存云(RAMCloud)通常通过移动数据的位置来解决内存利用率低的问题,致使Hash表数据定位失效,查询数据效率低下;另一方面,在数据恢复过程中由于不能快速定位到需要的数据,每台备份服务器返回的数据段不能更好地组织起来。针对以上问题,提出内存云全局键(RGK)及二叉树索引。RGK分为三部分:定位到主服务器、定位到段以及定位到数据块。前两部分构成协调器索引键(CIK),在恢复中借助构造的协调器索引树(CIT)能够定位到段所在的主服务器;后两部分构成主服务器索引键(MIK),数据在内存中位移后也能通过主服务器索引树(MIT)快速获取到数据。与传统内存云集群相比,主服务器获取数据块的时间随数据吞吐量的增大而明显减少;协调器在闲散时间、重组日志时间等方面均有下降。实验结果表明,全局键在构造的二叉索引树的支持下能有效缩短获取数据及快速恢复的时间。

基于小文件的内存云存储优化策略

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。

基于内存云的大块数据对象并行存取策略

由于内存云（RAMCloud）只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明：大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18μs,读取时间为6~7μs。在Infini Band网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。

内存云架构的磁盘节能策略

内存云(RAMCloud)的出现改善了在线数据密集型(OLDI)应用的用户体验,但其能耗高于传统的云数据中心。针对该问题,提出一种适用于该架构的磁盘节能策略。首先,引入遗传算法中适应度函数和轮盘赌法,尽量选择更为节能的磁盘进行数据持久化备份;其次,设定合理的服务器内存缓冲区来延长磁盘的平均连续空闲时间,使得部分服务器磁盘在空闲时进入待机状态。仿真实验结果表明,在50台服务器的内存云系统中,该策略能有效节能约12.69%;而缓冲区大小的设定对于节能效果和数据可用性具有双重影响,需权衡考虑。

面向内存云的协调器选举策略

针对Zoo Keeper机制难以满足内存云(RAMCloud)低延迟、快恢复的问题,提出了一种面向内存云的协调器选举策略(CES)。首先根据内存云网络环境与协调器自身因素将协调器性能指标分为个体指标与协调器间指标两类并分别建立模型;然后将内存云的运行分为正常运行期与数据恢复期两阶段并分别建立适应度函数,再按时间比合并为总适应度函数;最后在备选协调器(RBC)的适应度值的基础上提出一个具备稳定择优性与随机性的新算子,CES首先通过筛选来排除性能较差的个体,缩小选择范围后再在理想协调器的集合中采用轮盘赌方法选择最终的个体。实验结果表明,在NS2仿真环境下CES选择的个体相比其他备选协调器数据处理延迟降低了19.35%;在搭建的内存云环境中,与Zoo Keeper机制相比,CES的选择结果在快速恢复中时间减少了10.02%。在内存云的实际应用中,CES在处理单点失效问题上能有效选择性能更优的协调器,确保了低延迟、快恢复的要求。

基于内存云架构的带宽负载均衡算法

为解决在线数据访问频率存在差异性造成的内存云服务器内存带宽负载不均衡问题,内存云数据中心采用段式日志结构文件系统,提出一种数据段交换(data-segments exchanging,DSE)算法,周期性地对内存带宽负载不均衡的服务器上数据段进行相互交换,使集群的带宽负载达到均衡。仿真结果表明,该算法可以使内存云集群的带宽负载达到均衡,时延降低了12.61%,有效提高了内存云集群的性能。

混合内存云架构的数据对象管理策略

为有效解决内存云主要存储器件DRAM面临能耗损失大、数据可靠性差、断电易失等问题,提出使用非易失性存储器件PCM替换部分DRAM器件构成混合内存云架构。构建最优分配比模型,在系统总能耗一定的情况下,DRAM和PCM的分配比为4.847∶1时,系统的存储效用最高;通过数据对象预分类模型将数据对象按照读写倾向性分配到内存器件中,构建二室模型对数据对象的迁移和备份速率进行计算,确保系统的稳定性和可靠性。模拟算例结果表明,与相同能耗的内存云架构相比,该混合内存云架构提高了9.37%的存储能力,断电恢复延迟减少15.87%。

基于内存云的自适应数据恢复策略

针对内存云(RAMCloud)平台数据恢复机制的固定性存在非智能选择数据恢复机制问题,提出一种适用于该架构下的自适应数据恢复策略.结合数据仓库Hive以及内存计算框架Spark平台,使用随机数据块对增强学习自适应数据恢复策略与传统固定使用RAMCloud自身数据快速恢复机制的耗时进行了对比.经过算法公式优化,降低了算法迭代计算部分的时间复杂度与空间复杂度,将时间复杂度与空间复杂度同时从O(n)降低至O(1).实验结果表明,在RAMCloud 1.0版本下,使用自适应数据恢复策略,相对平均提速93.6%,相对数据恢复成功率平均提高8.7%.

基于内存云的探索式数据恢复策略

由于目前内存云(RAMCloud)平台的不稳定性,存在特定环境下固定数据恢复机制非最优解问题。针对该问题,提出一种适用于该架构下的探索式数据恢复策略。结合数据仓库Hive以及内存计算框架Spark平台,使用随机数据块,对增强学习探索式数据恢复策略与传统固定使用RAMCloud自身数据快速恢复机制的耗时做对比。实验结果表明,目前的RAMCloud版本下,使用探索式数据恢复策略,最高相对提速可达97.1%,最高相对数据恢复成功率可达21.7%。

基于内存云的数据存储优化策略

为了解决数据在内存云(RAMCloud)存储过程中易丢失的问题,采用重复数据覆盖删除的思想,在前人的基础上提出了基于内存云的数据存储优化策略(data storage optimization strategy,DSOS)。首先,确定内存云数据的存储处理的情况,并建立相关的数据副本模型;其次,对系统中的重复数据建立数据指纹索引查找到重复的数据;最后,通过布隆过滤器将内存云中的重复数据过滤,从而实现了内存云数据处理存储的优化。实验结果表明,在20台普通PC机搭建的内存云集群中,实施数据存储优化策略的系统比原系统在存储处理数据时提高了0.5%,此外,提出的数据存储优化策略在不影响系统性能的前提下,还有效节约了系统在存储处理数据时的内存空间,并且提高了存储效率。