基于磁带分级存储的文件备份系统设计与实现

随着磁盘价格的不断下降,越来越多的容灾备份系统采用将本地数据经过网络传输到服务器磁盘进行备份,但是大数据时代的来临,导致存储压力越来越大。然而在庞大的数据中,有很大一部分数据活跃率并不高。设计并实现了一种基于磁带分级存储的文件备份与恢复系统,采用索引的方式记录并组织备份文件,实现增量备份;该系统将服务器端拆分为两部分,首先将文件数据备份到服务器磁盘,再根据相关时间保留策略,将活跃率较低的数据归档到磁带中。保证了大数据时代服务器磁盘的高效利用。

一种基于Winnowing分块的重复数据删除备份与恢复系统设计与实现

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的Winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据块唯一副本,以达到重复数据的删除目的.实验表明,该系统相比cwRsync能较更好的减少网络流量,并且相比传统的压缩技术能更进一步减少磁盘空间占用率.