存储系统重复数据删除技术研究综述

目前企业对数据量不断增长的需求使得数据中心面临严峻的挑战。研究发现,存储系统中高达60%的数据是冗余的,如何缩减存储系统中的冗余数据受到越来越多科研人员的关注。重复数据删除技术利用CPU计算资源,通过数据块指纹对比能够有效地减少数据存储空间,已成为工业界和学术界研究的热点。在分析和总结近10年重复数据删除技术文献后,首先通过分析卷级重删系统体系结构,阐述了重删系统的原理、实现机制和评价标准。然后结合数据规模行为对重删系统性能的影响,重点分析和总结了重删系统的各种性能改进技术。最后对各种应用场景的重删系统进行对比分析,给出了4个需要重点研究的方向,包括基于主存储环境的重删方案、基于分布式集群环境的重删方案、快速指纹查询优化技术以及智能数据检测技术。

基于民航数据特性的重删固定长度分块方法

针对民航数据在容灾备份时存在存储数据重复的问题,提出一种基于民航数据特性的重删固定长度分块方法。该方法根据民航数据类型的一致性,结合固定长度分块与可变长度分块的优势,设计了一种分块策略索引表的数据结构,为同种类型的数据提供分块策略,节省了分块时寻找数据块边界的时间,将备份时重复数据的模拟重删率提高到97.8%~99.3%,比固定长度分块方法高11.8%~12.5%,比可变长度分块方法高2.5%~3.0%;同时,为新的数据类型建立新的分块策略,便于后续数据流匹配,提高命中精度。

数据删重技术的发展研究

当今是一个大数据的时代,随着互联网和移动智能设备的迅猛发展,海量数据每时每刻都在产生,为数据中心存储和网络存储环境提出了严峻的挑战。研究发现,特定存储集中通常存在高度重复的数据,而数据删重技术可以通过特定算法极大消除冗余数据,可有效提高存储空间的利用率。自数据删重技术提出以来,一直是存储领域最热门的研究话题。文章首先阐述了数据删重技术的基本原理与分类,然后从指纹算法的改进、删重率的提升、平衡性能开销、提高数据可靠性、提高数据安全性、增强可扩展性等方面详细分析了数据删重技术的发展趋势,最后进行总结并展望了未来的研究方向。

基于FSL数据集的去重性能分析

重复数据删除技术作为一种数据缩减技术,实现了对高度冗余数据集的压缩功能,可以有效地解决存储系统空间浪费所带来的成本开销问题。相较于过去大多针对小规模静态快照或是覆盖时间较短的快照的研究,该文基于从共享用户文件系统选取的覆盖时间较长的大规模快照,从文件、数据块以及用户的角度研究备份数据集的特征,分析不同数据分块方法、策略下去重性能的优缺点,得到最高的重复数据删除率,为未来的重复数据删除系统设计提出建议。