重复数据删除技术的存储空间利用率测评研究

在大数据时代,为了提高存储空间利用率,重复数据删除技术被广泛应用.然而,重复数据删除技术的重删效果如何评价,它对存储系统的存储空间利用率影响程度如何等问题,目前还没有有效的测评指标和测评方法来解决.为此,对3种典型的重复数据删除技术进行了分析,研究了存储空间利用率的测评指标和测评方法,然后通过理论分析和真实数据实验对其可行性和有效性进行了验证.分析和实验结果表明:设计的测评指标和测评方法实际可行,能定量的评估存储空间利用率,有利于数据中心存储效率的提高,从而实现绿色存储和节能减排,并能减少企业的资源浪费和提高投资回报率.

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。

用电信息采集系统中重复数据删除技术研究

随着时间的推移,用电信息采集系统中的数据爆炸式增长,必然对数据中心造成巨大压力,存储设备将不堪负重,无法满足未来发展的需求。近年来,实现最小40倍于存储空间的重复删除技术已经成为存储领域的研究热点。但是,到目前为止,还没有看到重复删除技术应用于用电信息采集系统。本文着重从用电信息采集系统中的数据存储和数据备份2个方面研究如何实现重复数据删除技术,以节省存储空间,减少网络传输量,保护业务数据,为智能电网的快速发展提供强有利的支撑。

磁盘的重复数据删除技术在数据备份系统中的应用

数据备份是数据高可用性的最后一道防线。磁带备份技术容易出现错误,使数据恢复操作往往会因为磁带介质损坏的原因而无法成功执行。磁盘备份技术是利用磁盘阵列做底层数据存储,通过虚拟软件将该磁盘阵列虚拟为磁带库。基于磁盘的重复数据删除技术,旨在删除冗余的备份数据、确保同样的数据信息只被保存一次,减少了对存储容量的需求,以更少的空间存储更多的数据,极大地减少了数据备份和恢复时间,满足了高性能备份的要求,从而保证了备份数据的可恢复性。本文在比较磁带备份与磁盘备份的基础上,介绍了磁盘的重复数据删除技术及其在数据备份系统中的应用。

重复数据删除技术在数字图书馆中的应用

介绍了重复数据删除技术,并探讨了使用重复数据删除技术Avamar软件来部署和优化数字图书馆数据备份。重复数据删除技术在数字图书馆数据备份中的应用可行且效果良好。

VMware环境下重复数据删除技术应用的思考

对VMware环境下重复数据删除技术应用进行了研究。分析了虚拟机备份的困境,介绍了重复数据删除技术的基本概念、应用领域和技术优势,探讨了重复数据删除技术的不足及未来的发展趋势。

重复数据删除技术在云存储中的应用

云存储是一种低成本、高安全的数据存储方式,但是这些存储在云端的数据有很多是重复的,不仅占用存储空间、增加存储成本,而且严重消耗网络带宽。重复数据删除技术作为一种全局性的冗余数据消除技术,压缩比高达20∶1,对于缓解数据爆炸式增长带来的存储压力有积极帮助。文章首先介绍重复数据删除的基本流程和重复数据常用检测技术,随后设计一种重复数据删除系统,并介绍该系统的主体架构、功能模块和数据分配策略。最后进行分块算法性能测试、系统备份和恢复性能测试,结果表明,分块算法比滑动窗口算法在损失少于10%重删率的基础上,使系统性能提升40倍左右,让重复数据删除系统的综合应用效果得到明显改进。

重复数据删除技术在机车数据远程传输中的应用

针对车载数据远程传输中存在大量冗余数据的问题,提出了一种基于重复数据删除技术的数据远程传输方法。在基于套接字的数据远程传输过程中,首先将待传输的车载数据进行分块处理,通过MD5算法计算数据块特征值,然后将计算的特征值发送到地面接收端,由地面接收端判断数据冗余性。针对机车车载数据长度固定但周期不同的特点,提出更适合车载数据传输的数据分块方法,并以HXD2型机车数据为例加以验证。试验结果表明,在无线传输中增加重复数据删除技术可优化传输策略、节省网络带宽、降低数据传输成本。

重复数据删除技术对存储系统的影响分析

重复数据删除作为一种缩减技术，通常是应用于磁盘的备份系统，减少存储系统中使用的存储容量。重复数据删除技术的工作方式是在一定会的时间周期内查找不同文件中不同位置的重复可变大小数据块。应用重复数据删除技术额可以使用户的不同站点之间进行高效、经济的备份数据复制。本文就针对重复数据删除技术对存储系统的影响进行浅显的分析和研究。

基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。

基于Hadoop的重复数据删除技术研究

重复数据删除技术和云计算技术正在快速发展,但是Hadoop系统也仍然存在一些影响系统归档处理效率的因素。针对这个问题,文章提出一种新的增量指纹算法和改进TTTD算法——TDOB,并将这类算法应用到Hadoop分布式系统中,分析重复数据删除技术在Hadoop中的应用。

重复数据删除技术（二）

在上期中，我们已经介绍了重复数据删除技术的概念、发展和分类等内容，本期继续讨论这项技术的一些注意事项，下一期将有具体的实例与大家分享。

探讨网络备份中重复数据删除技术研究

随着计算机技术和网络技术的不断发展,带动了社会经济水平的高速提高,信息化技术给我们的生活、学习和工作带来了极大便利,但是在我们使用信息化技术的同时也会产生大量数据,储存和备份这些数据可能需要千万亿字节的存储空间,可以说我们正生活在信息和数据爆炸的时代,但是研究表明,在信息处理和存储的各个环节中,会有大量的重复数据产生,例如邮件附件、计算机资源管理器、应用软件和操作系统等。诸如数据备份、文件快照等传统数据备份形式,也会产生大量的重复数据,占据了大量的网络带宽,浪费了宝贵的存储空间。本文将就网络备份中重复数据删除技术展开探讨。

浅谈重复数据删除技术在无线电监测数据管理中的应用

本研究旨在探讨重复数据删除技术在无线电监测数据管理中的应用情况,在简要介绍重复数据删除技术的基础知识以及分析当前无线电监测数据管理状况的前提下,对重复数据删除技术在无线电监测数据管理中的应用做了一些详细阐述,通过分析和探究,希望能够为广大相关工作人员提供参考和帮助。

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.

基于MD5和布鲁姆过滤器的重复数据删除算法

针对目前重复数据处理技术的低效性和不可靠性，本文提出了一种基于MD5算法和布鲁姆过滤器的重复数据删除算法。新算法采用两级布鲁姆过滤器并有效结合MDS算法的方式，在发挥布鲁姆过滤器空间效率的同时汲取了MD5算法的可靠性，使得文件级别和数据块级别的重复数据删除策略交替工作。测试分析表明，新算法性能稳定并且实现了高效且可靠的重复数据删除功能。

基于有序聚类方程的数据相似性精准识别仿真

网络环境中海量数据具有明显复杂度,存在着大量结构化、半结构化和非结构化的数据,数据块长度与位置易产生较高相似性。当前已有的相似性数据识别属于密集任务型方法,会占用大量的内存空间。为了进一步提高数据利用率,降低数据冗余度,提出基于有序聚类方程的数据相似性识别建模仿真的方法。利用小波技术和重复数据删除技术对网络数据降噪,通过预设数据集中心,完成网络数据特征向量的优化提取。基于此,从时间、空间双维度分析特征向量的相似度,以点云分类网络和有序聚类方程为基础,构建数据相似性识别模型。实验结果表明,利用研究方法识别数据相似性时,其归一化互信息值为0.12,说明上述方法的准确度较高,针对不同规模的待识别数据,研究方法可在0.6s之内完成全部数据相似性的识别。以上实验所得数据证明了该方法具有较高的应用准确率和效率。

支持文件重删的HDFS分布式备份系统研究

随着传统行业电子化的速度日渐加快,电脑上的数据量与日俱增,数据备份领域面临的挑战也越来越大。传统备份因为需要大量的磁盘阵列作为存储介质,所以在成本控制上一直是个难题。针对该情况,结合云存储平台低廉的成本、高效的资源伸缩与利用率,研究在HDFS系统中加入新的重复数据删除技术,并对原有备份策略进行优化,设计出一种基于云存储中的重复数据删除技术的备份系统。最后通过实验,对改进后的方案系统与传统备份方案备份文件所占空间、时间等参数进行了对比。

基于内容地址存储的文件级备份系统

针对当前备份系统存在的重复数据量大、网络传输数据多、数据安全性低等特点,提出一种新的文件级备份系统。该系统构建于Bacula开源备份系统基础之上,使用磁盘作为存储介质,基于内容地址存储,采用重复删除技术以节省存储空间。性能测试结果表明,该系统能有效缓解存储和网络传输的压力,同时提高数据的安全性。

相似性—局部性方法相关参数分析

大数据时代到来,备份数据量增大给存储空间带来新的挑战。重复数据删除技术在备份存储系统中正逐渐流行,但大量数据访问,造成了磁盘的很大负担。针对重复数据删除技术存在的块索引查询磁盘瓶颈问题,文中提出了文件相似性与数据流局部性结合方法改善磁盘I/O性能。该方法充分发挥了各自的优势,相似性优化了索引查找,可以检测到相同数据检测技术不能识别的重复数据;而数据局部性保留了数据流的序列,使得cache的命中率提高,减少磁盘访问次数。布鲁过滤器存储数据块索引可节省大量查询时间和空间开销。对于提出的解决方法所涉及的重要参数如块大小、段大小以及对误判率的影响做了深入分析。通过相关实验评估与性能分析,实验数据与结果为进一步系统性能优化问题提供了重要的数据依据。