随机删除数据下回归函数核估计的渐近收敛

目的 研究独立同分布 (independentidentical distribution缩写为 i.i.d)随机样本在随机删除数据下核估计的渐近收敛性 ,得到两个相应的定理 .方法 利用中心极限定理及其估计的渐近收敛性得到两个相应的定理 .

利用ASP向Web数据库中添加修改删除数据

本文以一个简单的实例说明如何采用ＡＳＰ实现对ＷＥＢ数据库的操作，同时给出了具体程序说明ＡＳＰ中通过ＡＤＯ和ＯＤＢＣ访问ＷＥＢ数据库的使用方法。

Android系统删除数据恢复方法研究

随着移动通信技术的发展和应用的推广,手机犯罪成为新的犯罪趋势,手机取证是打击该类犯罪的一个有效手段。直接调用API方法不能恢复Android手机数据,现有方法存在无法恢复删除数据部分被覆盖的问题。为此,通过分析Android系统SQLite数据库的文件结构和数据记录的寻址方式,提出一种Android系统删除数据恢复方法,即探测估算预提取数据所在表的每个Type字段,提取恢复删除数据,结合尽最大努力恢复方法,针对删除数据部分被覆盖的情况,讨论其恢复的可能性并进行获取。在Android手机模拟器上进行验证,结果表明,该方法能成功恢复删除数据,与传统方法相比,在不影响信息提取精确度的前提下,提高了删除数据的恢复率。

Excel批量删除数据多余部分

有时我们需要批量将数据无用的部分去掉,如197806 去掉末两位变为1978。先选择要修改的数据列,然后选择菜单“数据”下的“

在Delphi中使用SQL Server的XML特性(五)——插入、更新、删除数据

在本系列文章的前几部分,我们已经了解在Delphi程序中利用SQL Server 2000 XML特性的数据查询技术。我们也研究了如何在Delphi数据敏感控件中使用XML数据源。作为系列文章的最后一部分,我们将探讨有关利用SQL ServerXML特性进行数据插入、更新、删除的话题。

云数据共享中一种轻量级的数据确定性删除算法

云共享环境下,虽然现有的数据确定性删除算法保证了远程存储数据在停止共享后的安全性,但没有考虑到不同数据访问策略之间的差异.不同访问策略可能需要数据拥有者撤销全部属性才能实现数据删除,但大量的计算可能导致数据拥有者无法快速完成数据删除,导致数据仍然能被访问.为此,在现有数据删除算法的基础上提出了一种轻量级的数据确定性删除算法,以降低数据拥有者的删除负担.该算法通过额外设置的关键属性及默克尔哈希树对云共享的数据执行删除和验证操作.实验结果表明,提出的算法是安全且高效的.

一种融合文件及内容分块的重复数据删除算法

重复数据删除对于文件增量同步、云存储和容灾备份等研究具有十分重要的作用和意义,能够大大地提高磁盘存储的效率。结合现有的文件级和块级去重算法的优势,并针对基于内容的分块算法CDC容易因超大块而导致块大小方差变化大的问题,提出了一种融合文件及内容分块的重复数据删除算法DMix。DMix采用了面向文件级和块级的两阶段重复数据检测及删除方法,并在快速双极值分块算法RDE的基础上,提出包含最大块阈值的内容分块算法RDEL,使得RDEL在保持良好的低熵字符串处理能力和抗字节偏移能力的同时,进一步降低了块大小方差。算法分析及实验结果表示,DMix及RDEL能够有效提升重复数据删除的效率,并能有效地降低CDC算法的块大小方差。

论消费者数据删除权的倾斜保护

消费者数据删除权是消费者享有的请求经营者删除其个人数据的权利,意在保障消费者的信息自决以及人格尊严。在私法自治性保护模式下,消费者数据删除权保护存在着激励缺位与激励不足的问题,难以有效激励经营者模范履行数据删除权义务以及消费者积极行使数据删除权利。而倾斜保护模式能够有效克服私法保护模式的不足,既能够矫正经营者和消费者风险—收益分配的失衡,又能够契合促进删除行为的成本收益考量。倾斜保护消费者数据删除权,分别从三个维度共同构建:一是从信息获取维度,强化经营者的数据处理信息披露义务;二是从权利主体维度,丰富消费者数据删除权实现的方式;三是从责任配置维度,增加违反数据删除义务的法定成本。

一种适于云存储的数据确定性删除方法

为保护云存储模式下数据的机密性,本文提出了一种适于云存储系统的数据确定性删除方法.该方法通过密钥派生树组织管理密钥,将密钥经秘密共享方案处理后分发到DHT网络中,利用DHT网络的动态特性实现密钥的定期删除,使得在非授权时间内密文数据不能被解密和访问,从而实现云存储系统中数据的确定性删除.实验结果表明,该方法能够有效地删除密钥,且性能开销低,满足云存储系统中过期数据或备份文件的确定性删除要求.

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a)重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b)从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.

基于重复数据删除的虚拟桌面存储优化技术

虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构的存储空间需求;并利用服务器本地磁盘缓存以及共享存储池内的固态硬盘来优化虚拟机的启动性能.通过原型实现,发现相比于基于内容分块的策略,静态分块策略更适合虚拟桌面存储进行重复数据删除,最优的分块大小为4KB,并能够缩减85%的存储空间容量;通过服务器本地磁盘缓存和基于闪存的固态硬盘进行I/O优化,虚拟机的启动速度能够获得35%的提升.

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.

内容分块算法中预期分块长度对重复数据删除率的影响

针对基于内容分块重复数据删除方法缺少能够定量分析预期分块长度与重复数据删除率之间关系的数学模型,导致难以通过调整预期分块长度优化重复数据删除率的问题,提出了一种基于Logistic函数的数学模型。在大量真实数据测观察基础上,提出了通过Logistic函数描述非重复数据的"S"形变化趋势,解决了该数据难以从理论上推导、建模的问题,证明了基于内容分块过程服从二项分布,并从理论上推导出了元数据大小模型。基于上述两种数据模型,通过数学运算最终推导得到重复数据删除率模型,并利用收集到的3组真实数据集对模型进行了实验验证。实验结果表明:反映数学模型拟合优度的R2值在0.9以上,说明该模型能够准确地反映出预期分块长度与重复数据删除率之间的数学关系。该模型为进一步研究如何通过调整预期分块长度使重复数据删除率最优化提供了理论基础。

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法。该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量。对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能。实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10%时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47%提高到87.6%。

基于二级索引的重复数据删除系统中性能相关参数的量化分析与研究

随着重复数据删除技术应用的普及,性能已成为影响其应用效果的核心要素.已有研究提出了基于二级索引结构的重复数据删除模型以提升系统读写性能,但没有对模型中一些参数的选择进行量化分析.对基于二级索引结构的重复数据删除模型中块大小等一些性能相关的参数进行了分析研究,设计了相关实验,对这些参数与读写性能的关系进行了量化描述,对本类模型在实际环境中的应用有很好的指导意义,同时为下一步性能优化工作提供了重要的数据基础.

R-dedup:一种重复数据删除指纹计算的优化方法

为减缓存储系统中传统重复数据删除方法在高性能固态存储盘中存在的指纹计算性能瓶颈,提出了重复数据删除指纹计算的性能优化方法R-dedup。在基于内容分块算法基础上,将切分后形成的所有数据块进一步切分为更小粒度的48 B等长数据片。基于Rabin哈希长度小于原始数据、多个Rabin哈希同时发生碰撞概率极低、数据片的Rabin哈希可以重复利用基于内容分块算法在滑动窗口过程中产生的计算结果的基础,利用数据片的Rabin哈希替代原始数据,并将其作为数据块的SHA-1指纹输入,减少SHA-1函数数据计算量,提高指纹计算性能。选取Linux内核、Imagenet等5组具有代表性的数据集,对R-dedup和标准基于内容分块的重复数据删除方法在数据分块性能、指纹计算性能、索引表检索性能和I/O性能方面分别进行了比较。结果表明:R-dedup的数据分块性能、索引表检索性能、I/O性能与对比方法具有4%左右的误差波动,性能基本一致;R-dedup的指纹计算吞吐率是对比方法的165%~422%,总体吞吐率是对比方法的6%~54%。

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.

一种云存储系统中重复数据删除机制

基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法。利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围。对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现。

Markov逻辑网在重复数据删除中的应用

为了解决和突破现阶段重复数据删除方法大多只能针对特定领域,孤立地解决问题的某个方面所带来的不足和局限,提出了基于Markov逻辑网的统计关系学习方法。该方法可以通过计算一个世界的概率分布来为推理服务,从而可将重复数据删除问题形式化。具体采用了判别式训练的学习算法和MC-SAT推理算法,并详细阐述了如何用少量的谓词公式来描述重复数据删除问题中不同方面的本质特征,将Markov逻辑表示的各方面组合起来形成各种模型。实验结果表明基于Markov逻辑网的重复数据删除方法不但可以涵盖经典的Fellegi-Sunter模型,还可以取得比传统的基于聚类算法和基于相似度计算的方法更好的效果,从而为Markov逻辑网解决实际问题提供了有效途径。