基于擦除编码和副本复制的分布式混合存储研究

随着大数据技术、云计算、计算机技术和网络技术的迅猛发展,互联网数据呈爆炸性增长,海量数据的高效存储成为当前互联网技术亟待解决的问题。然而,传统的多副本冗余机制导致了巨大的存储成本,引起了研究者们对新型存储解决方案的关注。在这一背景下,提出了一种基于擦除编码和副本复制的分布式混合存储策略。该策略根据数据特性,对热数据采用副本复制以确保高可靠性和性能,而对冷数据则采用擦除编码以提高存储利用率。基于牛顿冷却定律将数据文件划分为热文件和冷文件,并引入一种自适应的数据温度识别及冷热数据自适应动态分配算法,使系统能够在运行时自动调整冷热数据的比例,然后根据实时数据冷热情况智能调整数据的存储策略,体现了系统在动态环境下的自适应性。其不仅增强了系统对动态工作负载的适应能力,也为提高分布式存储系统在实际应用中的效率和灵活性提供了新的范式。这一创新点在学术和实践层面都具有重要的推动意义。同时,通过仿真实验验证了该策略的有效性和可用性,其为分布式存储系统的优化提供了新的思路。

基于身份的密钥隔离的多云多副本可证数据持有方案

可证数据持有方案(Provable Data Possession, PDP)可以让用户在不下载全部数据的情况下验证其外包数据是否完好无损。为了提高外包数据的可用性和安全性,许多用户将数据的多个副本存储在单云服务器上,但是单云服务器在发生故障或者其他意外情况时,用户存储的数据副本也会遭到破坏因而无法恢复原始数据。同时,许多可证数据持有方案依赖于公钥基础设施(Public Key Infrastructure, PKI)技术,存在密钥管理问题。此外,现有的可证数据持有方案大多是在用户端使用密钥对数据进行处理。由于用户端的安全意识较弱或者安全设置较低,密钥可能会有泄露的风险。恶意云一旦获得了用户端的密钥,就可以通过伪造虚假的数据持有证明来隐藏数据丢失的事件。基于上述问题,提出了一种基于身份的密钥隔离的多云多副本可证数据持有方案(Identity-Based Key-Insulated Provable Multi-Copy Data Possession in Multi-Cloud Storage, IDKIMC-PDP)。基于身份的可证数据持有方案消除了公钥基础设施技术中复杂的证书管理。多云多副本确保了即使在某个云服务器上的副本被篡改或者被破坏的情况下,用户仍然可以从其他云服务器上获取副本并恢复数据。同时,方案中使用了密钥隔离技术实现了前向和后向安全。即使某一时间段内的密钥泄露,其他时间段内云存储审计的安全性也不会受到影响。给出了该方案的正式定义、系统模型和安全模型;在标准困难问题下,给出了该方案的安全性证明。安全性分析表明,IDKIMC-PDP方案具有强抗密钥泄露性、可检测性以及数据块标签和证明的不可伪造性。实验结果表明,与现有的多云多副本相关方案相比,IDKIMC-PDP方案具有相对较高的效率。

分布式存储系统中数据副本管理机制

分布式存储系统需要完善的数据副本创建、部署、选择、定位和一致性管理机制以保证分布式计算环境中的数据安全、可用、可靠、可扩展性和服务的高效、连续性。文中全面分析与研究了国内外对分布式存储系统中的副本管理机制研究现状,重点对副本创建、副本定位、副本一致性维护和副本撤销机制进行深入的研究,并从数据可用性、节点负载均衡、数据一致性和带宽消耗等性能指标进行了分析。文中的研究成果对于分布式存储系统的合理设计与构建具有良好的参考价值。

基于日志副本的Raft共识算法优化

在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组再有一个副本所在的硬盘发生故障,将导致系统无法继续提供服务,且不能自动恢复.本文提出一种基于日志副本的改进的Raft共识算法,即LR-Raft (log replica based Raft),日志副本没有完整状态机,可以快速加入集群,并参与投票与共识,提升了存在故障硬盘时系统的可用性;可以解决短时间内三副本中两个副本故障导致集群不可用和丢失数据的问题.实验结果表明,在副本组中引入日志副本后,与原Raft相比,LR-Raft在不同的工作负载下读写时延均明显降低,吞吐量显著提升.

对等网络中一种优化的副本分布方法

数据复制技术是一种提高P2P系统中数据可靠性和可用性的常用策略.现有复制方法大多只考虑副本数量,副本数量越多就越能提高资源访问效率,但采用这样的数据复制方法将会带来高昂的副本一致性维护代价.为平衡副本一致性维护的开销和多副本带来的访问性能提升之间的关系,该文提出了动态副本分布方法.文中首先给出了副本目录的设计和副本信息的获取方法,能够获得某一逻辑资源的所有副本信息.然后,根据逻辑资源的全局副本信息,对访问频率高且平均响应时间长的数据资源进行复制,并给出副本数量的计算方法.最后,根据用户访问特征和节点实时带宽等信息计算放置副本的最佳地点,使副本分布能够适应数据访问请求和网络带宽的动态变化.模拟实验结果显示,该方法能够实现全局优化的副本分布,以少量数据副本提升资源访问的性能.

个体QoS受限的数据网格副本管理与更新方法

数据网格系统通常采用副本技术提高系统总体性能,传统副本放置技术通过总体QoS需求确定副本数目和部署方式.针对QoS需求严格的一类数据网格应用,建立了个体服务质量受限的数据网格模型IQDG,提出一种启发式个体QoS受限的副本放置算法qGREP和基于逻辑环结构的一致性维护方法.IQDG采用的启发信息综合考虑了个体QoS约束的满足和副本开销的控制,能获得合理的副本策略.理论分析论证了算法的正确性和收敛性,模拟实验结果表明了算法能有效解决个体QoS受限的副本放置问题,在多种网络拓扑、访问模式和负载条件下均能取得较好的访问效果.

云计算架构下的动态副本管理策略

为有效管理云计算环境中的数据副本,减少系统带宽消耗、最小化响应时间和平衡负载,提出了一种动态副本管理策略。通过建立文件可用性和副本数量间的关系模型来计算系统应维持的最小副本数量;基于数据被请求访问的次数和传输花费进行副本放置;数据被请求时结合节点间带宽和节点效用选择副本。实验结果表明了该策略的正确性有效性。

数据网格中的副本定位

在数据网格中,数据副本的定位是副本管理的一个关键问题,是数据网格环境中数据访问和管理的基础。本文分析了当前对数据副本定位所采用的集中式和分布式的定位方法中存在的不足,提出了一种混合式的副本定位策略,将数据副本的定位信息分散地存储于不同的域定位节点中,通过逻辑上集中的逻辑文件定位索引实现了对数据副本的准确定位。

基于双重存证的跨域流转多副本发现机制

针对泛在共享环境下信息频繁跨节点、跨系统交换时有意或无意留存而导致的隐私信息泄露问题,提出了一种基于双重存证的跨域流转多副本发现机制,可实现对流转信息的传播路径、传播方式进行溯源,并构造信息的多副本传播图。根据存证时机和方式的不同,双重存证包括流转主动存证和操作被动存证,信息在被分享前,由信息分享者主动记录传播路径和传播方式,生成流转主动存证记录;信息在被操作前,由系统自动记录传播路径,生成操作被动存证记录;相比单一存证,双重存证能够提高构造的信息多副本传播图的完整性和真实性,能够发现存证行为异常的节点并进行处置;基于社会惩戒理论,证明了存证行为异常发现与处置的有效性。实验开发了针对OFD的双重存证多副本发现原型系统,验证了所提机制对信息传播图构造完整性的提升。

身份加密多云多副本完整性审计协议

为解决现有可证明数据持有(PDP)协议只适用于单云存储服务器且过度依赖公钥基础设施的问题,提出一种新的基于身份的多云多副本PDP协议。该协议采用身份加密来简化证书管理,并设计双层默克尔哈希树作为新的安全数据结构,以维护多副本的新鲜性和一致性。安全性分析和实验结果均验证了该协议具备安全性和高效性,能够在多个云存储服务器上实现多副本完整性审计,并在标签生成、证据生成和证据验证3个阶段的效率上明显优于对比算法。

层次化解析系统中两级节点协同的副本策略

名字解析系统负责存储维护信息中心网络中名字和地址之间的映射关系,并提供名字解析服务。层次化的解析系统因可扩展性良好而备受关注,但解析请求一旦无法就近完成则需要沿其层次化结构进行长距离转发。当只有少数节点存储热门名字映射记录时,长解析时延的问题将更严重。副本策略是提高解析服务性能的重要机制,通常解析节点会向其他节点推送自身存储的映射关系从而扩散副本,但这种策略往往不能精准推送用户最感兴趣的名字,也难以控制副本数目。本文提出一种两级节点协同的副本策略,管理域中的高层级解析节点通过信息收集窗口获知服务范围内用户最感兴趣的名字后,将主动从其他节点请求副本。为底层节点分发副本时,以时延优化的边际收益衡量是否应为每个名字再多放置一个副本,从而自适应地决定不同名字的副本数目和位置。实验结果表明,本文的策略准确捕捉了用户的解析需求偏好,有效地提高了管理域内的解析命中率,解析时延相较于无副本时降低34.1%。

EMCA:一种新的多云存储中高效的多副本审计方案

云数据审计是一项允许数据所有者在不下载数据的情况下检查数据是否在远程云服务器上完整存储的技术。目前,云数据审计可分为单副本审计和多副本审计,针对多副本审计方案中计算开销大以及无法审计多云存储数据的不足,提出了一种在多云情景下高效的多副本云数据审计方案。所提方案使用较轻量级的模幂加密技术代替传统上计算成本较高的双线性配对技术,以降低在审计过程中的计算开销,提高了方案的效率。为每个副本数据块生成一个同态验证标签(HVT)作为元数据,当用户发出审计要求,每个云服务提供商生成对应的证据,由云服务器管理者聚合证据,实现了在多云存储中的审计。安全分析表明,所提方案可抵挡恶意云服务提供商的伪造攻击,以及恶意云服务提供商与第三方审计者的合谋攻击。性能分析表明,所提方案在计算开销上低于现有多副本审计方案,实现了高效的多云存储多副本审计。

基于层级结构的全索引副本定位原型系统

在对globus toolkit4中副本管理组件研究的基础上,设计一种基于层级结构的全索引副本定位系统,给出系统架构、副本定位原理、软状态更新机制及副本定位算法,并实现原型系统.通过部署、运行原型系统,对算法进行验证.验证结果表明,该原型能够安全、高效实现副本定位及副本生成等功能.

面向异构ICN节点的副本选择算法研究

信息中心网络(ICN)是一种革新式网络架构,打破了传统TCP/IP网络端到端传输的限制,提升内容分发效率。ICN构建全网规模的缓存系统,在网络内采用多副本冗余的方式缓存数据内容,以便用户就近获取。与传统互联网缓存系统不同,ICN的缓存呈现泛在化的特点,工作设备是网络基础设施,导致服务资源的异构性普遍存在。在这种环境下,选择适当的副本节点成为重要研究问题。本文首先通过M/M/1排队模型对异构ICN节点进行抽象建模和分析,然后将异构副本节点的选择建模成多臂老虎机问题,继而引入UCB1算法来探索并学习最优决策。仿真实验结果表明,该算法在提高缓存服务可靠性和缩短内容获取时延方面具有明显优势,算法使服务可靠性达到99.15%,将内容获取的平均时延最大缩短8.63%。

电力异构数据集群存储动态副本选择系统

为了解决电力异构数据集群存储中存储池可用空间分布不平衡,导致副本选择效果较差的问题,提出一种电力异构数据集群存储动态副本选择系统。使用存储动态副本虚拟磁盘,改善磁盘数据交换速率;调整副本文件属性值,均衡存储池负载、性能与资源消耗,选择数据集群存储动态副本位置,确保电力异构数据集群存储动态选择合适的副本。实验结果表明,该系统所需存储时间为40 s,存储空间有效占用率较小,具有良好的副本选择效果。

云环境下多副本管理综述

目前,云服务已经在市场上蔓延开来,相关的云存储和云计算技术也成为时下讨论的热门话题.在云存储中,为了保证高可靠性、高性能,多副本管理是其中的一项关键技术.而多副本管理作为传统分布式存储系统中的关键技术则是已经探讨很久的技术,对于其创建方法、放置技术、选择、删除策略及一致性管理等方面的研究也已经日趋成熟.而目前在云环境下的多副本管理研究较少.针对云环境中所涉及到的多副本管理问题进行全方面剖析,详细地分析了在云环境下各种副本管理技术方案的优势与缺点.最后给出了未来云环境下多副本管理研究的展望.

基于教育资源网格的副本放置策略

副本机制是提高网格性能,降低客户端延迟的有效手段,副本放置策略是副本机制的关键问题。该文介绍了教育资源网格的体系结构,针对教育资源网格特殊的体系结构,提出了3种动态副本放置策略,并从不同的角度对它们进行了优化,在保持副本存储空间占用的前提下,降低了客户端延迟。实验表明了策略的有效性。

数据网格环境下副本淘汰策略的研究

为了在数据网格环境中不增加副本存储空间的条件下,能够很好地进行数据副本的淘汰,提出了一种改进副本淘汰算法。该算法利用权重函数兼顾访问时间和访问频率,在考虑副本传输代价的因素上引入动态调整因子,根据实际情况动态的调整副本传输代价所占的比例。仿真实验结果表明,该算法在副本尺寸差异较大的情况下,可以大大减少副本淘汰误差,提高了网格结点的作业平均执行时间和网络有效利用率。

一种基于可用性的动态云数据副本管理机制

副本是提高云存储数据可用性的关键技术之一.为提供低成本高效益的可用性,并提高云存储的性能和负载均衡,本文提出一种动态副本管理机制DRM(Dynamic Replica Management scheme).DRM研究确定数据可用性和副本数之间的关系模型,并利用此模型来动态计算和维护给定可用性要求的最小副本数,并基于节点性能和用户访问特性确定副本放置位置.根据节点规模变化,DRM动态调整副本数量以确保数据可用性需求.DRM在节省资源成本的前提下,提高了云存储的性能和负载平衡.本文在HDFS(Hadoop Distributed File System)上实现了DRM,实验结果表明DRM在成本、负载平衡和性能都优于现有HDFS副本管理机制.

基于集群服务器的容灾系统的副本管理研究

提出一种基于集群服务器的容灾系统副本管理方案,提出多个副本的一致性维护和副本选择的算法以及副本数量和分布方式的数学模型。通过容灾系统的性能测试实验,证明它能够实现数据的快速自动恢复,有效地管理副本,并保持副本可靠性和集群服务器性能之间的平衡。