云存储系统性能优化策略与关键技术研究

文章深入分析了提升云存储系统性能的关键策略与技术,概述了云存储系统性能的指标,包括传输带宽、读写响应时间和资源利用效率。分析了影响云存储系统性能的因素,如网络带宽限制、服务器性能和数据冗余机制。文章重点讨论了优化性能的策略,包括实施可扩展网络结构、负载均衡机制、数据去冗余和压缩等。通过这些策略,可以显著提高云存储系统的效率和可靠性,满足日益增长的数据存储需求。

基于NAS架构的数字化档案云存储系统设计

文章设计了基于NAS架构的数字化档案云存储系统,该系统包括数据采集层、逻辑控制层、网络传输层和存储管理层四个层次,涉及数据的采集、处理、传输、存储等环节,旨在缩短数字化档案云存储系统的响应时间,实现数字化档案的高效化、安全化和稳定化存储,为用户提供更加方便和可靠的档案管理服务。为验证系统存储性能,进行了测试实验,实验结果表明,该系统在处理大规模数据、强干扰运行等方面均有良好表现,具备良好的存储效率和运行稳定性,具有一定的实用性和推广价值。

基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

基于Hadoop分布式架构的云存储系统设计

为满足海量数据的便捷化、智能化存储和分析需求,充分发挥和利用Hadoop分布式架构的运行成本低、容错性高等优势,应用Hadoop分布式架构设计一款新型、先进的云存储系统,从系统架构设计和系统数据库设计两个方面入手,完成系统总体设计。根据系统功能列表,依次设计文件上传、文件下载、文件浏览、其他操作等模块。在Hadoop分布式架构的应用背景下,文章中所设计的云存储系统具有内存开销率低、集群读取效率高、安全可靠等优点,符合预期设计标准和要求。

基于HDFS分布式云存储系统的重复数据检测与删除研究

传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。

区块链技术在云存储系统中的安全共识算法研究

本文探讨了区块链技术在云存储系统中的安全共识算法研究;介绍了区块链技术的定义、基本原理和安全特性;从系统需求分析、总体架构设计、功能模块设计以及数据库设计等方面,提出了基于区块链的云存储系统的安全架构设计。着重讨论了基于区块链的云存储系统中的安全共识算法,概述了安全共识算法的概念,介绍了区块链中常用的共识算法,并阐述了区块链技术在云存储系统中的应用和设计。

光伏发电系统密集型大数据云存储系统设计

目前设计的光伏发电大数据云存储系统存在响应时间过长,存储过程稳定性较差的问题,针对上述问题,设计了一种新的光伏发电系统密集型大数据云存储系统。系统硬件框架由光伏发电数据采集层、传输层、处理层、存储层以及应用层组成,云存储数据服务器同时设置了主服务器和从服务器,设计节点完成信息传输;通过两个子线程完成信息迁移,存储器内部引入DSP主控芯片,实现信息存储。实验结果表明,所设计的光伏发电系统密集型大数据云存储系统响应时间较短,能够更稳定地完成数据存储工作。

云存储系统节能研究综述

云存储系统作为云计算的重要组成部分，是各种云计算服务的基础。但随云存储系统规模的不断扩大和在设计时对能耗因素的忽略，使其日益暴露出高能耗、低效率的问题。因为云存储系统占整个云计算中心能耗的27%～40%，所以无论从降低服务提供商的运营成本，还是从降低能耗以保护环境的角度出发，研究云存储系统中的节能技术都具有很大的现实意义与应用前景。将存储系统中的能耗优化问题分为基于硬件的节能方法与基于调度的节能方法两大类进行讨论；并将基于调度的节能方法分为基于节点调度、基于数据调度和基于缓存预取技术3类进行综合比较；最后，对适应节能的云存储体系结构、节能模式下的QoS保证、节能模式与计算模式的匹配以及纠删码容错技术下的节能研究4个方向进行了展望。

基于对等网络的面向小文件的云存储系统

针对目前主从结构的云存储系统在存储小文件延迟过大的问题,提出基于对等网络(P2P)的分布式云存储系统.通过改进Chord路由算法提高了资源的查询效率,在系统中引入中心路由节点,中心路由节点上存储系统中所有节点的路由和状态信息,使资源查询时间复杂度缩短到O(l),客户端预取中心路由节点数据,从而减少数据操作时的时间开销;系统通过备份的策略来保证数据的可靠性,实现中数据备份数为3;系统实现了文件存储、读取、删除及列目录等基本操作功能.实验结果表明,与Hadoop HDFS文件系统相比,该系统的小文件操作时间减少了一个数量级.

一种适应节能的云存储系统元数据动态建模与管理方法

云存储规模的不断扩大以及设计时对能耗因素的忽略使其日益暴露出高能耗低效率的问题,并且此问题已经成为制约云计算与大数据快速发展的一个主要瓶颈.从云存储系统的元数据信息的组成与组织方式考虑系统的节能改进与适应性问题,提出适应节能的元数据建模与管理方法,将存储磁盘及节点状态、数据块存储位置与状态等信息纳入到新的元数据模型中.围绕节能的元数据模型设计了适应该模型的节能模式切换算法,有效的解决了现有算法与节能算法或策略的不匹配问题.实验结果表明:适应节能的元数据模型与算法能够提高系统磁盘级的能耗利用率.

公有云存储系统性能评测方法研究

随着云存储系统的迅速发展和广泛使用,许多企业开发者和个人用户将其应用从传统存储迁移至公有云存储系统,因此,云存储系统性能成为企业开发者和个人用户关注的焦点。由于传统测试难以模拟足够多的用户同时访问云存储系统;测试环境构建复杂,测试时间长,准备测试环境成本高;受网络因素及外界其他因素影响,评测结果不稳定。针对以上所述云存储系统性能评测的重点和难点,提出一种"云测试云"的公有云存储系统性能评测方法,该方法通过在云计算平台动态申请足够数量的实例,对公有云存储系统性能进行评测。首先,构建通用的性能评测框架,可动态伸缩申请实例,自动化部署评测工具及负载,控制并发访问云存储系统,自动释放实例及收集并反馈评测结果;其次,提出多维度的性能评测指标,涵盖不同典型应用、不同云存储接口;最后,提出一种可扩展通用的性能评测模型,该模型可以评测常见典型应用的性能,分析云存储性能影响因素,可适用于任何的公有云存储平台。为了验证该方法的可行性、合理性、通用性和可扩展性,利用所提方法对Amazon S3云存储系统进行性能评测,并使用s3cmd验证评测结果的准确性。实验结果表明,评测结果可以为企业开发者和个人用户提供参考意见。

对等云存储系统中抗Sybil攻击的准入控制机制

提出了一个对等云存储系统中基于身份密码的准入控制机制,包括4个协议,分别为不同实际场景中的用户安全高效地分配身份标识,并有效地抵抗Sybil攻击。在基本协议中,云服务器使用回叫的方式认证用户,再为合法用户基于其IP地址分配随机的身份标识并产生对应的公私钥对。扩展协议1使云服务器能够将工作代理给多个可信节点。另外两个协议针对使用网络地址转换的用户,对上述协议进行扩充,基于用户的IP地址和端口号来为其分配身份,并在分发私钥时加入密码难题,无需进行复杂的身份证书管理,具有高安全性;协议维持合理的计算时间,可限制恶意用户获取身份的速率,具备良好的可扩展性。

云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。

基于双服务器PEKS框架的高效云存储系统

为降低云存储用户成本并提高安全云存储效率,设计了一种多用户并发的云存储系统,提出基于双服务器关键字搜索的公钥加密(Public Key Encryption with Keyword Search,PEKS)搜索框架.设计的云存储系统通过存储引擎动态策略可以在多种存储方法之间自由切换,使用硬件负载平衡、中间缓冲和First-move First-failure策略来应对大量用户访问,提高请求响应率和系统稳定性;并行Master/Workers模式有效处理单个大文件请求,通过令牌机制进行文件传输恢复和并发传输.所提的双服务器PEKS搜索框架通过设计的线性同态平滑投影hash函数,使得所提搜索框架具有更高的安全性,解决传统PEKS的安全漏洞.实验结果表明,所提方案可以防止内部关键字猜测攻击,且其平均响应时间和计算效率优于现有其他方案.

云存储系统中基于动态规划的最小开销数据副本布局研究

传统的副本布局策略较少考虑数据传输开销,且对网络结构有所限定,导致通用性不足。为此,基于动态规划方法,以最小化数据管理开销为目标,提出一种云存储系统中最小开销数据副本布局策略。在数据管理综合开销模型的基础上,比较数据中心放置与不放置副本2种情况下的开销,从而确定副本位置。实验结果表明,该策略能够实现副本的合理分布,在有效降低数据管理开销的同时,可减少平均响应时间与网络传输量,提升云存储系统性能。

主动容错云存储系统的可靠性评价模型

除了传统的冗余机制,主动容错技术也被用来提高存储系统的可靠性。然而,当前对主动容错云存储系统可靠性的研究工作很少,而且都局限于硬盘故障服从指数分布的假设前提。针对主动容错磁盘冗余阵列RAID-5和RAID-6云存储系统提出两个可靠性状态转移模型,并基于转移模型设计了蒙特卡洛仿真算法,评价系统在一定运行周期内发生数据丢失事件的期望个数。该算法采用韦布分布函数模拟随时间变化(降低、恒定不变、或升高)的硬盘故障率,准确评价了主动容错机制、硬盘整体故障、故障修复、潜在块故障以及磁盘清洗过程对系统可靠性的影响。所提方法可以帮助系统设计者评估不同容错机制和系统参数对云存储系统可靠性的影响,有助于创建高可靠存储系统。

云存储系统管理节点故障自恢复算法

为了解决大规模云存储系统中管理节点发生故障导致存储服务不可用的问题,建立了管理节点故障影响分析模型,提出了一种基于消息的管理节点动态自我恢复算法FRA-M.该算法通过基于负载均衡的元数据备份更新控制方法完成多个管理节点之间相互协作、透明接管和故障自我恢复.测试结果表明,FRA-M算法能够使得管理节点发生故障时自动进行切换,并且能够合理地分配资源达到良好的负载均衡状态.通过控制TCP超时时限、故障检测周期以及故障检测超时,能够使得FRA-M算法的性能保持在相对稳定的区间,随失效时刻的适应性也比较强.当管理节点发生故障时,FRA-M能够较好地保证存储服务可用性、数据可用性和数据可靠性.

一种海量大数据云存储系统框架设计

随着数据爆炸性增长,传统的存储方式已经不再满足海量数据的存储需求,云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案。文章在分析Hadoop分布式文件系统HDFS的基础上,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。

云存储系统中最小开销的数据副本布局转换策略

副本技术是提高云存储系统中数据可靠性访问和系统容错性的常用策略。依据用户需求以及环境变化,及时对数据副本布局进行动态调整,是目前副本管理研究的重要内容之一。然而,现有研究大都以副本布局转换是自动完成的为前提,仅关注于数据副本数目与位置等副本布局方案设计,较少涉及副本布局转换的任务调度问题。事实上,副本布局转换是有关多数据中心数据副本迁移与删除操作的复杂任务调度问题,不同的任务调度策略占用的空间、时间不同,由此导致成本、效率等存在较大差异。基于此,首先给出云存储系统中面向多数据中心的数据副本布局转换任务调度模型,以及该问题的可行性分析。然后,从降低成本的角度给出最小开销的数据副本布局转换任务调度问题的定义,并基于0-1背包问题证明其是NP完全的。在此基础上,给出随机(Random)、最小传输开销优先(MTCF)、最大机会成本优先(MOCF)以及同数据最小传输成本优先(MTCFSD)等副本布局转换任务调度策略。最后,以CloudSim为仿真平台进行了模拟实验,结果表明,最小开销的数据副本布局转换策略与同类算法相比,在传输次数上减少了约60%,相对开销降低了约50%,证明了转换策略的可靠性与有效性,从而进一步提升了云存储系统的性能。

云存储系统聚合带宽测试技术

提出了测试云存储文件系统聚合带宽的方法,设计并实现了测试并行文件系统聚合带宽的测试软件FSPoly。本文对FSPoly测试结果的有效性进行了充分验证,并通过使用FSPoly,实现了对内存文件系统、网络文件系统及并行文件系统的聚合带宽进行了评测。