基于网络存储系统中虚拟存储分级存储技术的研究

随着存储数字化、网络化地进行,各类多媒体存储服务的日益增多,存储系统中已形成了基础平台,而各类业务对平台的需求也愈来愈大。在存储容量上,虚拟存储技术、分级存储技术都是解决网络存储系统的有效方法,文章从虚拟存储技术和分级存储技术的特点、方式、存储模式等方面进行了深入的分析。

基于混合存储结构的分级协同节能方案

新能源的应用已成为一种趋势,但具体到存储I/O领域,存储设备通常会根据存储负载的强度进行节点调度,而不规则波动的新能源和存储负载之间存在波峰波谷错位匹配的问题,增加了存储设备的调度难度。提出了一种针对NVM-SSD混合存储介质的分级协同节能方案MixSave,为每一层提供定制化节能方案并且协同调度,提升了新能源能效比。基于NVM和SSD存储介质的性能与能耗特点,MixSave采用NVMSSD的高性价比分级存储架构,为用户提供高性能、大容量存储服务,并且通过副本保证数据可靠性。NVM作为缓存层采用负载驱动型方案,以保证性能为优先目标,即根据负载变化动态调整高功耗状态的NVM设备数量,满足负载需求;SSD作为数据层采用新能源驱动型节能方案,以提升新能源利用率为目标,根据新能源的变化动态调整SSD启用数量,进行缓存数据同步与预取。测试表明,与未采取节能措施的标准方案相比,MixSave性能下降不超过4%,在轻负载模式下,MixSave可节省73%~80%的传统能源,在重负载模式下,可节省55%~61%的传统能源。

基于区块链分级存储与国产商用密码技术的高校图书馆信息系统网络安全保障

为了提升图书馆信息系统网络安全保障能力,确保图书馆信息系统安全稳定运行,对数字图书馆信息系统面临的身份假冒、数据泄露、数据篡改、数据破坏、重要操作难以溯源等突出网络安全问题进行研究,提出了解决思路和方法,包括基于区块链分级存储实现图书馆信息系统数据存储安全,基于国产商用密码技术实现图书馆信息系统身份认证、数据加密保护、数据完整性保护、操作真实性和抗抵赖保护,对建设完善有效的图书馆信息系统网络安全整体保障体系、提升图书馆信息系统网络安全保障能力具有指导意义。

HDFS分级存储系统元数据管理方法的研究

随着高能物理实验规模的不断扩大和实验复杂度的提高,研究人员正面临海量数据存储的挑战,考虑到成本、能耗、存储周期及运维管理等问题,具有存储容量大、成本低特点的磁带库成为高能物理领域海量存储系统中必不可少的选择。但HDFS现有异构存储研究不支持磁带库存储,无法满足高能物理Hadoop平台海量实验数据持久化和备份过程对于存储系统高性价比的需求。针对上述问题,为了构建支持磁盘-磁带存储的HDFS分级存储系统,使磁带层文件在HDFS中无缝融合,为用户提供统一的文件系统命名空间,调研了分布式文件系统元数据管理方法,在此基础上设计实现了HDFS分级存储系统中统一的元数据管理方法。该方法通过重新设计内存文件元数据结构,构建分级存储系统统一的内存目录树并实现其访问管理和可靠性保障,完成分级存储系统中不同层级文件元数据的集中统一管理。测试结果表明,该方法实现了分级存储系统异构资源上文件元数据的统一管理,提供了高效的元数据操作。基于该方法构建的分级存储系统可靠性高,在对不同规模大小的文件读写时,其读写吞吐量较优于高能物理领域传统分级存储系统EOSCTA。

基于云平台的海量通用数据分级存储系统构建与实现

中国蓝云分布式数据中心通用数据分级存储系统项目目前已经建成,并经过各种功能和性能测试,达到了项目建设目的和使用要求。本文简要分析了广播电视媒体行业近线存储模式及存储介质选择的问题,主要阐述了中国蓝云平台海量通用数据分级存储系统基本架构、功能及设计亮点。

基于块存储的影像混合云存储的研究与应用

介绍了传统影像存储与传输系统(PACS)中数据存储所面临的挑战,分析了云存储在解决存储扩展、系统容错方面的天然优势,以及块存储的读写效率高、时延低等特点,以解决医疗影像数据长期存储的难题。通过采用混合云架构对影像数据进行分级存储,医院侧部署PACS应用服务器并通过磁盘阵列存储“热数据”,在云端使用基于IP存储网络(IP-SAN)的块存储网络来存储“冷数据”,定期将在线存储“热数据”迁移至云端“冷数据”资源池进行归档,节省了医院数据中心的存储空间。另外,通过块存储标签技术结合HASH校验技术,解决了院内“热数据”向云端“冷数据”迁移过程中确保数据一致性的难题。

基于分级存储技术的媒资珍藏库建设与应用

浙江广播电视集团从20世纪80年代以来积累了大量珍贵的历史影像素材。然而,在日常管理中,老旧的存储介质存在无法长期保存和读取、调用困难的问题。现代技术的快速更替,不断推动着广电行业的发展。浙江广播电视集团充分认识到这批历史影像素材的重要性,着手推进珍贵素材数字化建设工作,依托“中国蓝云”和通用数据分级存储系统,建设了一套媒资珍藏库系统,以实现珍贵素材的永久保存和灵活调取。基于此,介绍媒资珍藏库的设计、功能和应用场景,为历史素材数字化建设提供参考。

媒资近线存储方案设计与实现

媒资系统作为电视台重要资产的保存和积累中心,在电视台日常运营中发挥着重要作用。随着高清、超高清电视技术的发展,视频码率的提升对于存储性能和容量的需求成倍增长。电视台需要不断投入大量的资金购置新的近线存储体,用于收集、整理、存储和再利用有价值的资料,以实现全台业务在媒资系统协同下的生产调度。蓝光光盘库以其长寿命、高安全、低功耗等特性,适用于存放不经常被修改的数据,成为数据备份的第一选择,也成为媒资近线存储体的首选。针对宁夏广播电视台现有存储系统的问题,介绍宁夏广播电视台媒资近线存储系统技术选型与设计,详细阐述媒资近线存储系统的实现与部署过程。

一种海量数据分级存储系统TH-TS

随着数据存储规模的飞速增长,降低存储系统的总拥有成本,提高数据访问性能成为构建海量存储系统的关键.设计并实现了一个海量数据分级存储系统TH-TS(Tsinghua Tiered Storage),由多级存储设备构成一体化的数据存储环境.该系统提出了Cute Mig数据迁移方法:采用基于升级成本和升级收益的升级迁移策略和基于剩余空间的文件自适应降级选择策略,解决了传统on-demand迁移方法中迁移数据量大、访问性能不佳的问题.评测结果表明,TH-TS采用Cute Mig迁移方法的系统平均I/O响应时间比传统的LRU和GreedyDualSize方法分别降低了10%和39%左右,数据升级迁移量分别降低了32%和59%左右,降级迁移量分别降低了47%和66%左右.

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。

分级存储管理技术研究

数据量的持续指数级增长以及对数据高速访问的需求,导致存储管理的难度和成本的不断攀升.ILM(information lifecycle management)正是在确保存储系统服务质量和控制成本的双重目标下提出的,而分级存储管理HSM(hierarchical storage management)作为实现ILM的具体方法广泛地应用到数据中心的构建中.阐述了HSM系统的基本框架,并进行了逻辑层次功能的划分.论述了分级存储管理系统的主要研究内容和研究现状,对其中最为关键的数据分类、数据放置和数据迁移等几方面的相关研究现状和常用工具进行了讨论,通过分析、总结研究中的问题,展望了相关研究在未来的发展方向和前景.

一个分级存储的信息生命周期管理系统设计与实现

信息生命周期管理是一种可持续发展的存储策略，以其独特的优势在存储成本和高效信息管理之间取得平衡．本文设计并实现SAN、NAS存储网络下基于分级存储（HSM）的清华信息生命周期管理系统（THILM）．提出一种新的文件重解析实现技术，实现ILM系统中HSM应用服务器端和系统应用层对动态存储数据的透明访问和多级存储数据的统一管理．讨论通过对应用元数据管理的优化和策略缓存（Policy Cache）技术的改进实现高效的管理策略的执行．通过系统性能测试表明本文提出的文件重解析实现技术带来的额外负载几乎可以忽略，策略缓存技术使系统的策略执行性能提高了一个数量级．另外针对原策略缓存初始化性能低下的问题，采用策略元数据池（PMC）进行优化，采用PMC后THILM策略缓存的初始化时间降低了16～20倍．

基于块级别的SAN系统自适应分级存储

在SAN环境中实现了一种基于块级别的自适应分级存储系统THVS。该系统使用随机的虚拟空间组织方式，能够很好地适应物理设备的增加和删除；并且通过元数据服务器对磁盘备区域进行访问频率统计，使读写频繁的数据集中保存在性能最好的设备中。实验结果表明，存储系统中的热点区域一般是比较稳定的，而实现了设备问的数据动态调整后，对虚拟盘的平均访问响应时间可缩短23％。

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。

分布式VoD系统的分级存储调度

提出了一种适于大规模分布式VoD系统的分级存储调度算法。该算法建立在多队列的排队模型之上 ,使用了系统均衡方法及基于优先级的缓冲区管理算法 ,并提供了迁移等待时间的计算方法。通过仿真实验给出了缓冲区大小与业务量和节目驻留时间的关系 。

海洋大数据分级存储中迁移模型的研究

海洋数据具有规模庞大、种类繁多、结构复杂、时空特性明显等特征,如何高效地对海洋中的大数据进行存储是实现我国海洋数字化以及管理的科学化的关键。传统的数据存储系统面临着高扩展性、高可靠性、高安全性和低成本的挑战。阐述海洋数据的特征,制定海洋中大数据的生命周期;根据海洋中大数据的生命周期图,设计出一种适合于海洋大数据特征的迁移模型,解决了海洋中大数据在分级存储中的数据迁移问题,实现了海洋大数据的高效存储。

分级存储系统中一种数据自动迁移方法

分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.

HDFS异构集群中的分级存储调度机制

大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,提出一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘I/O等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

分级存储技术在电子病历无纸化存储中的应用

为解决电子病历无纸化存储的空间、效率、效益问题,提出一种基于分级存储技术的解决方案。介绍分级存储技术的概念、存储方式、必要性、存储策略、设备及技术优势,并以中山市人民医院为例对上述方法的有效性和实用性进行验证。

TiStor:基于策略引擎的分级存储系统

分级存储系统是把存储设备依据价格、性能或其他属性区分为多种不同的类别,而将数据依据其访问活动或者其它特性,动态的在不同类别的存储设备间迁移.设计实现了一种基于策略引擎的分级存储系统Ti Stor,通过类SQL策略语言,管理员可制定不同的数据管理策略对数据进行控制和管理;通过通用数据管理接口DMAPI,在用户空间实现对用户和应用程序透明的分级存储管理;通过降级文件时更新机制、增量更新机制,显著降低由于文件状态更新所带来的文件系统性能和网络带宽开销.测试结果表明,Ti Stor具有较高的在线数据访问性能和快速响应时间.