对象存储在电子档案管理系统中的研究与应用

本文通过研究电子档案管理系统存储的特点,结合当前电子档案管理发展的需要,提出通过基于分布式对象存储方式,实现对电子档案的高效存储管理,可以实现无限拓展存储空间,同时大幅提升读写效率,解决电子档案快速增长带来的海量数据存储问题,并结合当前技术发展趋势,提出分布式对象存储在电子档案管理系统中的应用展望,供档案管理人员参考。

分布式对象存储在采编融媒体平台的探索和应用

【目的】融媒体的飞速发展,极大地推动了多媒体内容的创作和分享,同时随着4K、5G和AI技术的成熟发展,新华社用户上传和入库的稿件中照片、音乐、视频等文件与日俱增,加剧了数据量的爆发,不断占用着存储资源。【方法】针对这类非结构化数据的存储和管理,传统的块存储(SAN)和文件存储(NAS)由于其本身技术和架构的限制略显捉襟见肘,对象存储应运而生。基于此,文章主要介绍了数据存储的发展过程,以及分布式对象存储的特点及优势,结合新华社采编融媒体平台业务探索应用可行性。【结果】【结论】通过搭建MinIO对象存储环境,并改造采编融媒平台文件服务接口,可实现对象存储的平滑切换,验证对象存储在采编融媒平台应用的可行性。

键值对与对象存储在分布式存储系统中的应用

为解决传统存储系统在海量文件存储和文件路径快速变更时难以兼顾的问题,在对比分析文件存储和对象存储利弊的基础上,提出将K-V键值对的文件目录结构与对象存储结合的方案,使系统在拥有高吞吐量的同时,快速完成目录的迁移工作。在使用TiKV集群存储文件元数据提高数据扩容上限时,引入虚拟节点的哈希算法与代理节点结合,减少集群扩容时的IO漂移。实验结果表明,该系统具有吞吐量大、迁移速度快、水平扩展性强、扩容过程平稳的特点。

对象存储系统的研究

SCSI,ATA/IDE等现有的基于块的存储接口已成为提升存储系统性能、降低存储管理成本的障碍。对象存储技术有望改变现状,成为下一个标准存储接口,使得建立拥有自主管理、数据共享、安全和智能化等特征的存储网络成为可能。该文分析对象存储的特点,设计并实现一个简单的对象存储系统原型,该对象存储系统遵照对象存储的OSD T10标准,由客户端、目标端和IP网络构成,采用iSCSI作为通信协议。读写性能测试分析结果表明,该系统可以满足实际需求。

对象存储设备端数据管理策略研究

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统.

一种基于高性能对象存储框架的文件存储服务和视频点播服务

随着互联网信息技术的快速发展,以图片访问、文档文件访问、视频点播为代表的文件存储、文件访问技术和点播技术应用在软件系统的基础服务应用越来越多及性能要求越来越高。特别是在工业生产中的应用与日俱增。企业生产相关文件的存储、共享有助于相关人员对生产图纸、设计文件、工艺文件、质检文件、相关视频资料统一管理。使得高性能的文件存储、访问、视频点播基础服务在工业生产管理系统中变得越来越重要。

分布式对象存储系统在广播电视技术中的应用研究

本文针对分布式对象存储技术的优势、技术原理及其使用方式做了论述,对分布式对象存储系统在广播电视行业中应用场景实践进行了探讨。

基于对象存储系统中多维服务质量保证的设计与实现

存储系统的服务质量(QoS)保证对于满足上层应用的需求至关重要。基于对象存储(OBS)使用支持丰富语义的对象级接口,能够更好地实现QoS保证。在研究了基于对象存储系统中QoS交互机制的基础上,提出了一个基于对象存储设备(OSD)的多维QoS框架,设计并实现了一个应用于OSD的多维QoS算法。实验显示,该框架和算法能有效满足多个客户端的不同维度QoS要求。

基于对象存储系统中的热点数据平衡策略

针对基于对象存储系统(OBS)中的热点数据问题,提出了一种基于预测和数据副本迁移的均衡策略.对基于对象存储结点(OSD)的热度进行预测,元数据服务器(MDS)据此对存储结点进行均衡协调,存储结点则响应协调规则并采用贪心法选出尽量小而且访问客户多的对象进行副本迁移.此外,采用增量备份的方法解决副本迁移可能造成的数据不一致问题.实验结果表明策略的预测误差在8%以内.

对象存储设备中对象的均匀分布方法

针对目前对象存储设备上的对象分布策略可能导致的单一目录下对象过多、分布不均匀等问题,本文提出了一种基于对象ID分段的均匀分布方法,有效地提升了对象存储设备上对象分布的均匀性,从而达到提升对象访问性能的目的.该方法在我们自主研发的CSCloud对象存储系统中得以应用和验证.

基于SOC的对象存储控制器的设计与实现

对象存储重新划分了传统文件系统的功能,并将存储管理功能下放到智能存储设备中。采用基于对象接口,利用智能存储设备的计算能力改善存储性能,获得了更好的可扩展性、安全性以及跨平台无缝共享能力,目前正得到广泛的研究和应用。对象存储控制器是对象存储系统的核心部件,是对象存储系统性能发挥的关键。介绍了一种新型的基于SOC的对象存储控制器的设计和实现。测试结果表明,设计的对象存储控制器在性能、可靠性、成本和功耗方面都具有巨大优势。最后介绍了几种正在研究的对象存储控制器的并行优化方法。

对象存储系统中属性管理方法研究与实现

在对象存储系统中,对象属性用于描述数据特征以及安全策略.系统性能的改善可以通过对象属性的合理管理来实现.目前,属性存放在固定大小的数据结构中,这与属性的可扩展性相违背.针对现有对象属性放置与管理方法的不足,提出了对象属性基于扩展Hash的管理方法,以及属性的放置策略、缓冲策略.通过分析仿真测试的结果,发现在处理大量属性操作时,对象文件系统性能退化很严重.但是,用扩展Hash方法进行属性管理时,系统性能不退化,比对象文件系统更具优势.

基于对象存储的新型网络GIS体系结构研究

提出了一种基于对象存储的网络地理信息系统体系结构,该体系结构由应用层、服务层、传输层和存储层组成,用服务器集群技术解决服务器提供服务的网络带宽瓶颈,用基于对象存储技术解决分布式空间数据存储系统的I/O带宽瓶颈。设计并实现了原型系统GlobeSIGht,给出了相关的测试结果。

基于对象存储的海量空间数据存储与管理

提出了一种基于对象存储的空间对象集群存储系统(geospace object store,GOS),为空间数据的存储与管理提供了一种新的解决方法。在GOS系统中,实现了在逻辑层对面向对象空间数据模型的支持,使得数据模型映射得到简化。同时,对象存储本身具有的并行性使得系统具有并行的查询处理功能,使得空间数据查询处理这一计算密集型操作在GOS中得到很好的解决。

对象存储系统中的柔性对象分布策略

为了使对象存储系统在处理不同大小文件时兼顾并行性和负载均衡,提出一种能够结合哈希算法和分片算法的优点,同时尽量避免其缺点的柔性分布算法.柔性分布算法将大小文件的边界值界定为512 Kbyte,小文件直接映射成一个对象并使用哈希策略映射到一个设备中;大文件分割成多个对象,分别放置在不同的设备里.实验结果显示:柔性分布算法在不同规模的系统中开销最小,且性能受设备数增加的影响较小.

基于对象存储的分布式GIS数据安全机制(英文)

根据OSD-2标准,提出一种安全机制来保证基于对象存储的分布式GIS空间数据的安全。在本安全机制中,采用的安全模型是基于信任状的访问控制系统,主要由OSD设备、安全管理器、策略/存储管理器和GIS服务器组成。该安全机制主要包含3个协议:GIS服务器-安全管理器协议、安全管理器-OSD设备协议和GIS服务器-OSD设备协议。命令的传输和数据的访问都要进行认证。这3个协议有效预防了各种网络攻击手段的攻击,保证了分布式GIS空间数据的安全共享。

基于对象存储的新型元数据管理策略

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。

基于角色访问控制的对象存储安全认证机制

提出了一种用于基于对象存储系统(OBS)的安全认证机制——RACOS,它采用基于角色的访问控制,保证了系统中客户对OBS中对象访问的合法性以及数据的完整性,通过在系统中设置专用安全管理器减轻了文件服务器的负担。同时,安全管理器和对象存储设备(OSD)之间使用经过改进的简单密钥交换协议(SAKA)来设置和更新共享密钥,降低了系统对通信信道安全性能的要求。

基于对象存储系统的动态负载均衡算法

负载均衡是大规模基于对象存储系统必须要考虑的重要问题。本文为此以系统总响应时间为代价函数,以对象被访问频率为依据,建立了一种将对象复制与对象迁移统一在内的动态负载均衡模型,并充分利用存储设备的智能实现系统的动态负载均衡。仿真结果表明,在存在大量热点访问和对象分布不均匀的情况下,启用对象复制和对象迁移的负载均衡算法能最大程度地减少系统的平均总响应时间。

基于对象存储系统的对象文件系统设计

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s.