基于Ceph的云存储平台的设计与实现

传统的数据存储方式存在扩展困难、性能低、成本高、管理不便等问题,无法满足企业对海量数据存储的需求,云存储可对此提供更好的解决方案。Ceph是一款具有高可靠性和扩展性的分布式存储系统,可为云存储提供良好的底层存储资源管理服务。文章基于CentOS7系统创建Ceph集群,部署Monitor节点获取集群Map的信息,利用Crush算法请求对应的主OSD数据节点,实现了存储集群的搭建,分别部署了块存储、文件系统存储及对象存储。通过安装CephDashboard模块,利用Web页面监控Ceph集群状态信息,实现了云平台的存储与管理功能,具有较高的应用价值。

基于目录路径的元数据管理方法

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势.

对象存储设备端数据管理策略研究

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统.

基于对象存储系统的对象文件系统设计

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s.

基于策略的对象存储文件系统管理模型研究

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好。

一种OSD文件系统的设计

OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结合空间分配方式的特点提出了一种主动对象数据调整策略。实验表明,该文件系统在管理小型对象时能有效提高读写性能。

模糊一致关系及其应用

提出了一种满足中分传递性的模糊一致关系，从而符合人们决策思维的心理特性。当论域是有限的时候，模糊一致关系可以用模糊一致矩阵来表示。讨论了模糊一致关系的合成运算以及模糊一致关系的建立方法，并简要说明了模糊一致关系在系统评价中的应用。

一种基于对象存储的文件系统的设计

随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题。针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B+树结构设计并实现了一种基于连续块的对象文件系统。对该文件系统进行的测试结果表明,该文件系统的读写效率较高,而且随着文件的增大,性能保持稳定。

网络化自动测试系统的数据模型研究

依据网络化自动测试系统(NATS)存储和查询功能对数据模型的要求,比较扩展关系数据模型、语义数据模型和面向对象数据模型等多媒体数据模型实现方式的优缺点,提出数据库设计的基本框架为静态数据信息采用关系型数据模型,非结构化的多媒体数据信息采用对象-关系模型与文件系统结合的方式,并完成NATS的总体设计。实验结果证明了该框架的有效性。

对象存储并行文件系统小文件性能优化研究

对象存储并行文件系统在高性能计算领域被广泛采用,虽然大文件访问性能优异,但其小文件访问存在局限性。通过分析典型对象存储并行文件系统下的小文件的访问开销,采用服务端小文件专用缓存和基于对象命名关联性预取的方法提高小文件的缓存命中率,降低对象存储架构下小文件的读取延迟。基于Lustre并行文件系统实现了该方法。实际系统测试表明,该方法可显著提高小文件访问性能,其中小文件打包性能提升最大可达88%。

OFFS:基于对象模型的闪存文件系统研究

提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,并避免了垃圾回收时多余的I/O操作,缓解了垃圾回收过程中的数据锁定问题。

分布式文件系统副本一致性检测研究

在大规模分布式文件系统中,副本一致性的实现既需要一致性协议模型的保障,也需要系统能够及时检测出已产生的不一致并予以修复.这里主要研究副本一致性的在线检测技术,全面分析了基于对象存储的大规模分布式文件系统中副本不一致的所有可能情况,深入阐述了在线一致性检测所面临的3个关键问题,即如何减小检测过程对系统性能的影响、保证检测的及时性、以及保证检测的准确性.针对这3个关键问题,总结提出了相应的解决方法.其中,模拟存储状态的方法,减轻了检测过程给系统带来的负荷;预检测的方法,增强了检测出系统不一致错误的及时性;检测静态数据的方法,有效避免了误检和漏检,保证了在线检测的准确性.

基于目标文件的微型系统动态构建技术

描述了一种基于目标文件的微型系统动态构建技术,其基本思想是以封装后目标文件为原料,动态地构建出一个微型系统。其优点是灵活性较强,如可以动态地修改或者升级等等,这在一些嵌入式环境中是非常需要的。文中就C语言目标模块的动态加载进行了阐述,并提出了一套实验性的原型方案。

基于文件等级的Ceph数据冗余存储策略的研究

文章针对Ceph文件系统的可靠性和安全性进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码。完全副本将数据复制成多份进行分散存储,这种方式会降低存储效率并浪费存储空间;而纠删码虽然可以有效利用存储空间,但由于需要对数据进行编码存储,访问数据时需要对其进行解码操作,使得数据的访问效率较低。文章结合这两种容错机制,在Ceph文件系统的基础上,提出了基于文件等级进行冗余存储的策略。该策略提供完全副本和纠删码两种存储方式,用户可以根据文件的等级划分来选择适合的存储方案。该方案确保重要数据具有高安全性,并能有效利用存储空间。

公路工程图文与资料管理系统

图表与文档资料管理是公路建设项目管理中的重要组成部分。从工程管理的角度出发,系统地说明了图文资料管理软件系统的开发思想;以面向对象的开发技术、组件对象模型(COM)、数据库技术和WEB开发技术等为手段,阐述了可扩展的图文资料管理系统的实现方法;基于所述的理论研究成果,开发了公路工程图文与资料管理系统软件,在多条高速公路施工管理项目中得到了应用,有效地实现了项目工程档案的电子化,促进了项目信息化管理水平的提高。

医疗信息系统中的数据库性能优化

医疗信息系统(HIS)数据库具有吞吐量大 ,更新 /插入 /删除操作频繁 ,查询复杂等特点 如何使用有限的计算机系统资源为更多的用户服务 ,如何保证用户的响应速度和服务质量 ,这些问题都是属于数据库性能优化的范畴 以镇江市第一人民医院ORACLE数据库系统为平台 ,首先给出HIS系统数据库性能优化评价指标 ,然后给出初始化文件的配置情况和几种资源争用的判别标志、解决方案 ,以及数据库对象的具体解决步骤 。

基于对象存储的Lustre文件系统的研究

随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点,并针对基于对象存储的Luster文件系统进行了初步测试,通过和传统的NFS文件系统对比,分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。

公路建设项目文档管理系统的软件实现

文档管理是公路建设项目管理中的重要组成部分,文章从工程管理的角度,系统地阐述了文档管理软件系统的开发思想;以及文档管理系统的实现方法。

一种基于属性的对象访问方法

基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一起存储到磁盘中,无论数据对象大小,磁盘访问次数仅为两次,有效地提高了数据访问效率.

SOFS:用于OSD中的智能化的对象文件系统

为了优化基于对象的存储设备(OSD)内对象的存储,该文提出了一种用于OSD中的智能化的对象文件系统SOFS,它是一个文件系统容器,可以包含多种基于不同应用的文件系统,目前包含了两种文件系统:通用对象文件系统和媒体对象文件系统,分别用于存储文档、网页等小对象和大的媒体对象。SOFS在Linux内核中的实现与ext2比较,结果显示,读写普通文档等小对象时,SOFS的性能高出ext2大约10%,而读写大的媒体对象时,效率高出ext230%左右。