多级集群文件系统的全局命名空间的设计与实现

随着存储数据的爆炸性增长和集群技术的快速发展,集群文件系统的研究越来越成为一个焦点,该文设计并实现了一个多级集群文件系统(MCFS)的全局命名空间,MCFS系统采用元数据分层管理思想,建立一个统一的元数据树,从而使整个系统运行在一个松耦合、异构的环境下实现全局命名空间,提高了系统的并行性和可扩展性。在介绍了MCFS命名空间管理的同时,进行了相应的试验测试和性能分析。

基于双数据目录存储的网格元数据的资源发现

提出了基于全局命名的数据网格环境下元数据目录和资源信息目录双目录存储和访问的概念,研究了全局命名的规则,给出了在该命名情况下元数据的注册和存储以及利用这种注册存储如何快速发现远程数据资源。说明了在多网格结点下寻找“对照表”采取时间戳抑制多次重发和导致多次访问数据资源的方法,并指出了“对照表”应采取的热点数据优先、冷僻数据清除的策略。

基于联合文件系统的异构存储融合

海量的音视频数据已成为广播电视节目监测监管的基础性资源,但音视频数据的爆发性增长和与之相对应增加的异构存储设备,打破了以单一存储设备作为集中存储系统的界限。为强化数据服务能力,实现异构存储设备融合成统一的存储资源池,本文在分析网络存储工业协会的存储虚拟化设计规范的基础上,结合实际情况,提出了一种基于联合文件系统虚拟化方式的存储融合。本文考虑了音视频数据存储系统的海量性、集中性和高可用的特点,从全局命名空间、数据均衡和数据一致性等角度,通过实验验证了所设计的异构存储融合方案的可行性。

支持EB级存储的元数据服务器集群系统

随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支持EB级存储的蓝鲸元数据服务器集群技术.首先分析了支持EB级与PB级存储的元数据服务器集群系统的区别;然后介绍了蓝鲸元数据服务器集群原型系统的整体架构及其全局命名空间的分布策略;之后介绍了基于分布式日志的一致性元数据原子操作协议,和细粒度、低延时的元数据负载迁移两项关键技术;最后进行了测试.结果显示,集群系统中每台元数据服务器均可为EB级存储系统提供超过10000 OPS的元数据操作支持.