PVFS元数据服务器的并行化设计与实现

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。

智能决策系统中模型服务器的设计与实现

该文基于从定性到定量综合集成 (MetaSynthesis)的思想 ,在XOD(XOnDemand)应用体系结构中 ,为满足决策系统中按需仿真的需要 ,建立了SOD(SimulationOnDemand)模型服务体系 ,提出了模型服务器的概念 ,分析了综合集成环境中模型服务器的功能和作用 ,同时 ,论述了模型服务器的内涵、组成。基于广域网应用环境 ,对模型服务器的结构进行了设计 ,并建立了SOD模型服务器工作机制 ,完成了模型服务器中数据转换功能。

PVFS代码结构及并行Meta服务研究

PVFS(ParallelVirtualFileSystem)广泛应用于PC集群并行计算环境中,通过ROMIO形式的MPI-IO接口与MPICH结合,用于提高数据文件的访问性能,通过对PVFS的源代码分析,得出PVFS的系统架构、运行机制与采用的策略,并在这个基础上找出元数据服务器并行化的可行性,以设计出并行元数据服务方案来提高元数据访问的吞吐率。

一种新的高效普适元服务分配方法研究

为了解决基于SOA架构的服务分配方法无法应用于普适环境中服务分配过程的问题,文章给出了普适元服务及相关概念的形式化定义,提出了一个具有动态规划和前向纠错能力的普适元服务分配方法(PMSA方法)。实验表明,该方法由于加入了向前纠错的机制,比基于标准动态规划的分配方法访问元服务的次数大大减少,在普适环境中具有较好的稳定性和扩展性的同时,有效提高执行的效率。

YHCDE协同设计环境中的数据管理技术

数据管理系统是ＣＡＤ协同设计环境核心系统之一．文中介绍了基于Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ的ＹＨＣＤＥＣＡＤ协同设计环境中的数据管理关键技术，着重介绍了数据的模型结构和组织、数据库设计、版本管理、配置管理、数据安全性及一致性控制等内容．最后对系统实际应用效果进行了评价．

基于ORACLE10G AS的数字化校园用户权限管理研究

权限管理是数字化校园统一身份认证的基础,用于实现统一身份平台下所有业务系统的用户权限配置。采用基于ORACLE10G应用服务器的角色权限访问控制机制,设计各业务系统的权限分配策略,实现应用系统单点登录功能,以解决数字校园中用户身份组织零乱、交叉权限管理无法定义和应用系统出口多样性等问题。

基于Python的网管软件技术体系设计

针对C/C++在网管开发中效率低下、维护和调试成本高的问题,提出采用动态语言Python所组成的轻量级开发架构。在介绍Python的动态类型系统及其元编程能力的基础上,给出在B/S架构的网管软件中设备监控、Web开发、ORM等技术选择:利用Python的数据结构来对二进制流格式进行描述,程序可以自动地在二进制流和JSON结构间进行双向转换。基于Flask的微Web框架,简单易用扩展,有着丰富的插件,支持服务器推送事件。SQLAlchemy作为Python中对象关系建模的事实标准,使得开发人员从各种数据库的差异中解脱出来。项目实践表明基于Python的实现代码简洁,可读性更强,具有快速开发优势。

基于对象存储文件系统研究综述

网络数据信息爆炸性的增长，使网络存储技术变得越来越重要，已成为Interne汲其相关行业进一步发展的关键。近年来，存储技术的发展日新月异，已经由后台走到了前台，从而引发了数字技术的第三次浪潮。本文结合网络存储研究现状，将介绍一些热点网络存储技术及其新进展。

DCFS机群文件系统服务器组关键技术研究

在客户机/元数据服务器/存储服务器结构的机群文件系统中,元数据服务器和存储服务器的设计和实现对整个机群文件系统的性能有重要的影响。文章给出了曙光LINUX超级服务器机群文件系统DCFS元数据服务器和存储服务器的设计和实现的方法,测试结果表明DCFS机群文件系统服务器组的设计是可行的。

浅析如何加强搜索引擎与Web挖掘

本文主要是关于搜索引擎与Web挖掘方面数据源的探讨。随着互联网的发展、信息量的巨增,搜索引擎显露出种种缺陷,产生了Web挖掘,之后引出工作性能低下等问题。于是,作者提出基于搜索引擎的Web挖掘和基于Web日志文件的数据仓库等解决方案,最后探讨了一个更为彻底的、有希望的元数据服务器的框架。

单一系统映象机群文件系统可扩展元数据服务器的设计与实现

文章介绍了曙光3000超级服务器机群文件系统COSMOS中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,并给出了实现方案及系统性能的测试模型和测试结果。

蓝鲸元数据服务器集群的细粒度负载迁移

大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响.

基于iSCSI的对象存储系统的研究与设计

对象存储系统已经成为分布式存储系统领域的研究热点,它在可扩展性、安全性、高效性以及性能上较传统的SAN和NAS等存储体系结构有很大改进。采用较为成熟的iSCSI架构,可以开发出实用的iSCSI对象存储系统。