基于Chord算法的可扩展高性能元数据存储环设计

Hazel Nut是一个基于块的分级存储系统,为满足该系统元数据内存需求量大、访问速度快、动态可增长的要求,设计并实现一种可扩展高性能的元数据存储环SCRing。SCRing由元数据存储环shell ring、映射环chord ring和缓存表组成,shell ring与chord ring分别用于存储与定位数据块元数据信息,缓存表用于缓存数据块元数据在内存中的位置。通过消息摘要算法计算得到SCRing双环节点间的映射关系。依据SCRing对消息摘要算法的实际需求,结合Linux内核版本,测试并比较Linux内核支持的消息摘要算法的速度、均匀性和稳定性,得出SCRing所应采用的算法种类和使用模式,并在此基础上对SCRing读写性能进行验证,结果表明SCRing具备可扩展性和高性能,满足Hazel Nut系统元数据访问需求。

面向应用的虚拟桌面网格架构

针对桌面网格中出现的应用部署难、作业结果差异大、系统可扩展性差等问题,基于虚拟化技术提出一种桌面网格架构。利用虚化技术的隔离性和封装性,通过面向应用的作业调度策略以及有限生命周期的虚拟机控制方式,实现一个易于扩展且易于部署的桌面网格架构。分析及测试结果表明,该架构适用于大规模应用场景,架构中所采用的面向应用的调度策略以及虚拟机控制方式是有效可行的。

基于桌面网格技术的高能物理计算系统

针对传统的集群计算资源无法满足高能物理计算中对于海量数据处理的需求,基于桌面网格技术提出一种新型高能物理计算系统。该系统通过虚拟化技术,实现高能物理计算在桌面网格上的应用部署,并且设计镜像元数据服务进行远程镜像库管理。根据高能物理计算的特点,实现以DIRAC,BOINC,3G-bridge为基础的新型桌面高能物理计算系统。系统以BOINC计算服务为基本框架,3G-bridge处理作业请求,DIRAC提交计算作业。测试与分析结果表明,该系统能对高能物理作业提供稳定高效的计算服务,计算结果可靠,具有高可扩展性。

桌面网格环境下虚拟化技术的应用研究

桌面网格是典型的异构计算资源环境,而虚拟化技术具有良好的封装性及隔离性,能整合异构资源并屏蔽不同操作系统的差异。为此,基于VirtualBox虚拟机实现桌面网格系统。对虚拟机运行环境的配置参数进行测试,设计实现自适应内存配置模块。分析作业运行不同阶段硬盘I/O、带宽I/O等性能差异对作业运行效率的影响,并针对镜像多样性及虚拟机启动与带宽造成的损耗,设计远程镜像库及动态作业文件系统,实现虚拟机的多样性选择及作业运行环境的动态部署,同时使用缓存服务弥补因使用虚拟机所造成的损耗。应用结果表明,该系统能够较好地满足高能物理计算的需求。

支持多应用的桌面网格关键技术研究

针对基于多应用的计算需求及桌面网格设计中的主要技术问题,设计了桌面网格架构六层模型,并介绍了关键技术以及具体的实现方法,目的是解决在设计桌面网格架构时所面临的应用部署慢、整合异构计算资源难、作业调度模型少及扩展性差等问题,具体的实现方法包括采用多种通信模块,能够整合不同的计算资源访问系统;通过使用代理作业模块实现作业实例的转换的方法;采用文件系统及镜像服务,实现面向不同应用的作业环境及镜像需求;基于虚拟化技术实现异构计算资源的整合;针对不同应用类型的差异性,开发了通用控制程序组件;面向不同应用类型需求,实现的多种调度模型。基于这些方法实现了支持多应用的桌面网格系统,分析测试结果表明,这些方法可行并具备通用性。

多核平台上的BESⅢ离线数据并行处理

基于已完成重大升级改造的北京正负电子对撞机(BEPCII)和北京谱仪(BESIII)的数据分析工作正在全面展开。作为数据分析的基础和关键的BESIII离线物理软件,它的性能决定着数据分析的进度和结果。针对BESIII实验物理数据的并行计算处理,在多核CPU硬件结构基础上,采用多进程编程技术进而实现文件级别的多进程BESIII离线数据并行处理。性能测试表明多进程并行处理可以减少资源消耗而且能够有效地提高数据分析的运算速度,从而为BESIII实验早出快出高质量的物理成果奠定坚实的基础。