基于Openstack的高能物理虚拟计算集群系统及应用

高能物理计算是典型的高性能计算的应用,运行时需要大量的CPU资源。如果系统的CPU资源利用率不高,会使得计算效率大大下降。传统的高能物理计算环境资源管理是静态的,很难同时满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源的需求。文中基于Openstack构建的虚拟计算集群系统,实现以CPU核为粒度进行调度作业,根据当前的作业和虚拟资源情况,动态调度资源,大大提高了资源的利用率。首先介绍本系统的相关研究工作,包括KVM虚拟机的测试优化、高能物理作业在虚拟机上的性能测试及高能物理公共服务云IHEPCloud,这些工作进一步表明了高能物理实验的数据分析在虚拟机上的性能是完全可以被接受的;然后详细介绍了虚拟计算集群系统的设计与实现;最后给出虚拟机计算集群在高能物理计算中的实际应用情况,证明了虚拟计算集群系统能很好地满足高能物理的计算需求。

高能物理云平台中的弹性计算资源管理机制

虚拟化技术作为一种新的资源管理技术,正在高能物理领域得到越来越广泛的应用。静态虚拟机集群方式已经逐渐不能满足多作业队列对于计算资源动态的需求。为此,实现了一种云计算环境下面向多作业队列的弹性计算资源管理系统。系统通过高吞吐量计算系统HTCondor运行计算作业,使用开源的云计算平台Openstack管理虚拟计算节点,给出了一种结合虚拟资源配额服务,基于双阈值的弹性资源管理算法,实现资源池整体伸缩,同时设计了二级缓冲池以提高伸缩效率。目前系统已部署在高能所公共服务云IHEPCloud上,实际运行结果表明,当计算资源需求变化时系统能够动态调整各队列虚拟计算节点数量,同时计算资源的CPU利用率相比传统的资源管理方式有显著的提高。

动态可重构众核处理器仿真平台设计

针对众核处理器,提出了一种基于计算资源划分机制的动态可重构技术.该技术以虚拟计算群为核心,设计了基于硬件支持的动态可重构子网划分和动态可重构的Cache一致性协议以及动态在线的计算资源调度算法,并对系统级多核仿真平台Gem 5进行了扩展.同时,采用实际测试结果验证了众核处理器中动态可重构技术的有效性.结果表明,动态可重构技术可以提高众核处理器的资源利用率,实现动态可重构的Cache一致性协议以及单一矩形物理子网覆盖的子网划分机制.

基于OpenStack的虚拟资源调度技术研究

传统的高能物理计算系统基于物理机集群,主要通过Torque、Condor、LSF等资源管理和作业调度系统将作业调度到物理机器上运行,缺少对虚拟化计算的接口支持。我们选取OpenStack作为底层虚拟化平台,设计并实现上层调度系统与OpenStack之间的桥梁,采用推拉结合的作业运行方式,构建虚拟计算集群。