基于互联云及多云的云化基础设施算力调度

【目的】“东数西算”工程从国家层面启动了全国一体化大数据中心体系的规划和建设,跨算力服务商的大规模算力服务调度成为重要的研究议题。【应用背景】本文适用于多个大型云服务商协同提供组合算力服务。【方法】本文提出了基于多云及互联云的云化基础设施算力调度参考架构并给出了相关关键技术及应用示例。【结果】本参考架构可以基于服务商合作关系的数据模型,实现屏蔽异构云化基础设施算力资源的自动化部署。【局限】真实场景中的云际互联关系更为复杂,数据模型的设计仍面临许多挑战。【结论】基于多云及互联云的云化基础设施算力调度可以作为“东数西算”全国一体化算力调度的重要技术选择之一。

模型驱动的高性能计算集群配置管理

高性能计算集群是求解大型计算问题的关键基础设施,不当的配置会降低集群的计算能效。面对规模日益增大集群,传统“命令式”配置方法难以快速准确地完成配置。为解决这个问题,借鉴“基础设施即代码”的思想,基于Puppet构建了一套面向高性能计算集群的配置管理方法。这套方法侧重描述集群的配置模型,借助git版本控制系统追溯模型变更,由模型驱动Puppet实施具体的配置操作。这套方法成功管理了节点数超过1000的高性能计算集群,不仅将在线配置、离线配置、部署整个集群所需时间分别缩短到5 min、20 min、1 d,还提供了传统方法无法实现的变更追溯、测试环境隔离等特性,极大提高了管理员的工作效率。

多环境下的CI/CD自动化集成部署设计

介绍如何基于GitLab的Pipeline来实现代码的持续集成和持续交付部署(CI/CD),以及使用Terraform来实现基础设施的自动化创建,实现基础设施即代码(IaC)。在软件开发过程中,一般会有不同的部署环境,例如开发环境、集成环境、预览环境和产品环境,通过使用一套Terraform代码实现不同环境的基础设施创建。设计实现基于不同环境的微服务自动化持续集成和持续部署方案,微服务在部署时从基础设施中获取相应的资源信息,实现微服务的CI/CD完全自动化,轻松管理和控制服务代码的改动以及基础设施的变动方便地应用到不同的环境当中,极大地提高软件开发和服务部署的效率。