算力服务原生技术体系架构研究与实践

当前,计算服务形态由最初的云服务向算力服务演进,异构算力的广泛应用带来了软件层面以及硬件、芯片层面新的技术问题。文章分析了算力技术的发展趋势及当前应用多样化下异构算力发展面临的挑战,首次提出了算力服务原生技术体系,并阐述了算力服务原生的定义内涵、功能需求、总体架构等技术特征,最后通过算力服务原生体系原型部署以及业务验证,实现“代码即服务”“算力即服务”的目标,解决异构算力代码不通用、算力服务化成本高等问题,提高算力在各类场景下的应用效率。

基于云原生服务网格的AI模型部署方案

人工智能模型训练完成后并不适合直接运行在互联网生产环境,需要对其进行一定的封装和部署。探讨基于容器和云原生服务网格对AI模型进行自动封装和部署,以微服务形式对外提供Restful API,能够提高模型的兼容性和部署灵活性。封装过程采用适用多框架的通用AI模型代码打包方法,解决AI模型运行环境配置问题;通过部署在云原生平台由服务网格进行管理,实现AI模型从实验室开发到互联网生产环境高效应用的自动化实时流转。