基于虚拟化的GPU异构资源池平台架构设计、关键技术及应用研究

人工智能算力资源面临价格高昂、市场断供等现状问题,传统的单卡单用模式导致资源利用率和使用效率低下,现有的技术研究手段难以支撑多元异构图形处理单元(graphics processing unit,GPU)资源的高效管理和调度。基于此,提出一种基于虚拟化的GPU异构资源池平台,首先对平台总体架构、逻辑架构和功能架构进行了规划设计;其次,对关键技术进行研究,提出了虚拟化异构GPU资源池框架和基于时间切片+负载均衡的调度模型;最后,基于所提方法,提出了多业务单卡叠加、交叉拉远、跨机整合、混合部署和时分复用等多种创新应用模式。所提方法为企业级AI应用提供了可兼容多个GPU不同厂商、支持远程访问、可灵活切分和聚合、可弹性调度的GPU算力资源。经测算分析,同等开发和训练量下,GPU卡数量可节省60%、运行效率可提升4倍。

GPU虚拟化相关技术及研究

传统的GPU资源分配方法,随着云游戏的兴起,在当今的数据中心被广泛采用,它只关注服务器端功能,而忽略了客户端,这浪费了硬件资源。为了解决这个问题,提出了云边缘集成架构,并将一些工作负载留给客户端。然而,许多云边缘集成框架存在一个大问题:共享资源干扰。其原因有两个:(a)单客户端资源过度使用导致的GPU资源竞赛;(b)客户端间资源短缺导致的CPU资源竞争。文章阐述了GPU虚拟化的方法和资源池的方法和框架,可为GPU虚拟化技术应用提供参考。