容器集群GPU资源共享调度优化

在容器集群环境中,整块的物理GPU资源通常只能被单个容器独享调度,存在大量的资源浪费。现有的GPU共享调度方案中仍存在调度失败、资源开销大或没有实现资源隔离的问题,改进的GPU Sharing利用LD_PRELOAD机制有效地实现了GPU显存资源的隔离,并优化了原有的调度算法,极大提高了集群显存资源的利用率。实验结果验证了改进后GPU Sharing在资源隔离实现上的有效性,同时,改进后的GPU Sharing同在物理机上执行应用程序只多了1.008%的额外开销,而且优化后的调度算法提高了53.01%的GPU显存利用率。

基于OpenStack的GPU调度方案的设计与实现

针对GPU在云端利用效率低下和不可靠的问题,文中提出在云端虚拟化GPU的思路,并设计了一种新型可靠的GPU虚拟化方案.该方案使用OpenStack搭建具有IaaS的云平台,通过透传技术在云端虚拟化GPU创建独占GPU设备的虚拟机,同时在控制节点、GPU虚拟机以及用户虚拟机上运行C/S架构的调度程序.云端通过对GPU工作状态和用户请求实现了GPU负载均衡.实验结果表明,该调度方案能够有效地提高GPU在云端的利用率以及稳定性,并且能够为用户提供完整的GPU性能.

基于多GPU的并行BP算法及优化

在语音识别领域,基于深度神经网络(Deep Neural Network,DNN)的声学模型与传统的基于高斯混合模型的声学模型相比具有更出色的识别效果.DNN模型主要使用误差反向传播(Back Propagation,BP)算法进行训练.由于DNN参数规模非常庞大,使用BP算法对其训练是一个异常耗时的过程.目前主要通过高性能的GPU设备对DNN模型的训练训练进行加速.本文探究了BP训练算法在多GPU设备上并行化时所存在的收敛性和带宽问题,并结合NVIDIA Kepler架构的硬件特性提出一种并行优化策略.实验结果表明优化后的算法可以有效增加小mini-batch下的GPU利用率,同时减少数据传输的开销.在相同的mini-batch尺寸下,优化后的算法在4块NVIDIA Tesla K20m设备上与单个NVIDIA Tesla K20m设备相比可以取得高达3.89倍的加速比.