GPU集群能耗优化控制模型研究

随着大数据技术的发展,GPU集群作为一种高效的并行系统被应用到大规模数据实时计算中.能量是实时计算时重要的资源,GPU集群的能耗优化及实时消减成为一个具有挑战性的问题.从集群全局角度引入模型预测控制策略,并建立闭环反馈机制的多输入多输出控制器.通过调整计算频率和改变活跃流多处理器来改变能耗状态,利用反馈和滚动优化机制完成对未来的控制预判,实现消减冗余能耗的目标.实验表明:控制模型的精度和节能效果优于基准模型,而且具有较好的稳定性,适合应用到大规模数据实时计算中.

面向MapReduce计算模式的中间数据通信优化

针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;然后,采用朴素贝叶斯分类模型实现分类预测,将历史作业的运行数据作为样本来训练分类模型;最后,根据作业分类预测结果把通信活跃的作业集中映射到同一机架中,通过提高通信局部性来优化性能瓶颈。实验结果表明,所提方案对Shuffle子过程稠密的作业优化效果明显,能够提高4%~5%的计算性能;此外,在多用户运行情况下能降低4.1%中间数据通信延迟。所提方法可有效降低大数据计算过程中的通信延迟,提高异构集群的计算性能。