非确定部分有限状态机的一种新的一致性关系及其测试

在系统实际测试过程中,发现非确定部分有限状态机的模型可以方便地描述和刻画许多系统的逻辑行为.但在这种模型下,状态机并非完全接受所有的输入序列,且在某些输入序列上会产生不确定的输出序列,所以,经典的完全确定有限状态机的一致性定义,即被测实现和协议规范等价,不适用于非确定部分有限状态机.本文引入了一种新的一致性定义,并在非确定部分有限状态机下,给出了该一致性定义下完备的测试序列生成方法.

强化学习在虚拟机资源调度中的应用

非统一内存访问(NUMA,Non-Uniform Memory Access)体系结构因其可扩展性而被广泛应用于虚拟化和云计算中。在NUMA系统中,以前的工作主要关注如何通过调度来减少远端内存访问以优化系统性能。然而,共享资源的竞争也是影响虚拟化NUMA系统性能的重要因素之一。针对NUMA架构下由于虚拟机放置而产生的共享资源竞争问题,建立了初始虚拟机放置模型,针对该模型提出了一种基于强化学习的算法Post来求解。实验结果表明,该算法能够有效地降低执行时间,在准确率上优于传统的基于策略优化算法,可以达到提升系统性能的目的。

在线机器学习在数据中心节能中的应用

为了解决模块化数据中心节能问题,该文提出了基于在线机器学习算法的空调控制策略。通过构建双网络结构,将相乘的动作空间转化为相加的动作空间,极大的缩小了动作空间的大小,加快了模型的收敛速度。另外,结合在线机器学习算法中的监督学习和强化学习算法生成不同的模型,通过对比实验结果,选择效果最稳定的监督学习作为最终的实施方案。实验结果表明,通过对比算法在两种不同的模拟器环境以及真实测试环境中的运行结果,基于监督学习的在线机器学习算法可以在保证设备安全的前提下将模块化数据中心的电能使用效率降低到1.26以下。和Li等人使用的深度确定性策略梯度方法相比,在冷通道温度降低了17%的情况下,PUE降低了4%~6%。

基于在线学习的数据中心节能方案设计

近年来,随着计算机互联网等技术的迅速发展,与之对应的数据中心等基础设施的功耗也在持续增长。在数据中心耗能中,冷却系统的耗能占比甚至达到了30%。为了对数据中心冷却控制系统进行优化,提出一种基于在线学习的优化方案,采用基于高斯过程的多摇臂赌博机模型在线决策数据中心的空调开启台数以及采用XGBoost回归模型实时决策空调的设置温度。合适的空调设置可提升冷却系统效率,从而降低冷却系统的能源消耗。这一方案使用两个机器学习模型将空调设置的决策空间解耦,将决策空间缩小近十倍,加快收敛速度,并能根据环境的变化自动调整决策。