面向状态可变数据流的集群调度综述

状态可变数据流(Mutable States Data Flow,MS-DF)是机器学习系统运行时的主要特征,MS-DF可由有向图来表示,其顶点由算子构成,表示机器学习运算逻辑;边代表算子之间的输入输出依赖关系.MS-DF的集群调度是保障机器学习系统高效运行的主要工作,如何高效进行MS-DF的集群调度已经成为机器学习的研究热点.其中,机器学习系统(TensorFlow、PyTorch等)作为中间层解耦了机器学习运算逻辑和资源分配(CPU,GPU,FGPA),从而机器学习无需再“独占式”静态绑定资源,而是由机器学习系统运行时动态管理,而算子是该解耦过程的关键要素,这给MS-DF的集群调度带来了新的挑战,这些挑战主要由算子资源需求刻画的准确性、算子调度决策的适应性和算子调度调整的差异性这三方面导致的.首先介绍算子资源需求的感知、协同两个机制,以克服多种算子组合导致其自身资源需求难以准确刻画的挑战;然后,通过决策约束、决策模型和决策求解来介绍算子调度决策,以应对算子状态频繁变化带来的适应性挑战;接着,介绍迁移、伸缩、挂起恢复等算子调度调整策略,以适用于不同算子状态同步方式带来的差异性挑战.最后,基于上述三个挑战,对近年来的集群调度最新研究成果进行归纳和分析,并展望MS-DF的集群调度,指出算子异构资源需求多层次分析及协同刻画、算子复杂调度约束的灵活定义和发现、学习驱动的算子低成本调度调整技术是其主要发展方向.

基于相似度匹配的微服务故障诊断方法

随着互联网服务的快速发展,分布式的微服务应用逐渐取代传统的单体应用成为互联网应用的主要形式之一.微服务应用在具有可伸缩性、容错性、高可用性等优点的同时,也存在着构建繁琐、部署复杂和维护困难等挑战.面向云计算环境的微服务监测与运维是当前的研究热点,但仍然存在粒度较粗、故障定位不准确等缺点.针对以上问题,本文提出了一种基于模式匹配的微服务故障诊断方法.首先,使用注入代理转发请求流量的方式收集并建模微服务的追踪信息;然后,收集系统正常运行下的状态信息,并通过注入已知故障来收集并刻画故障发生后应用的运行状态;最后,将未知故障的执行追踪信息与已知故障的执行追踪信息相匹配,采用字符串编辑距离衡量相似度以诊断可能的故障原因.实验结果表明,该方法可以有效刻画请求的处理执行追踪信息,以微服务为粒度准确定位应用的故障原因.

面向深度学习训练的内存交换机制综述

随着深度学习技术的快速发展和深入应用,深度学习训练规模持续增大,内存不足已成为影响深度学习可用性的主要瓶颈之一.内存交换机制是应对深度学习训练内存问题的关键技术,该机制利用深度学习训练内存需求的“时变”特征,在专用计算加速设备内存与外部存储之间按需移动数据,通过瞬时内存需求替代累积内存需求,保障深度学习训练任务的运行.对面向深度学习训练的内存交换机制进行综述,以深度学习训练内存需求的时变特征为研究视角,分别针对基于算子运行特征的内存换出机制、基于数据依赖关系的内存换入机制以及效能驱动的联合换出与换入决策等重要研究工作进行了总结分析,并针对该技术领域的发展方向进行了展望.