面向多应用混部的性能保障方法综述

数据中心的高投入和低资源利用率一直是云服务提供商关注的问题.面对这个难题,直接的解决方案是在同等资源上混合部署更多的应用以提高资源使用效率.然而,由于混部应用对共享资源的竞争导致了应用间的性能干扰,从而影响了应用的性能、服务质量(quality of service,QoS)和用户满意度,因此如何保障应用的性能已成为混部场景下的关键问题.着重从应用和集群特征分析(基础)、干扰检测(前提)、单节点资源分配(微观层面策略)和集群作业调度(宏观层面策略)4个方面阐述多应用混部性能保障的相关背景、挑战和关键技术.在不同的混部场景下,由于应用和集群特征等不同,性能保障工作所面临的挑战和问题复杂度也各异,例如单位资源上混合部署的应用数量会直接影响到搜索资源空间的时间开销,应用的运行方式会影响到共享资源的竞争强度.因此,从问题复杂度角度出发,从应用和集群特征、资源干扰维度和混部应用个数3个维度对相关研究工作面临的挑战进行讨论和分析.探讨了面向高密度混部场景应用性能保障方法的发展方向和挑战,认为全栈式的软硬件协同方法是保障高密度混部下应用性能的趋势,该方法有助于全面地提升应用性能的可靠性和数据中心的资源利用率.

面向高密度混部的动态资源分配方法

当前的无服务计算提供商采用了一种灵活度低、固定CPU和内存分配比例的耦合式资源分配策略.随着更多类型应用被部署在无服务计算平台中,该策略已无法满足函数应用的多样化资源需求.由于函数应用的资源分配粒度小、部署密度高,若将CPU与内存资源的分配进行解耦,需解决资源配置空间爆炸问题.提出Semi-Share,一个面向无服务计算的解耦式资源管理系统,为函数寻找最优资源配置的同时降低混部函数之间的干扰.为解决资源配置空间爆炸问题,Semi-Share构建了一个2层资源分配架构,将资源配置空间划分为多个子空间来降低问题复杂度.第1层是函数分组,基于函数的资源使用特征和历史负载信息进行函数分组,根据分组将资源配置空间划分为多个子空间.第2层是资源分配,利用贝叶斯优化和加权打分函数来指导模型在资源配置空间中朝正确的方向搜索,降低时间开销.实验结果显示,Semi-Share相较于被广泛使用的梯度下降搜索法降低了平均85.77%的时间开销,并为函数带来平均42.72%的性能提升;与同样使用贝叶斯优化的耦合式资源分配系统COSE相比,Semi-Share能带来平均32.25%的性能提升.

面向混部云失败批处理作业的预测算法

为了降低混部云失败批处理作业的风险,使用K-means聚类算法将批处理作业分为四类,在分类的基础上提出了二层嵌套分类模型(two-layer nested classification model,TLNM),实现了基于TLNM的预测算法。基于Ali Trace 2018数据集上的实验结果表明,该算法的接受者操作特性(receiver operating characteristic,ROC)曲线明显优于其他常用分类器,ROC曲线下面积(即AUC)可以达到0.978,表明该算法具有良好的分类性能。同时召回率可以达到0.951,通过混淆矩阵可以看出TLNM算法能够准确预测出执行失败的批处理作业。

混部集群资源利用分析

现代互联网数据中心的规模随应用服务需求的增长而越来越大,但数据中心资源利用率低已逐步成为云计算进一步发展的制约因素.为了提高数据中心的资源利用率,云服务提供商将在线服务和离线批处理作业混合部署到同一个生产集群中.但混合部署增加了数据中心管理系统复杂性,对数据中心系统调度和工作负载分配提出了新的挑战.本文从资源使用角度出发,统计分析了阿里巴巴最新发布的包含4034台机器长达8天的混部集群日志数据集,刻画了机器对离线批处理任务与在线服务容器资源分配策略,以及离线批处理作业与在线服务之间的相互干扰.并根据不同的负载特征,以多种方式对机器进行分类,研究机器分工对集群效率提升的意义.通过分析阿里巴巴集群日志数据集,我们发现:(1)集群中43.271%的机器存在容器对CPU核心“超订”现象,而内存不存在“超订”现象;(2)集群中存在“备用节点”,确保集群出现故障时,任务能及时被转移到“备用节点”继续执行;(3)延迟敏感的在线任务的CPU利用率较低,但对内存资源的需求比较高,而离线批处理作业的CPU利用率较高,在线任务和离线任务的资源占用互补;(4)混合部署显著提高了CPU利用率,而内存可能是限制集群性能的主要因素;(5)集群中容器分布存在不平衡性;(6)离线任务的混合部署导致容器内存利用率有所下降,且当在线服务资源需求激增时,调度器缺少一定的容错性和健壮性;(7)离线任务如何部署与容器当前性能紧密相关,尤其是容器CPI指标,与离线任务部署呈现显著相关性.本文对集群负载特性、资源使用及离线和在线任务相互干扰进行研究,有助于其他研究人员对集群系统调度和负载分配分析优化,以提高现代数据中心的资源利用率.

混部数据中心负载特征及其任务调度优化分析

随着现代互联网数据中心的规模越来越大,数据中心面临着能耗、可靠性、可管理性与可扩展性等方面的挑战。同时,数据中心承载的服务多样,既有在线Web服务,也有离线批处理任务。在线任务要求较低的延迟,而离线任务要求较高的吞吐量。为了提高服务器利用率,降低数据中心能耗,当前数据中心往往将在线任务和离线任务混合部署到同一个计算集群中。在混部场景下,如何同时满足在线和离线任务的不同要求,是目前面临的关键挑战。分析了阿里巴巴于2018年发布的含有4034台服务器的混部计算集群在8天内的日志数据(cluster-trace-v2018),从静态配置信息、动态混部运行状态、离线批处理作业DAG依赖结构等出发,揭示其负载特征,包括任务倾斜与容器部署的相关关系等,根据任务依赖关系与关键路径,提出了相应的任务调度优化策略。

混部负载场景下离线负载资源调度策略研究

混部负载是当前业界提高数据资源利用率的重要手段,其原理是将在线负载和离线负载共同放置于同一数据中心、共享资源,在保证在线负载服务质量的前提下,将空闲资源分配给离线负载。当前针对混部负载中离线负载的资源调度采用传统的公平或者短作业优先等策略,并未考虑在线负载资源需求波动对离线负载运行的影响。为了达到进一步提升资源利用率和作业吞吐率的目的,提出基于负载完成时间预判的模拟退火资源分配策略。结果表明,该策略比公平策略和短作业优先策略在平均资源利用率上分别提高了7.8%和15.5%,在吞吐率上分别提高了38.2%和29.1%。

论宋代部色体系

"部",即乐部制度,"色",即"执色"体系。宋代的部色体系经历了"教坊四部"、"四部合一与执色的设置"以及"教坊十三色"三个阶段。本文详细考证这一历史进程中宋代部色体系的名实、功能、管理机制以及演变过程,并将部色体系与宋代艺术实践相联系,以探讨宋代部、色体系的功能特征及其转化的深层原因。

从明清郴州桂阳籍诗人用韵考郴州官话韵母特点

搜集并整理明清时期郴州桂阳籍诗人的诗歌韵文,分析古体诗以及赋的韵部混押情况,结合明代韵书《字学元元》俗音,对比《湖南方言调查报告》中1935年记录的郴州各县方音,考证出明清时期郴州官话韵母特点。

从明清常德籍诗人用韵考常德方音韵母特点

广泛搜集并整理明清时期常德籍诗人的诗歌韵文,系联古体诗的韵脚字,分析韵部混押情况,对比民国时期《湖南方言调查报告》常德地区方言,并用今西南官话常德片语音印证,考证出明清常德方音韵母特点:-m尾韵归ty -n尾韵,庚蒸部与真文部韵尾混并为-n;庚蒸部有韵字读成东钟韵,先寒部细音读成真文韵;入声韵消失,归入相应的阴声韵;模虞部韵字大都读成尤侯韵,也有细音读成之微韵;歌戈部开口韵有读成麻佳韵,之微部细音有读成皆哈韵。