基于需求预测的PaaS平台资源分配方法

针对缺乏PaaS平台下资源需求的有效预测与优化分配的问题,提出一种资源需求预测模型和分配方法。首先,根据PaaS平台中应用对资源需求的周期性来对资源序列进行切分,并在短期预测的基础上结合应用的多周期性特征,利用多元回归算法建立综合的预测模型。然后,基于MapReduce架构设计实现了一个Master-Slave模式的PaaS平台资源分配系统。最后,结合当前任务请求和资源需求预测结果进行资源分配。实验结果表明,采用该资源需求预测模型和分配方法后,相比于自回归模型和指数平滑算法,平均绝对百分比误差分别下降8.71个百分点和2.07个百分点,均方根误差分别下降2.01个百分点和0.46个百分点。所提预测模型的预测结果不仅误差小,与真实值的拟合程度也较高,而且利用较小的时间开销就可以获得较高的准确度。此外,使用该预测模型的PaaS平台的资源请求的平均等待时间有了明显的下降。

基于Yarn的资源调度算法研究

为了能对Hadoop集群中的资源进行合理的分配,提高集群上作业的执行效率,本文研究设计了基于Yarn的资源调度算法。首先,分析了Hadoop集群中作业执行和资源分配的特点。其次,建立多元回归模型对集群中服务器节点处理任务的性能进行评估,并利用改进的蚁群算法搜索最佳的资源分配策略。最后,对比实验表明,本文提出的基于Yarn的资源调度算法具有更快的任务执行时间和更高的资源利用率。