基于YARN资源调度器的MapReduce作业数调节方法

YARN是Hadoop的一个分布式的资源管理系统,用来提高分布式集群的内存、I/O、网络、磁盘等资源的利用率.然而,YARN的配置参数众多,要对其人工调优并获得最佳的性能费时费力.本文在现有的YARN资源调度器的基础上,结合了一种闭环反馈控制方法,可在集群运行状态下动态地对MapReduce(MR)作业数进行优化,省去了人工调整参数的过程.实验表明,在YARN的容量调度器和公平调度器的基础上使用该方法,相比于默认配置,MR作业完成时间分别减少53%和14%左右.

基于蚁群算法的Hadoop资源感知调度器研究

通过研究蚁群算法,针对现有Hadoop调度器的不足,提出一个基于蚁群算法的Hadoop资源感知调度器及其具体实现方案。从而使Hadoop作业调度器可以更有效地对任务进行分配,提高整体架构的作业性能。通过实验证明,利用蚁群算法实现的资源感知调度器在同构环境中虽没有明显改善系统计算速度,但是在异构环境中可以很好提高系统处理任务的性能,降低了运算时间。

制造网格中资源管理与调度系统的研究

为解决制造网格 (MG)中资源管理与调度问题 ,本文开发了制造网格信息服务 (MGIS)和制造网格资源调度器 (MGRS) ,建立了制造网格资源管理与调度系统。其中 ,MGIS通过集成Globus提供的检测查询服务 (MDS)和各种制造资源封装模板实现了资源的远程封装、注册、发现和监控管理 ,而MGRS实现了全局工艺规划 (GPP)分析、资源发现、资源选择、资源匹配以及容错处理等基于TQCS(时间、质量、成本、服务 )的资源调度功能。最后 ,本文通过建立应用原型说明了该系统的实际应用过程。

主资源公平调度算法在YARN中应用研究

Apache Hadoop YARN是一种新的通用的Hadoop资源管理器,是在Mapreduce1的基础上发展起来的,该引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。为此,文章在分析了Hadoop YARN计算框架的基本结构和工作流程,重点研究了Hadoop YARN中的多资源分配机制,尤其是主资源公平调度算法(Dominant Resource Fairness,DRF)在YARN中的应用。

动态标签匹配DLMS调度器设计与实现

针对Hadoop集群节点性能差异大、资源分配随机、执行时间过长的问题,提出一种将节点性能标签(简称节点标签)和作业类别标签(简称作业标签)进行动态匹配的调度器。节点初始分类并赋予原始节点标签,节点检测自身性能指标生成动态节点标签,作业根据部分运行信息进行分类并生成作业标签,资源调度器将节点资源分配给对应标签的作业。实验结果表明,相对于YARN中自带的调度器,其在作业执行时间上有很大缩短。

旅游物流多资源高效协同调度算法的研究与仿真

提出了一种基于多资源公平调度器MFS和多资源负载均衡算法RLBA的多资源调度算法,应用于旅游资源的调度中,采用MFS实现用户和物流活动两方面资源的公平调度,依据需求向量资源的大小给物流活动分配合理的资源,运用RLBA将物流活动资源划分成不同的类型,将资源任务分配到轻载物流活动上,中、重载物流活动的负载不会增加,确保总体旅游物流系统资源的负载均衡。实验结果说明,该算法的收敛速率远远大于自适应遗传算法和混合遗传算法,该算法具有较高的搜索概率、较低的平均迭代次数和平均响应时间,能够实现对旅游物流多资源的快速准确的调度,具有较高的应用价值。

基于优先级权重的Hadoop YARN调度算法

为解决Hadoop现有调度器调度任务时不能根据任务的紧迫程度分配资源的问题,研究YARN中的资源调度机制,改进原调度器(Capacity Scheduler),提出一种基于优先级权重的Hadoop YARN(Yet Another Resource Negotiator)调度算法(Weight Scheduler Based on Priority)。为叶子队列设置队列优先级,结合队列资源利用率和队列优先级选择队列;将应用程序的初始权重设置为应用程序优先级的大小,通过等待时间判断是否更新权重,根据权重对队列中的应用程序进行排序,调度时优先为权重高的应用程序分配资源。实验结果表明,与原有调度算法相比,改进算法平均任务执行时间约减少141 s,平均等待时间减少34.5%,保证了用户执行任务的相对公平,提高了用户总体满意度。