基于节点集计算能力差异的Hadoop自适应任务调度算法

针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。

一种环境因素敏感的WebServiceQoS监控方法

面向服务系统的执行能力依赖第三方提供的服务,在复杂多变的网络环境中,这种依赖会带来服务质量(QoS)的不确定性.而QoS是衡量第三方服务质量的重要标准,因此,有效监控QoS是对Web服务实现质量控制的必要过程.现有监控方法都未考虑环境因素的影响,比如服务器位置、用户使用服务的位置和使用时间段负载等,而这些影响在实际监控中是存在的,忽略环境因素会导致监控结果与实际结果有悖.针对这一问题,提出了一种基于加权朴素贝叶斯算法w BSRM(weightednaive Bayes running monitoring)的Web Service QoS监控方法.受机器学习分类方法的启发,通过TF-IDF(term frequency-inverse document frequency)算法计算环境因素的影响,通过对部分样本进行学习,构建加权朴素贝叶斯分类器.将监控结果分类,满足QoS标准为c_0,不满足QoS标准为c_1,监控时调用分类器得到c_0和c_1的后验概率之比,对比值进行分析,可得监控结果满足QoS属性标准、不满足QoS属性标准和不能判断这3种情况.在网络开源数据以及随机数据集上的实验结果表明:利用TF-IDF算法能够准确地估算环境因子权值,通过加权朴素贝叶斯分类器,能够更好地监控QoS,效率显著优于现有方法.