基于logistic回归模型的Hadoop本地任务调度优化算法

当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下。为了优化对本地任务的调度,提出了一种基于机器学习的Hadoop本地任务调度优化算法。选取定义与任务相关的特征向量,然后基于logistic回归模型的机器学习方式得到各向量的作用权值,将任务进行优先级排序,并通过过载规则不断更新模型。通过实验证明,提出的算法在改善map任务的数据本地性的同时,降低了作业运行时间。

一个基于全局竞标机制的网格调度系统

通过对性能驱动型网格调度系统的分析,指出了其不足之处,继而提出并实现了全局调度和本地调度相结合的基于全局竞标机制的网格调度系统。实验证明,该系统能够在用户指定的时间约束内完成作业,并获得较优的执行代价,降低作业的运行成本。