Map任务对分片网络资源调度的弊端与改进

对分片网络资源进行调度,在提高网络资源管理方面具有重要意义。传统的调度方法采用多路复用的分片网络资源调度,由于对路径进行重复使用,使得路径特征发生动态性变化,导致网络资源调度时间长,准确率低。提出基于子序列模糊决策Map任务的分片网络资源调度方法,构建分片网络资源数据分布结构模型,对资源数据进行融合再分解,获取解密资源,并对动态资源数据的接收点进行逻辑编码,获取资源数据特征,再依据数据特征对资源进行分配。仿真实验结果表明,采用改进的算法对分片网络资源进行调度,所需调度时间短、准确率高。

大数据挖掘中的MapReduce并行聚类优化算法研究

针对传统数据挖掘算法只适用于小规模数据挖掘处理,由于数据规模不断增大,其存在计算效率低、内存不足等问题,文中将MapReduce用于数据挖掘领域,对大数据挖掘中的MapReduce进行了并行化改进,并设计相应的并行化实现模型,以期满足大数据分析需求,完成低成本、高性能的数据并行挖掘与处理。

一种Hadoop异构集群下提高数据本地性的分发算法

Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。