基于节点实时负载的开源大数据负载均衡优化算法

为保证网络访问稳定,减少资源浪费,提出了基于节点实时负载的开源大数据负载均衡优化算法。建立开源大数据节点计算能力模型,按照节点负载大小及时反馈和调整,根据该区域服务器收到的请求数量预测下一步行动,利用指数平滑方法算出每秒服务器请求数量的预测值,完善一阶指数平滑法滞后偏差问题,计算服务器综合负载。在节点上添加一个负载代理和监控器,用于平衡组块的数目和分片节点负载,并将不能删除的分片和组块放入最小单元候选名单,实现负载均衡优化。通过实验证明,所提算法能提高网络资源利用率和负载均衡性,在访问中保证网络更加稳定安全。

基于作业类型和优先级权重的容量调度算法

针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题,进行了Hadoop容量调度算法资源调度机制研究,提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类,将用户提交的作业划分为CPU(central processing unit,中央处理器)负载类型作业和I/O(input/output,输入/输出)负载类型作业,并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级,实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源,从而实现集群性能的提升。结果表明,在异构环境下,相比容量调度算法,本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%,从而有效地提高了作业执行效率和系统的资源利用率。本算法优化了Hadoop系统的负载均衡,可为后续相关调度算法的优化研究提供参考。