改进人工鱼群算法在Hadoop作业调度算法的应用

在分析Hadoop缺省及改进的作业调度算法基础上,引入群智能算法,设计了基于改进人工鱼群算法的Hadoop作业调度算法。采用随机键方式对待分配任务进行编码,以任务总执行时间作为启发函数,并引入吞食行为和跳跃行为改进人工鱼群算法,以达到进一步改善作业调度算法性能的目的。实验结果表明,改进后的人工鱼群作业调度算法在异构环境下可以提高系统性能,降低运行时间。

一种基于资源预取的Hadoop作业调度算法

Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略,并不能保证良好的数据本地性,而相应的改进算法改进目标不一,也不完全适用于所有作业调度场合。针对以上问题,结合数据预取理念提出一种基于资源预取的作业调度算法。通过估算节点上正在运行任务的剩余执行时间,并与传输一个数据块所需时间进行比较,预选出待预取的候选节点;并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务;最后,为该任务在候选节点上预取其所需数据。实验结果表明该改进算法有效地提高了作业的数据本地性,并在一定程度上减少了作业执行时间。

基于学习方式对Hadoop作业调度的改进研究

随着并行计算、分布式计算和网格计算技术的发展,云计算作为一种新的模型被提出来,发展极为迅速。Hadoop作为一个开源的云计算系统,得到了广泛的运用。作业调度是Hadoop平台的核心问题之一,通过对Hadoop中已有调度算法的了解和分析后,基于学习的方式,利用过去的节点历史记录和作业属性来不断地改进作业调度;应用了基于特征加权的朴素贝叶斯分类器算法来改进任务的分配调度,并通过实验进行了验证,结果表明它对任务分配调度执行效率有一定的提高。

基于CHC遗传算法的Hadoop作业调度研究

作业调度是影响Hadoop平台性能的重要因素。基于基本遗传算法(SGA)的作业调度进化代数大、收敛速度慢,且其编码与解码、遗传操作过程中存在过多冗余计算,增加了作业总完成时间。为此,提出一种基于CHC遗传算法的作业调度算法。采用双目标函数的控制方式和最优解保留策略,优化作业总完成时间与平均完成时间,从而加快最优解的收敛速度。实验结果表明,与SGA算法相比,CHC算法在作业调度效率、资源利用率等方面有较大的性能提升。

基于异构集群环境下Hadoop作业调度优化的研究

随着计算机技术的发展与信息化的普及,大规模数据处理已经成为计算机产业界的焦点问题和学术界的研究热点。Hadoop是云计算的分布式开源的实现平台,在大规模数据处理方面有着高容量、低成本等优势,也是一个运行在大型集群之上的并行处理系统。Hadoop云平台上的调度算法是对用户作业进行资源分配和调度执行的程序,它的选择合适与否直接关系到用户作业的执行效率。因此,对Hadoop上作业调度算法的研究和改进优化就显得极为重要。本文通过实验验证作业重调度具有更好的响应时间和吞吐量,具有良好的负载均衡,并且大大提高了Hadoop系统在异构平台上的性能。

求解Hadoop作业调度问题的混合遗传算法

将自适应遗传算法和改进的蚁群算法融合用以求解Hadoop作业调度问题。首先利用自适应遗传算法的全局搜素能力产生任务所分配的资源列表,在遗传算法的搜索速度逐渐降低时,适时切换到蚁群算法,由自遗传算法求解的最优解生成蚁群算法的初始信息素分布。改进蚁群算法的目标节点选择策略,考虑节点完成任务的成功率,加快蚁群算法求解最优解的速度。仿真结果表明,与遗传算法和蚁群算法相比,混合遗传算法用时较少,并且任务数越多,优势越明显。

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。

一种基于动态资源采集的Hadoop作业调度算法

为了克服Hadoop中基于槽的资源模型对集群资源的浪费,提高Hadoop集群的资源利用率,提出了一种基于动态资源采集的Hadoop作业调度算法.通过在作业运行过程中动态采集部分任务的CPU,内存和IO的资源利用率来评估同一作业中其他任务的资源需求,然后根据任务的实际资源需求以及TaskTracker节点的负载情况进行任务调度,以充分利用各TaskTracker节点的计算资源.通过对比实验表明该调度算法能明显提高集群的资源利用率,缩短作业的完成时间.

一种基于交互式的Hadoop作业调度算法

Hadoop平台中作业调度是一个重要环节。FIFO是Hadoop默认的调度算法,简单易实现且应用广泛,但其在数据的本地化(data locality)这一特性上考虑不足,会引起网络的负载量增大,任务的等待执行时间长,计算资源得不到充分利用等一系列弊端;同时Map阶段和Reduce阶段资源槽的静态职能形式也更一步加深了这种缺陷。针对这些缺陷,从数据的本地性、任务分配的角度出发,提出了一种基于主从节点间交互的作业调度算法(Interactive Scheduler,IS)。该算法是对FIFO的一种改进,同时也使不同资源槽之间可以动态转换,提高了资源的使用率。通过实验对比,结果表明IS调度算法对Hadoop平台的作业调度效率有显著的提升。

基于遗传算法的Hadoop作业调度模型性能评价

大数据分析应用程序是一种新的处理大量数据的应用软件,使用可扩展的并行处理的基础架构获得隐藏的价值。大数据分析工作通常是连续的,而不是相互分离的。现有的工作主要关注于顺序执行作业,往往效率低下,能量消耗大。为了提高大数据分析的效率,文章提出了一种基于遗传算法的大数据分析作业调度模型。为了实现作业调度模型,利用一个评价模块来预测集群在执行分析工作时的性能,并从可行性和准确性两个方面对所提出的作业调度模型进行了评价。

基于人工鱼群算法的Hadoop作业调度算法的分析

本文将人工鱼群算法运用到作业调度算法中,在异构环境下进行实验,与已有的作业调度算法对比分析。根据实验数据,验证人工鱼群算法适合应用到作业调度算法中。当今社会正处于大数据时代,大数据专业已在高等院校广泛开设,而Hadoop平台是最应用最普遍的云计算平台之一,几乎大数据专业都会学习Hadoop这一平台。且它的作业执行速度对于整个平台的效率具有很大的影响。所以,对于Hadoop作业调度算法的分析研究尤为重要。

数据挖掘算法在作业车间调度问题中的应用

为了从与日俱增的车间生产数据中提取调度规则来指导生产调度任务,提出一种基于数据挖掘的调度算法。将最小化最大完工时间设置为性能指标,从作业车间的离线生产数据中建立合适的调度样本集;将建立的调度样本集按合适的比例分为训练集和测试集;用数据挖掘算法中的分类回归树(CART)从训练集中获取有效的调度知识,形成CART树状调度规则库;为了验证所得调度规则的有效性,将调度规则与遗传算法结合,设计了一种基于数据挖掘和调度规则的遗传算法作为调度算法来求解作业车间调度问题。通过对不同作业车间经典算例进行仿真与测试,验证了所提调度规则和调度算法的有效性与优越性。

融入概率学习的混合差分进化算法求解绿色分布式可重入作业车间调度

本文针对绿色分布式可重入作业车间调度问题(GDRJSSP),提出一种融入概率学习的混合差分进化算法(HDE PL),以实现最大完工时间和总能耗最小.根据GDRJSSP的问题特点,设计编码和解码规则,并采用差分进化算法执行全局搜索来发现优质解区域.为能更明确地引导全局搜索方向,设计基于贝叶斯网络结构的多维概率模型合理学习和积累优质解(即当前种群中的较优解)的模式信息.结合问题解的结构特征,提出基于关键路径的4种邻域结构来构造局部搜索,并设计基于非关键路径的节能策略来提升算法获取低能耗非劣解的能力.仿真实验和算法对比验证了HDE PL可有效求解GDRJSSP.

基于改进鲸鱼优化算法的AGV柔性作业车间多目标优化调度

针对柔性作业车间的自动引导车辆(Automated Guided Vehicle,AGV)调度问题,基于可持续视角,考虑车间能耗问题,在机器和AVG数量均存在数量约束的条件下,以最小化最大完工时间、车间能耗和AGV使用数量为优化目标构建可持续柔性车间调度模型。首先,设计一种改进鲸鱼优化算法(Improved Whale Optimization Algorithm,IWOA),在标准的鲸鱼优化算法的基础上引入非线性收敛因子和自适应惯性权重以提升算法的搜索能力和收敛速度;其次,使用模糊隶属度理论构建了损失函数,以获得多目标模型的最优折衷解;最后,基于算例实验验证算法性能。实验结果表明改进鲸鱼优化算法在求解2个算例时均表现出良好的效果,为求解采用AGV运输的可持续柔性作业车间多目标优化调度提供了一种有效的实践途径。

改进文化基因算法求解双资源约束柔性作业车间调度问题

针对具有机器和工人的双资源约束柔性作业车间调度问题,以最小化最大完工时间为目标构建调度模型,并设计一种改进文化基因算法对其进行求解。由于该调度问题需要同时考虑工序排序、机器选择及工人选择3个子问题,故采用三层序列编码。考虑传统解码方式存在收敛速度慢、收敛不完全的弊端,设计一种扩展型插入式主动解码方式,以提高算法的收敛速度;针对进化算法易陷入局部最优的缺陷,设计一种基于负载平衡的机器和工人再分配算子,增强算法的全局搜索能力,对种群中的优秀个体采用改进变邻域搜索以提高算法的局部寻优能力。最后,利用仿真算例及航空设备生产实例进行实验,验证所提算法求解双资源约束调度问题的有效性。

酿酒葡萄生长过程喷药机田间作业调度研究

酿酒葡萄产区喷药机的田间调度需求较高,而实际作业中喷药机型号不一、药箱容量不一、转弯速度不一,且传统农机调度研究中很少有针对喷药机田间作业调度的研究。为此,基于车辆路径规划问题(Vehicle Routing Problem,VRP),以成本最小为目标构建酿酒葡萄生长过程喷药机田内作业调度模型,提出改进种马遗传算法(Stud Genetic Algorithm,SGA)进行求解。结合宁夏贺兰山东麓酿酒葡萄产区实际作业田块信息与农机信息进行仿真实验,并与传统遗传算法(Genetic Algorithm,GA)进行对比,结果表明:相比于GA,SGA有着较强的收敛性,不易陷入局部最优;在调度结果上,调度总时间能够缩短3.5%,调度总成本降低6.2%,在实际喷药作业中能在一定程度上节约时间并降低作业成本。

改进粒子群算法求解生产计划与柔性作业车间调度集成问题

为解决机加工企业制定的生产计划与车间调度方案不兼容的问题,建立以最小化最大完工时间、最小化加工成本为目标函数的生产计划与柔性作业车间调度集成模型。提出一种改进粒子群算法(IPSO)作为全局优化算法。在传统粒子群优化算法(PSO)的基础上,引入遗传算子交叉的方式改进群体进化,同时设计随机性的边界变异,提高种群多样性,避免局部最优,学习因子及惯性权重采用幂函数动态变化,增强其搜索能力,更快收敛。最后通过生产实例,验证了IPSO在解决生产计划与车间调度集成问题上的可行性。同时将PSO、灰狼优化算法(GWO)和遗传算法(GA)作为对比算法,在15个Brandimarte基本算例上开展实验,得到的结果均优于其他算法,证明了IPSO求解柔性作业车间调度问题时的有效性和优越性。

基于ISSA和IA^(*)的AGV集成作业调度及其路径规划

针对单一算法在求解车间调度和路径问题时最优性和多样性方面的缺陷,提出了优化飞鼠搜索算法ISSA(improved squirrel search algorithm)和优化A^(*)算法并建立集成作业调度和AGV路径规划的双层模型。首先,采用贪婪策略融合飞鼠搜索算法建立考虑能耗的AGV集成作业调度上层模型;其次,将安全距离因子引入A^(*)算法,构建AGV路径规划下层模型,并通过梯度下降法进行路径平滑;进而,运用6个测试函数和kacem实例验证ISSA的寻优能力,结果表明ISSA的其收敛速度较快,运行效率较高,且不容易陷入局部最优;最后,基于栅格法建模进行对比仿真实验,IA^(*)比A^(*)算法拐点数量降低了22%,同时节约了21%的行驶时间,ISSA和IA^(*)均得到了良好的验证。结果表明,ISSA和IA^(*)能够更有效求解AGV集成作业调度及其路径规划问题。

考虑序列相关准备时间的分布式柔性作业车间调度研究

针对考虑序列相关准备时间的分布式柔性作业车间调度问题,提出以最小化最大完工时间为优化目标的混合整数线性规划模型,并提出一种改进遗传算法。采用基于负荷均衡的种群初始化方法提高初始种群质量,根据问题特性构造6个局部扰动算子,设计多重局部扰动策略提高算法的局部搜索能力。通过扩展柔性作业车间调度基准生成测试算例,使用正交实验确定算法参数。实验结果表明,所提改进策略能够有效提高算法性能,求解结果优于对比算法,验证了调度模型和所提算法的可行性和有效性。

基于熵增强混沌遗传算法的柔性作业车间调度

为使企业获得最优综合调度质量的车间调度方案,研究了多目标柔性作业车间调度数学模型及其求解算法,建立了基于最大完工时间、最大机器负荷差、机器总负荷和调度复杂度4个调度质量指标的多目标柔性作业车间调度问题模型(MFJSP),提出熵增强混沌遗传算法(ECGA)求解该模型,应用伯努利混沌映射公式改进算法选择操作,用高斯云模型改进变异算子和交叉算子,提高算法的全局寻优能力和搜索效率。根据计算的交叉概率和变异概率执行切牌式交叉操作和两基因片段式变异操作提高种群基因的多样性。以M8J12P3调度问题为例验证了MFJSP模型和ECGA算法的有效性。结果表明,与SGA、PSO和ABC相比,ECGA具有更快的收敛速度和更好的全局搜索能力,有助于企业提高生产效率和降低成本。