探究基于节点能力的Hadoop集群任务自适应调度方法

Hadoop特有的集群任务,在真正运行之中,常会凸显不均衡态势下的负载情况。本文辨识了集群节点表现出来的执行特性、节点执行能力。建构在节点能力根基之上的多重任务,含有自适应调度这一配置方式。这类调度路径,按照节点特有的历程、现存负载状态、节点特性及关联的失效率,调整着各时段的运行总量。测验出来的数值表明,集群任务耗费的完成时段被显著缩减,节点荷载的总负荷均衡,资源调配适当。

基于节点能力的Hadoop集群任务自适应调度方法

针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.

通信约束下UAV集群协同拦截任务分配算法

针对多无人机协同拦截多机动目标的任务分配问题,同时考虑到真实战场环境中存在的通信约束以及探测范围约束条件,本文提出了分步一致性拍卖算法(SCBAA)。首先,对真实战场环境中存在的通信约束以及探测范围约束等问题进行了描述分析,构建了多无人机协同拦截任务分配模型,设计了综合效能函数以及相应约束条件。其次,为解决多无人机协同打击单一目标的不平衡任务分配以及冲突消解问题,将原任务分配过程分为主要任务分配以及次要任务分配两部分,通过多次拍卖以及冲突消解实现多无人机对单一目标的任务分配。仿真结果表明,该算法可有效解决通信约束条件下的分布式多无人机协同拦截问题,并适应动态环境中任务分配对实时性的要求。

无人机集群任务分配技术研究综述

任务分配是无人机集群实现高效遂行作战任务的关键技术。随着无人机集群技术的发展和作战样式的转变,无人机集群的作战任务领域不断拓展,任务分配所涵盖的范围不断扩大,任务分配问题的规模和复杂性不断增加,这都对无人机集群任务分配技术提出了新的挑战。本文对无人机集群作战理论、任务分配建模、任务预重分配算法、异构无人系统联合应用下任务分配的研究现状进行了全面的总结,凝练了目前无人机集群任务分配技术面临的通用化建模、面向多任务的任务预分配算法最优解求解、有限时间下面向突发事件的任务重分配算法寻优、路径规划紧耦合下面向大规模异构无人系统的协同任务分配等问题,并针对性地论述了未来无人机集群任务分配技术的若干发展方向,为提升无人机集群任务分配的求解质量和求解速度提供新的研究思路和解决途径,对于全面了解无人机集群任务分配技术具有重要参考意义。

基于改进遗传算法的无人艇集群多任务分配路径规划

为完成多任务的分配并确保USV集群航行的总路径最短,同时确保各USV的路径长度差距最小,针对USV集群全局路径规划问题从初始种群生成方法、选择算子和变异算子等3方面对遗传算法进行改进。针对航行区域障碍物特点,采用切线法对改进遗传算法生成的路径进行优化。为验证算法的有效性,基于MATLAB/Simulink仿真平台构建仿真模型,并针对具体航行环境进行多任务全局路径规划测试。仿真结果显示,所提出的算法可实现USV集群多任务分配的全局路径规划。

多中心无人机集群维修保障任务分配优化研究

针对多中心无人机集群维修保障任务分配问题,分析无人机集群维修保障任务的约束条件,以最小化无人机等待时间、保障人员的等待时间为目标函数,并考虑保障人员的工作公平性建立无人机集群维修保障任务分配模型,通过人工蜂群算法进行优化求解。算例表明:模型与以飞行距离最短为目标的先到先服务模型相比,无人机准备时长减少了0.8%,保障人员等待时长减少了21.0%,保障总时长减少了4.3%,提高了无人机维修保障的敏捷性,实现了人员工作的均衡分布,验证了模型和算法的可行性。

面向复杂环境的集群无人机任务调度方法研究综述

近年来,无人机由于其成本低、速度快和灵活性强等优点,在军事和民用领域得到了广泛应用。集群无人机是由一组同构或异构无人机组成,通过个体自主决策和信息交互,实现感知互动、信息传递和协同工作。相较于单一无人机,集群无人机可利用其集群优势、自主优势及智能化优势完成复杂任务。然而,随着任务环境、需求和集群规模的不断变化,集群无人机任务调度问题成为备受关注的热点问题。总结近几年的代表性研究,列举了复杂环境下集群无人机任务调度面临的挑战:动态任务需求、复杂环境条件、不确定通信条件及资源受限。随后,按照调度算法的作用机理划分了当前主流的调度方法,即优化算法、演化算法、强化学习算法以及群体智能算法,并对上述方法的原理、研究现状进行了归纳总结。最后,对集群无人机任务调度的未来研究方向进行了展望。

面向异构复合任务的无人集群动态重叠联盟任务分配方法

智能无人集群由于其平台特性的多样性,具备较好的资源调配空间和功能弹性,能够应对复杂多变的任务需求。现有研究大多未考虑任务的异构性和关联性等实际需求,其任务分配方法在需求和资源的适配性、集群协同的动态响应能力上存在不足。文章针对无人集群系统在遂行多目标任务过程中存在的任务分配不均、协同性差和动态适应性差等问题,提出了面向异构复合任务的动态响应重叠联盟任务分配架构。首先,综合考虑多个耦合异构任务的价值、优先级、需求和任务变化带来的影响来构建联盟博弈模型;然后设计算法,分布式协同调度不同无人集群(无人机和无人车)的资源,实现集群异构成员的资源与异构任务合理匹配,并能根据任务变化情况进行高效的动态调整。仿真结果表明,文章提出的算法能够适应动态任务场景,形成稳定高效的任务联盟和资源分配方案,提高了无人集群遂行多样化异构任务的系统收益和成功率,实现了无人集群系统在动态条件下的协同任务分配优化。

基于PPO的异构UUV集群任务分配算法

无人水下航行器(Unmanned Underwater Vehicle,UUV)集群的任务分配问题是UUV集群形成水下功能的重要问题之一,但是,受限于通信以及探测能力,UUV在水下只能获取有限的信息,不能得到很好的应用。提出一种基于深度强化学习的任务分配算法,针对水下信息缺失、奖励稀少的问题,在近端策略优化算法的基础上加入Curiosity模块,给智能体一种减小环境中不确定性的期望,鼓励UUV探索环境中不可预测的部分,实现UUV集群的最优任务分配。最后的仿真实验表明,相较于传统智能算法,该方法收敛更快,可靠性更强。

大数据Hadoop集群下Sqoop数据传输技术研究

【目的】Hadoop系统是大数据分布式集群系统,其开源的生态圈中有众多功能组件,通过在大数据Hadoop集群系统上部署Sqoop组件,将本地关系型Mysql数据库中的数据和Hive数据仓库中存储的数据进行快速导入导出,进一步研究数据传输性能。【方法】首先在企业服务器上部署配置Hadoop分布式集群系统,其次在该集群上部署Sqoop组件并测试与Mysql数据库和Hive数据仓库的连通性,最后使用Sqoop技术测试本地Mysql数据库和Hive数据仓库之间的导入和导出。【结果】通过Sqoop技术能够更加便捷快速地从本地Mysql数据库上传到Hadoop集群系统,与传统方式下先将本地Mysql数据库中数据导出TXT文档格式后再使用Hive数据仓库的Load数据批量加载功能相比,在时间和效率方面大为提升。【结论】验证了Sqoop组件在Hadoop集群中部署运行的正确性,为大数据技术学习者提供一定程度的参考借鉴。

无人集群智能任务规划方法研究综述

随着作战场景的多样化发展,现代战争形态正由机械化、信息化向智能化方向加速转变,智能任务规划逐渐取代传统任务规划成为无人集群作战的大脑,是集群有效遂行作战任务、提升作战效能的核心环节。针对任务规划内涵和无人集群作战特点,系统梳理了无人集群智能任务分配方法、智能轨迹规划方法以及智能效能评估方法研究现状,最后结合任务规划需要重点解决的难题,给出了未来集群智能任务规划方法的发展展望。综述表明,智能任务规划方法是提升无人集群任务效能的重要因素,需重点关注不确定环境、大规模集群编组、多任务一体寻优快速迭代以及智能任务分配、智能轨迹规划解耦等难题,进一步提升无人集群任务规划方法智能化水平。

基于鱼群涌现行为启发的集群机器人硬注意力强化模型

生物集群运动模型能使集群机器人涌现秩序,但是所形成的机器人自然集群秩序难以有效地被人工控制,为此提出鱼群硬注意力模型来解析实验鱼群数据中的交互行为。该模型通过编码器网络、图注意力网络、信息聚合网络、预解码网络以及最终解码网络等结构来获取焦点单体的重要邻居;再利用深度确定性策略梯度技术设计轨道强化网络与安全强化网络,以实现集群的人工控制。多智能体仿真与集群机器人实验结果表明:所提方法能够实现集群的人工轨道、安全控制,重要邻居信息为解决集群运动的强化学习难题提供了新思路,所提控制模型在无人机群空中协作、智慧农机集群作业、物流仓储多体搬运等领域具有较大的应用潜力。

基于混合群智能算法的无人机集群任务分配

针对无人机集群任务分配方法存在的搜索时全局性与收敛速度相矛盾的问题,提出了一种狼群算法和模拟退火算法相结合的混合群智能算法。首先,在分析无人机集群作战应用及任务分配建模的基础上,对基本的狼群算法进行改进,将狼群算法中游走、召唤和围捕行为的固定步长改进为自适应步长,以提高收敛速度和搜索精度;其次,将改进的狼群算法的初步结果作为模拟退火算法的输入,进行快速搜索来进一步提高算法的收敛速度;最后,在相同的应用场景下,通过与粒子群优化算法、改进的狼群优化算法仿真比较,验证了所提算法在分配精度和收敛速度上均有较大的提高。

面向网络化无人机集群的计算换通信分布式任务调度方法

针对网络化无人机集群任务自主协同问题以及市场竞拍法的优缺点,提出“计算换通信”思想及其相应的分布式任务调度方法。通过对显式和隐式冲突任务的分析,建立任务相关智能体集合。提出基于任务抑制的局部优化方法,用于提前消解部分任务冲突,以减少算法迭代次数。设计基于历史竞标信息的智能体位置推断法,为局部优化提供必要的信息输入。基于组网仿真平台与集群救援场景开展蒙特卡罗仿真实验,结果表明,相比于市场竞拍法中具有代表性的基于共识的捆绑算法和性能影响算法,所提方法能够获得更少的迭代次数、更短的收敛时间以及更优的调度性能。

无人机集群任务规划研究热点与发展趋势分析

利用定量化与可视化的方法宏观地分析了无人机集群在任务规划领域的研究情况。使用信息可视化软件CiteSpace和Tableau,分别从WOS和CNKI学术数据库中获取从2000—2022年国内和国际上无人机集群任务规划领域相关文献124篇和1321篇,绘制本领域的科学知识图谱。用文献计量学的方法分析国内外无人机集群任务规划领域的关注情况、研究现状、热点和发展趋势。研究发现,在物联网环境下、利用区块链技术的无人机集群等新兴应用,微分博弈和移动边缘计算等新算法的改进和如何与新需求相结合为无人机集群任务规划的热点,无人化智能平台、多种群体智能算法的优化和商用物流运输等方向为未来潜在的研究趋势。

基于动态联盟策略的无人机集群在线任务规划方法

针对复杂战场环境下无人集群任务规划所面临的高动态性、强不确定性以及多约束问题,提出一种基于动态联盟策略的分布式在线任务规划方法。描述无人机集群动态任务规划的典型场景,建立了异构无人机集群的多约束分布式任务规划数学模型;设计考虑集群动态拓扑约束的任务联盟组建策略,提出耦合Dubins航迹规划的改进蚁群算法,实现多约束强不确定动态任务规划问题的在线求解;构建异构无人机集群察打评一体的任务仿真场景,通过数字仿真以及虚实结合的半实物仿真技术验证所提出的策略和算法的有效性。研究结果表明:所提方法在动态任务规划过程中能够在损失较少任务完成时间的前提下可获得较优的系统效能,对于后续研究工作进一步走向工程化应用具有一定意义。

Hadoop集群服务监控预警系统的实现

介绍了一种用于Hadoop集群自动化监控、预警系统的实现。通过获取集群节点的内存、CPU、磁盘信息统计节点系统信息,同时统计集群各类Hadoop基础服务的基础信息,如服务的内存使用、存活状态等。系统对收集的信息做异常信息处理与告警,自动推送给系统运维,极大提高了运维的响应速度,缩短问题定位、解决周期。

时间窗约束下的无人集群分布式任务分配算法

综合考虑任务时间窗以及无人机能力约束,以任务的平均时间成本最小为优化目标,提出一种无人集群分布式协同任务分配算法。首先,定义任务对于无人机的增益和边际增益,用以描述无人机执行任务的时间成本的变化情况。然后,建立包括任务添加、冲突消解和任务再分配三个阶段的分布式分配算法。最后,仿真实验结果表明:第三个阶段将任务完全分配率提高了13.76%,相比现有算法,所提算法将任务完全分配率提高了21.94%,任务平均完成时间降低了24.25 s。

基于联盟博弈的无人机/无人车异构集群验证

无人异构集群相较于单一类型、单一个体的无人平台,能够完成更为复杂的任务,同时对严苛战场环境有着更高的适应度.在无人异构集群协同执行任务时,任务分配是至关重要的环节,需要考虑异构无人平台和任务的多种约束和目标.传统的任务分配方法分配效率低且难以处理大规模复杂任务.联盟博弈通过形成由若干参与者组成的联盟,根据个体的属性、偏好对群体进行划分,从而实现个体以及群体利益的最大化.本文以无人异构集群任务分配为背景,研究了基于改进联盟博弈算法的最优分配策略,基于可能的战场环境设计了模拟任务场景并完成实验验证.首先,考虑异构平台在任务中的初始位置、速度、携带资源以及个体声誉等因素,建立了基于空间自适应博弈(Spatial adaptive play algorithm, SAP)的联盟博弈的任务分配算法模型.其次,基于任务场景,搭建了任务所需的软件与硬件平台.最后,针对模拟的战场环境,对所提算法及搭建的异构无人集群平台进行了实验验证.验证结果表明,在异构无人集群平台重分配的任务背景下,本平台能综合考虑战场态势,寻找最优的任务分配方式,协调各作战单位完成任务目标.

集群航天器鲁棒自适应快速任务分配

针对集群航天器协同观测任务分配问题,提出一种基于深度神经网络和鲁棒自适应拍卖算法的快速任务分配策略。为提高燃料消耗指标的计算效率,利用深度神经网络直接预测连续推力转移轨迹的燃料消耗,避免在线规划相对运动轨迹。通过构造虚拟收益矩阵和分配向量使得拍卖算法适用于航天器数与任务数目不一致的分配问题。为提高拍卖算法的收敛速度,提出报价增量自适应调整策略。考虑到通信失联、航天器故障等不确定因素,通过在线调整故障航天器的收益和报价矩阵以提高算法鲁棒性。数值仿真表明深度神经网络对燃料消耗指标预测精度高,基于深度神经网络和鲁棒自适应拍卖算法的快速任务分配策略可在保持计算精度的同时,将计算效率提升约两个数量级。