基于端边协同的节点部署和资源分配联合优化方法

随着物联网技术的快速发展,边缘计算作为一种重要的数据处理方式,在多样化的应用场景中展现出其独特的优势。在这种背景下,边缘服务器的位置部署和资源分配成为了提高任务处理效率的关键因素。然而,这一过程面临着终端设备的广泛分布和边缘服务器的异构特性带来的显著挑战。为了有效解决这些问题,提出了一种基于端边协同的节点部署和资源分配联合优化方法,旨在全面提升边缘计算系统的整体性能。首先,利用分层聚类算法,根据终端设备在功能和地理位置上的相似性,将它们有效地划分为若干个区域。随后,根据边缘服务器的处理能力、存储空间和网络带宽等关键指标,决定每个区域内最适合的边缘节点。最后,通过联合优化节点部署和资源利用率来指导任务的分配情况。为了验证所提方法的有效性,在公开数据集上对不同方法进行了仿真实验。实验结果表明,相比现有方法,所提方法可以将负载均衡水平提升30%以上,并将任务处理的时延和能耗降低10%以上,这在提升边缘计算系统的可持续性和效率方面具有重要意义。

基于优先级的任务调度与负载均衡模型研究

在分布式计算环境下,为了有效地利用计算资源、快速完成协同计算任务,提出了基于优先级的任务调度与负载均衡模型.首先根据就绪任务队列和任务调度器所处的位置以及两者之间的关系,将任务调度划分为集中式任务调度和非集中式任务调度两种方式,在此基础上,利用时间Petri网建模技术,分别给出了采用这两种任务调度方式的、基于优先级的任务调度与负载均衡模型,并对各种模型的特点进行了详细分析.以此模型为基础,可以利用现有的时间Petri分析技术,对采用上述任务调度方式的任务调度算法进行模拟和分析,以便找出满足给定条件的最优的任务调度算法.

基于异构Hadoop集群的负载均衡策略研究

异构Hadoop环境中,每个节点的处理能力各不相同,且集群中的节点会不断增加和删除,随着作业量的增大,负载倾斜会越来越明显。显然,负载均衡也成为影响Hadoop集群性能的重要因素之一。针对异构Hadoop环境中MapReduce任务调度,提出了一种新的负载均衡算法。该算法充分利用节点性能和当前的计算资源,根据集群负载平衡度量值进行任务分配,将任务分配给适合的节点,使集群负载逐渐趋于平衡,以提高集群节点利用率。由于Hadoop集群中各节点通过网络连接,以节省网络传输代价,因此在负载均衡调度时,根据数据分布特点,优先考虑数据的本地性,以缩短任务执行时间。仿真实验结果表明,所提出的负载均衡算法能明显改善系统性能,有效缩短MapReduce作业执行时间。

NOW环境中一种负载平衡系统ALBSIN的研究与实现

本文介绍了一种在 NOW(Network of Workstation)环境中进行负载平衡的方法—— AL BSIN (A L oad Ban-lancing System in NOW) ,它采用分布式负载信息存储和交互的方式在节点间进行任务分配和负载平衡 .实验表明 ,此方法具有良好的自适应性、可靠性和可扩放性 ,是

基于负载均衡的任务调度优化算法

针对当前任务调度算法的资源利用率低、负载严重失衡等难题,为提高分布式系统性能,提出基于负载均衡的任务调度优化算法。对当前常用分布式系统任务调度优化算法进行分析,指出它们存在的不足;考虑节点资源的异构性,根据节点的性能指标实现任务重新分配和调度,使节点负载尽可能合理。采用对比实验对性能进行分析,分析结果表明,相比当前经典分布式系统任务调度算法,该算法提高了节点资源的利用率,加快了任务完成的速度,具有一定实际应用价值。

基于任务负载监测的高性能集群节点启停机制

对高性能计算集群在运行过程中如何通过关闭闲置节点来实现有效节能的问题进行了研究和探讨,设计和实现了基于任务负载量统计监测的节点启停机制。根据对系统中作业运行和排队情况的记录和分析,通过参数估计设计了反映队列任务情况的负载因子,并围绕负载因子制定具体策略,结合作业系统的队列设置和资源分配规则,对集群中的空闲节点进行自动启停控制。模拟实验表明,基于任务负载监测的节点启停机制能够有效地自动启停系统中闲置的节点,从而降低系统功耗,并且对系统中作业的整体完成时间基本不造成影响。

基于负载分割理论的无线传感器网络任务调度算法

利用分簇思想和负载分割理论,提出基于一种集群结构的无线传感器网络任务调度算法。将整个无线传感器网络划分为多个簇进行负载分割,采用簇间和簇内任务调度建立任务执行过程的时序图,通过最小化总任务时间,实现任务所需数据测量、融合和传输时间的合理分配,达到任务的最优调度。仿真实验结果表明,该算法能缩短任务执行时间,并减少节点在任务执行过程中的能量消耗。

基于物联网的任务节点负载非对称匹配方法研究

由于传统的任务节点负载非对称匹配方法,对任务节点负载非对称匹配指数的计算不准确,因此导致任务节点负载非对称匹配精度低。针对这一问题,进行基于物联网的任务节点负载非对称匹配方法研究。通过提取任务节点负载非对称匹配特征,计算任务节点负载非对称匹配指数,利用物联网建立任务节点负载非对称匹配矩阵;寻找任务节点负载非对称匹配最终执行结果,从而完成任务节点负载非对称匹配。实验结果表明,设计的匹配方法非对称匹配指数最高可达80.04,对照组仅为47.49,设计匹配方法可以实现对任务节点负载的非对称匹配。

异构环境下平滑加权轮询Reduce任务调度算法研究

传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一步将优化后的框架用于并行图像处理。实验结果表明,动态平滑加权轮询调度算法减少了Reduce跨节点传输的网络带宽,同时也减少了Reduce任务的执行时间。

物联网环境下任务节点负载动态非对称分配系统设计

为了保证无线传感网络中任务节点负载的水平相当,延长网络的生命周期,需要对物联网环境下任务节点负载动态非对称分配系统进行设计。为此,提出一种基于单片机的任务节点负载动态非对称分配系统设计方法。该方法首先对任务节点负载动态非对称分配系统硬件进行设计,硬件部分主要由微处理器、节点电压的采样电路、节点电流的采样电路、节点传输的模块以及电路模块和节点通信模块构成。软件部分利用节点分配算法对任务节点负载动态非对称分配进行计算,结合硬件与软件部分设计完成对物联网环境下任务节点负载动态非对称分配系统设计。实验结果表明,该方法能有效地解决节点负载动态非对称分配不均衡的问题,提高了无线传感网络的生命周期。

去中心化云存储网络的存储任务分配算法

针对联邦学习客户端数据集的存储任务分配问题构建新型模型,为保证去中心化云存储网络的负载均衡,缩短存储数据上传/恢复时间,减少客户端存储总花费,提出了一种考虑客户端需求和全局负载的数据存储任务分配算法——URGL_allo(Allocation Based on User Requirements and Global Load)算法。在节点分配阶段考虑全局负载、拓扑属性及客户端关注的存储价格和数据恢复时间等节点资源,结合万有引力定律定义新的节点排序方法,选择最佳存储任务分配节点。在链路分配阶段,使用Dijkstra算法计算以客户端节点为中心到网络中其他节点的最短路径,并选择两节点间最短路径集合中带宽值最大的路径进行分配。仿真结果表明,相比基于随机策略的分配算法(Random_allo),所提算法的负载均衡指数、客户端存储总花费分别降低了41.9%,5%,并且与基于链路带宽的贪婪算法的数据恢复时间相差不大,都稳定维持在(0,2]之间,是Random_allo算法的1/20,在全局负载和服务质量上的综合表现优于对比算法。

物联网节点任务负载量的非对称分配系统设计

在物联网接收数据流速度出现较大波动的情况下,会导致节点任务负载量过大,影响整个物联网的整体性能。当前分配系统大多采用负载均衡策略,忽略了节点间传输数量迅速增加的情况,导致时间延迟和能耗增加。为此,设计了一种新的物联网节点任务负载量非对称分配系统。当物联网节点接收到新的任务后,利用非对称分类策略对任务负载量进行分配,选择最佳转移服务器,以保证节点任务负载量分配过程中通信链路的稳定性,给出服务器选择过程。利用"握手"操作交换物联网节点和服务器的计算能力信息,获取物联网节点和服务器进行负载处理的具体比例,实现非对称分配。实验结果表明,所设计系统能耗和时延较低,有效带宽利用率较高。

大数据流式计算框架的任务调度优化方法研究

Storm是当前流式大数据计算处理的主要平台,它配置了一个自动任务调度框架,但其并未考虑到网络节点负载不均衡,调度方式单一。提出直接分配固定节点的任务分配调度策略,将子拓扑中组件线程都分配给固定的工作节点上;基于负载均衡任务调度策略,应用贪心策略选取资源数量最大的工作节点进行分配,实验结果表明本文提出的任务调度策略具备较好的实时性。

物联网环境下节点负载均衡策略研究

针对传统负载均衡策略负载均衡效率低的问题,对物联网环境下节点负载均衡策略进行研究。笔者经过对比软件负载均衡和硬件负载均衡、静态负载均衡和动态负载均衡,确定软件动态负载均衡为策略方向,并设计负载节点收集模块、负载节点处理模块以及网络宽带扩展模块,针对IO消耗型任务和CPU消耗型任务的均衡分配,引入任务划分型负载均衡算法。经过验证,此次研究的节点负载均衡策略负载均衡效率较高。

远程网络通信的均衡任务调度方法

当前均衡任务调度方法在运行中,存在负载分布不均现象,导致集群节点负载压力过大。为解决上述问题,引入远程网络通信技术,改进现有均衡任务调度方法。通过建立远程网络通信协议、完善远程网络通信模块、建立服务器端与客户端通信,完成远程网络通信环境的搭建。在此基础上,建立Hadoop任务调度,根据Hadoop任务调度完善均衡tasks分配方法,完成均衡任务调度方法的改进。模拟均衡任务调度方法使用环境,设计对比实验结果表明,应用改进后方法,有效改善负载分布不均现象,缓解集群节点压力。