基于一致性算法的新型电力系统边缘集群分布式经济调度模型

随着风电、光伏等可再生能源大量并入新型电力系统配电网,大量分散的风电、光伏等集群呈现出分布式管理和控制方式,使传统集中式的经济调度方法陷入困境。对此,基于传统一致性算法,文章提出了风电、光伏构成的边缘集群分布式经济调度模型。首先,给出了风电、光伏的边缘集群模型及其波动性特性;其次,推导了传统一致性算法及实现经济调度的优化模型;在此基础上,结合风电和光伏边缘集群模型,提出了风电、光伏的边缘集群的一致性经济调度分布式算法;最后,以某实际系统为例,对所提算法模型进行仿真验证。结果显示了所提模型的有效性。

基于DPDK的边缘集群内低成本高速通信方案

边缘计算作为云计算的协同与补充,未来需要应对物联网50%的细小、实时的数据.同时,边缘AI的兴起,对成本受限的边缘节点的计算资源、存储资源和网络资源提出了更高的要求.如何以较低的成本为边缘集群提供较高的网络带宽和通信效率是本文的研究目标.鉴于传统OS对多网卡带宽叠加技术实现的不够友好以及单条连接最大带宽的限制,本文基于Intel DPDK技术,提出一种新颖的多网卡带宽叠加方案.该方案充分发挥DPDK对多核多网卡的支持,不仅能够实现多张网卡的带宽叠加,而且单条连接能够达到多张网卡的叠加带宽.最后利用操作系统的Socket本地回环机制,为用户提供语言无关的调用接口.在万兆带宽连接的边缘集群内,使用该方案能够将成本缩减到原来的1/3,并且提供相同的连接带宽.相比于传统的通信机制通信效率的到了极大的提高,不仅延时降低了10%,丢包率也降低了60%.

面向边缘集群内AI数据流的双平面调度模型

随着边缘AI的兴起,边缘GPU集群被广泛用于大量并发AI数据流的实时处理.AI数据流不仅需要在集群内传输,还需要在计算节点上排队和计算.为了减少响应时间,研究者们旨在通过优秀的调度算法减少任务的排队等待时间,而忽略了调度命令的传输耗时.在传统的单平面框架下,由于调度命令与数据在同一个物理线路上传输,在集群内传输数据量很高时,容易因调度命令的传输延迟和丢弃而调度失败,甚至造成集群性能下降或者故障.本文提出一种边缘集群内AI数据流的双平面调度模型.首先,提出一种双平面的框架,将调度命令和数据传输从物理上分离,互不影响.其次,在数据平面使用基于DPDK的多网卡并行通信技术以提高数据传输的效率和带宽,针对AI数据流设计和实现了基于消息的可靠传输协议.最后,提出兼顾计算节点网络负载和计算负载的任务迁移调度模型,旨在降低集群内数据流的排队延时.在不出现消息丢失的情况,本文的双平面架构传输方案能够增加集群数据流容量约30%;在不出现任务丢弃的情况下,本文的双平面架构调度模型能够增加集群数据流容量约15%.

智慧校园中面向边缘AI集群的异构优化方法研究

随着边缘计算和人工智能AI技术的兴起,基于云计算集群的物联网解决方案逐渐显露出短板,而基于边缘计算集群的物联网解决方案因其体积小、推理延迟小、集群部署灵活等特点,越来越受到研究者的青睐。然而目前的大多数研究都把焦点放在单个AI任务在单个边缘终端的计算效率,计算效率较低下,因此该文应用高校已有的软硬件资源,搭建一组部署了多种类型推理任务的边缘设备集群,对边缘异构解决方案进行研究,提出了智慧校园中面向边缘AI集群的异构优化方法——整数线性规划及其求解方法——平面分割定界法,来解决边缘异构集群任务调度不合理造成资源浪费的现状,为智慧校园建设打下坚实的基础。

面向AI数据流处理的边缘GPU集群通信系统

在边缘计算场景中,GPU集群需要应对终端设备所产生的数量庞大的AI计算任务.AI计算任务在边缘GPU集群内的响应耗时不仅包括计算时间,还包括数据传输和排队等待延时.因此,任务数据传输和AI数据流调度也是影响GPU集群数据处理性能的关键因素.传统网络协议栈的低效率和专用高速网络设备的高成本,并不适用于边缘场景中大规模AI数据流的实时处理.本文基于DPDK技术提出多核多网卡的并行通信机制,利用集群空闲的CPU资源加快数据传输;兼顾节点计算能力和网络负载分析节点实时处理能力制定数据流分配策略,并实现了由数据接入量驱动的动态多核多缓冲区模型,减少了任务计算的等待时间.实验结果表明,提出的通信调度方案不仅能够增加约30%的集群数据流容量,而且带宽利用率能够达到90%;在总AI任务量相同的情况下,归功于DPDK高效的数据包处理能力,避免了大量的AI任务因传输失败而被丢弃的情况.

云—边缘系统中跨域大数据作业调度技术研究

为了降低因处理这些跨域大数据带来的作业完成时延,首先提出了以最小化系列跨域作业平均完成时间为优化目标的在线随机调度算法ranTA。ranTA基于跨域资源的异构性在线地计算出各计算任务调度至不同位置的偏好,并以此偏好作为概率调度每个计算任务;更进一步,为了避免将“热点”数据积压在边缘集群造成性能瓶颈,提出基于ranTA的捎带式数据重分布机制ranTA-data,其将部分数据随任务执行留存至云数据中心。ranTA-data不仅优化了当前作业的完成时间,也能证明在该机制下系列作业的平均完成时间以大概率汇聚于最优解附近。大规模仿真实验表明,所提出的在线随机化算法与数据重部署机制相比传统方法,平均降低系列作业完成时间近30%。