面向边缘集群内AI数据流的双平面调度模型

随着边缘AI的兴起,边缘GPU集群被广泛用于大量并发AI数据流的实时处理.AI数据流不仅需要在集群内传输,还需要在计算节点上排队和计算.为了减少响应时间,研究者们旨在通过优秀的调度算法减少任务的排队等待时间,而忽略了调度命令的传输耗时.在传统的单平面框架下,由于调度命令与数据在同一个物理线路上传输,在集群内传输数据量很高时,容易因调度命令的传输延迟和丢弃而调度失败,甚至造成集群性能下降或者故障.本文提出一种边缘集群内AI数据流的双平面调度模型.首先,提出一种双平面的框架,将调度命令和数据传输从物理上分离,互不影响.其次,在数据平面使用基于DPDK的多网卡并行通信技术以提高数据传输的效率和带宽,针对AI数据流设计和实现了基于消息的可靠传输协议.最后,提出兼顾计算节点网络负载和计算负载的任务迁移调度模型,旨在降低集群内数据流的排队延时.在不出现消息丢失的情况,本文的双平面架构传输方案能够增加集群数据流容量约30%;在不出现任务丢弃的情况下,本文的双平面架构调度模型能够增加集群数据流容量约15%.