面向AI数据流处理的边缘GPU集群通信系统

在边缘计算场景中,GPU集群需要应对终端设备所产生的数量庞大的AI计算任务.AI计算任务在边缘GPU集群内的响应耗时不仅包括计算时间,还包括数据传输和排队等待延时.因此,任务数据传输和AI数据流调度也是影响GPU集群数据处理性能的关键因素.传统网络协议栈的低效率和专用高速网络设备的高成本,并不适用于边缘场景中大规模AI数据流的实时处理.本文基于DPDK技术提出多核多网卡的并行通信机制,利用集群空闲的CPU资源加快数据传输;兼顾节点计算能力和网络负载分析节点实时处理能力制定数据流分配策略,并实现了由数据接入量驱动的动态多核多缓冲区模型,减少了任务计算的等待时间.实验结果表明,提出的通信调度方案不仅能够增加约30%的集群数据流容量,而且带宽利用率能够达到90%;在总AI任务量相同的情况下,归功于DPDK高效的数据包处理能力,避免了大量的AI任务因传输失败而被丢弃的情况.