一个并发AI数据流处理节点内的通信模型

物联网智能设备产生的大量并发AI数据流给云端处理中心带来了巨大的挑战,为了应对这一挑战,边缘计算将海量的并发AI数据流以流水线加工的方式将这些并发AI数据流分配给边缘服务集群内的计算节点处理。如何利用计算节点内有限的计算资源、以较低的成本提高并发AI数据流的处理与通信效率是本文研究的目标。提出了一种能够在处理并发AI数据流的计算节点内使用的通信模型,该通信模型结合DPDK的核绑定机制为并发AI数据流的接收过程、计算过程、发送过程均衡地绑定CPU核,还加入了数据流的分类计算、网卡端口的调度策略、缓冲环和全局网卡端口的负载监控。实验分析表明,并发AI数据流处理节点内的通信模型能够有效制定CPU核的均衡绑定策略,提高流处理节点之间的并发AI数据流的处理效率,还实现了多网口的均衡调度策略,使网卡端口的负载达到均衡状态,不会对端口造成太大的负载,同时带宽利用率和通信速率也大大提高,并且降低了边缘集群中流处理节点的部署成本,合理利用了节点内的计算资源处理并发AI数据流。