分布式深度学习系统网络通信优化技术

针对分布式深度学习系统网络通信的全协议栈定制优化问题,提出了一种分布式深度学习系统的网络通信优化技术的分类方法。从网络协议栈层次的角度,分析了通信流量调度和网络通信执行的关键技术;自顶向下地从算法层面和网络层面分别讨论了分布式深度学习通信瓶颈优化的几种基本技术途径,并展望其未来发展的机遇与挑战。