运营商大模型硬件基础设施创新及RDMA流量控制技术研究

从业界大模型硬件基础设施创新的主要模式出发,论述了电信运营商在该领域自主创新的路线选择考虑。基于实际组网环境和业务场景提出需求,设计了一种支持NO-PFC、交换机免配置的拥塞控制算法,使用RTT作为拥塞感知信号,控制交换机队列长度,实现低延迟。

构建支持大模型训练的计算机系统需要考虑的4个问题

支持大模型训练的计算机系统有3种类型,其中基于国产AI芯片系统的生态系统不是很好,要想改变这个局面,需要做好AI编译器、并行加速等10个关键软件;基于超级计算机的系统需要做好软硬件协同设计,从而更好地服务于大模型训练。针对如何搭建大模型的基础设施,提出4点平衡设计,以确保系统的性能、可靠性和可扩展性。