运营商大模型硬件基础设施创新及RDMA流量控制技术研究

从业界大模型硬件基础设施创新的主要模式出发,论述了电信运营商在该领域自主创新的路线选择考虑。基于实际组网环境和业务场景提出需求,设计了一种支持NO-PFC、交换机免配置的拥塞控制算法,使用RTT作为拥塞感知信号,控制交换机队列长度,实现低延迟。

RDMA协议应用及安全防护技术综述

远程直接内容读写技术是一种有效提升数据传输速率、降低CPU占用率的通信方式,在跨区域数据中心之间的转存、高性能计算、快速数据读写等领域起着重要的作用。然而,作为新兴技术,RDMA缺少得到业界广泛认同的安全方案,目前,随着大量RDMA应用逐渐从专用网络环境向一般以太网拓展,关注其安全风险、为其设置一套在不影响传输效率的前提下保障安全性的防护措施是很有必要的;此外,由于采用了特殊的底层实现和协议设计,RDMA技术不仅无法兼容现有的成熟安全方案,还面临其他特殊安全风险的挑战。为梳理RDMA攻防技术的发展,向即将到来的RDMA技术的大规模应用提供安全保障:以无线带宽协议和基于以太网的RDMA协议第2版为例介绍了RDMA技术及其实现原理,调查了在相关场景下RDMA应用面临的安全风险,总结了近年来RDMA安全领域的攻防研究进展,汇总了能够应对这些安全风险的有效安全方案;在证明其有效防御能力的基础上,结合理论分析和实验数据,对比了这些方案的优劣;提出了RDMA攻防领域后续的改进方案和技术优化前景。

基于RDMA的区块传输机制设计与实现

随着区块链技术的不断发展,区块的传输延迟成为区块链系统可扩展性的性能瓶颈。远程直接内存访问(RDMA)技术能够支持高带宽和低时延的数据传输,为低延迟区块传输提供了新的思路。因此,结合RDMA原语的特性,设计了用于区块信息共享的区块目录结构,并在此基础上设计并实现了区块传输的基本工作过程。实验结果表明,相较于基于TCP的方案,在1 MB大小的区块上基于RDMA的区块传输机制将节点间的区块传输延迟降低了44%,全网络的区块传输延迟降低了24.4%,在10000节点规模的区块链上,区块链发生临时分叉的数量降低了22.6%。可见,基于RDMA的区块传输机制充分发挥了高速网络的性能优势,降低了区块传输延迟及临时分叉的数量,提高了现有区块链系统的可扩展性。

面向两段锁并发控制的RDMA优化技术

分布式事务的性能优化是学术界和工业界的研究热点之一。基于两段锁的并发控制技术可以保证并发事务调度的正确性,目前广泛应用于主流的商用和开源分布式数据库中。然而,现有的研究结果表明,基于传统TCP/IP协议以及Share-Nothing架构的分布式事务处理技术,受制于事务调度器的CPU低利用率、事务调度器与存取节点的网络高延迟,分布式事务的性能瓶颈明显。针对上述两个问题,提出基于远程直接数据存取(RDMA)的两段锁(2PL)并发控制优化技术,利用RDMA的高带宽、低延时以及内核旁路(消除了TCP/IP协议栈所带来的CPU开销)特性,提升分布式事务的性能。主要贡献包括基于RDMA的网络通信算子重写与优化,利用RDMA单边施加、释放读写锁时的原子性保障。基于YCSB测试基准的实验结果表明:单边排他锁算法和单边读写锁算法分别在低、高冲突负载下具有相对优越性;引入RDMA的2PL并发控制,在高冲突负载下,NO WAIT和WAIT DIE两种模式最高可分别实现5.3倍和10.6倍的吞吐量提升。

BOOM-KV:基于RDMA的高性能NVM键值数据库

随着英特尔傲腾数据中心持久化内存模块(DCPMM)开始进入市场以及远程直接内存访问(RDMA)硬件成本的降低,设计融合非易失性内存(NVM)和RDMA的键值(KV)数据库面临新的机遇和挑战。构建基于NVM和RDMA的KV数据库的关键在于设计一个高效的通信协议。遗憾的是,现有工作或采用NVM不感知的RDMA协议,或采用低效的NVM感知的RDMA协议,这导致它们无法最大化KV数据库的性能。本文提出了BOOM协议——一种新型的NVM感知的RDMA协议。相较于NVM不感知的协议,BOOM协议允许直接对远端NVM进行RDMA操作,消除了冗余的数据拷贝;相较于现有的NVM感知的协议,它可以显著减少元数据请求,降低KV请求的端对端延迟。在BOOM协议的基础上构建了BOOM-KV,并针对服务端中央处理器(CPU)利用率和宕机持久化等问题进一步进行优化。将BOOM-KV与最新的研究成果进行对比,结果表明,BOOM-KV能显著降低请求延迟,其中PUT延迟最大降低了42%,GET延迟最大降低了41%,并且展现出良好的扩展性。

基于RDMA的分布式键值存储系统性能优化

如今分布式键值存储系统在工业界得到了广泛的应用,如何提升其性能成为分布式系统和并行计算领域的研究热点。远程直接数据存取是高性能计算中常用的通信技术,利用其低延迟高带宽的特性,可以有效提升分布式键值存储系统的性能表现。MPI单边通信是一种支持RDMA的通信方法,本文使用MPI单边通信实现分布式键值操作,并根据其特点重新设计通信模型。为了解决RMA带来的数据一致性问题,本文改变键值对的存储结构并制定存取操作的通信策略。通过将单边通信与TCP/IP进行对比,对不同长度的数据测试通信延迟,验证了RDMA给系统带来的性能提升。

面向广域RDMA的确定性网络需求与技术

随着生成式人工智能(artificial intelligence generated content,AIGC)大模型和智能计算应用的高速发展,面向广域远程直接存储器访问(remote direct memory access,RDMA)的确定性网络技术成为近期智算中心互联的研究热点。首先分析了广域RDMA技术发展路线、实现方案和技术挑战,然后研究广域RDMA部署时面临的各类网络问题,通过搭建实验室和外场测试环境开展了一系列测试验证,分析提出了广域RDMA的确定性需求特性和边界性能指标,最后对面向广域RDMA的确定性网络技术进行了总结和展望。

基于RDMA的高性能单向数据采集技术研究

高性能数据采集技术是提高数据分析效率的重要前提。为解决当前数据采集技术中安全性低、传输时延高、CPU开销大的问题,设计一种基于远程直接内存访问的高性能单向数据采集(ODAR)架构,提高数据采集过程中的安全性和传输性能。针对传输时数据正确性问题,基于可靠性的数据封装策略,设计动态内存优化策略解决内存分配时存在的时延问题,并提出基于优先级的数据传输调度算法解决高吞吐量数据传输中存在的带宽利用率低的问题。实验结果表明,相对于基于UDP协议实现的单向数据采集技术,ODAR架构的吞吐量平均提高了57.01%,传输时延与CPU开销平均降低了61.27%与68.01%,并且大幅提高了数据传输的准确率,内存分配时的时延平均降低了80.15%,网卡带宽利用率平均提高了33.03%。

机载嵌入式超算平台RDMA技术研究及实现

针对机载嵌入式超算平台对高带宽、低延迟网络传输的需求,对RDMA网络原理进行了研究,分析了底层实现机制,对比了双边及单边通信方式的差异,并提出了一种基于状态信号同步的双缓冲RDMA传输机制,通过独立的状态信号控制网络多节点状态同步,并通过单边通信方式实现大数据传输及同步计算。针对数据传输的完整性及安全性,阐述了无损以太网流量控制及拥塞控制方法。相比于传统的机载通信方式,实现了多网络节点高带宽、低延迟的数据传输,且具有低CPU使用率及状态同步传输可靠的优点。

面向高性能计算的互连网络拥塞控制分析与评估

随着高性能计算技术的发展,高性能计算系统的网络节点数量不断增长,高性能计算应用对网络性能的要求越来越高,高性能互连网络的拥塞控制面临很大的压力与挑战。针对高性能计算互连网络的特点,研究高效、低开销的拥塞控制方法,是确保高性能互连网络性能和稳定性的关键。针对高性能计算系统中互连通信的核心问题,对主流的拥塞控制方法进行分析和实验比较;基于高性能计算系统的结构特点和通信特性,设计用于大规模模拟仿真的数据流模型和流文件生成工具,并提出一种拥塞控制综合评价指标;使用所提出的数据流模型,在较大规模网络中对不同拥塞控制方法进行模拟,并基于所提出的评价指标对几种拥塞控制方法的性能进行分析和评估。提出的分析和评估技术可以对高性能互连网络的拥塞控制方法进行更客观和准确的分析与评估。

确定性光传输支撑广域长距算力互联

高性能算力产业的需求随着人工智能应用的普及和不断发展而持续增加,出现了越来越多的算力协同场景。介绍了算力互联、数据传输中,影响RDMA长距吞吐量的因素,提出了超大带宽及确定性体验的网络解决方案,以实现高性能算力互联。

生成式大模型承载网络架构与关键技术探索

生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访问(RDMA)的确定性网络传输技术是未来的重点研究方向。

Direct xPU:一种新型节点间通信优化的分布式异构计算架构

人工智能大模型应用的爆发式增长,使得难以依靠单一节点、单一类型的算力实现应用的规模部署,分布式异构计算成为主流选择,而节点间通信成为大模型训练或推理过程中的主要瓶颈之一.目前,主要由GPU,FPGA等头部芯片厂商所主导的各种计算架构的节点间通信方案还存在一些问题.一方面,为了追求极致的节点间通信性能,一部分架构选择使用协议简单而可扩展性差的点对点传输方案.另一方面,传统的异构计算引擎(例如GPU)虽然在内存、计算管线等算力要素方面独立于CPU,但在通信要素方面却缺少专属的网络通信设备,需要完全或部分借助于CPU通过PCIe等物理链路来处理异构计算引擎与共享网络通信设备之间的通信.所实现的Direct xPU分布式异构计算架构,使得异构计算引擎在算力要素和通信要素两方面均具有独立的、专属的设备,实现了数据的零拷贝,并进一步消除了节点间通信过程中处理跨芯片传输数据所带来的能耗和延迟.测试结果表明,Direct xPU取得了与追求极致的节点间通信性能的计算架构相当的通信延迟,带宽接近物理通信带宽的上限.

基于RDMA协议的零拷贝技术研究

RDMA协议是一个比较新的规范,它允许一台计算机直接访问另一台计算机的内存。该文分析了当前网络通信中零拷贝技术的特点及缺陷,提出了使用RDMA方式对其进行改进,并对RDMA通信方式进行了研究。

RDMA技术的研究与应用

从RDMA的基本概念入手,详细分析其工作原理和实现方法,结合各种具体应用,阐明RDMA作为传输层与应用层之间的连接纽带的重要性和通用性.

基于动态连接的RDMA可靠传输协议设计

未来100P/E级高性能计算机系统对网络的传输可靠性、性能均衡性、可扩展性方面有更高的需求。本文提出的RDMA传输模型,采取配置少量资源,动态连接使用的策略实现端到端的数据可靠传输。与传统的可靠通信协议如Infiniband相比,本方案的优势为:(1)支持自动重路由,可绕过网络故障区域保证消息的可靠传输;(2)支持报文乱序到达,支持源和目的间的多路径传输,提供消息的流控机制,能较好地均衡网络整体性能,减少网络热点和缓解网络拥塞;(3)基于通信接口硬件实现可靠性数据结构,不需要消耗主存为通信建立连接,具有极高的系统可扩展性。初步测试结果表明,采取了优化措施后,该协议不会增加小于4K字节消息的传输延迟。

基于RDMA和NVM的大数据系统一致性协议研究

分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。

一种面向不可靠网络的快速RDMA通信方法

大数据量的远程内存访问(RDMA)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实现可靠的端到端RDMA传输是并行系统体系结构设计的一大难题.提出一种面向不可靠网络下的快速RDMA传输方法,方法能够在节点控制器芯片上高效实现,对上层驱动软件和应用提供可靠的端到端RDMA传输服务.与传统的建立连接的方法相比,方法的硬件设计复杂度大大降低;方法另一优点是实现了按需重传,避免了传统方法中一次RDMA传输出现错误时,需要重传整个RDMA数据的开销,在相同的错误概率下,新方法的传输效率得到了很大的提升.

面向千兆以太网的动态RDMA通信方法

针对RDMA传输在千兆以太网中连接建立等待时间过长造成传输效率降低的问题,提出一种动态RDMA通信方法,并进行建模和实验。该方法在保持对传统通信方法兼容的基础上,提出间接传输方法及对应的动态选择策略。通过扩展NIC的硬件逻辑并预留相应的缓存资源,动态RDMA通信方法可以在连接未建立成功的情况下进行数据传输,同时继续保持连接的建立。该过程实现了数据传输与连接建立的并行进行,且对上层协议透明。以千兆以太网NIC为原型构建端系统模型,并搭建测试平台进行实验。实验结果表明,动态RDMA通信方法以很小的额外硬件开销解决了连接建立等待时间过长的问题,提供了优于传统RDMA通信方法的传输性能。

一种基于NIC的RDMA可靠传输协议的设计与实现

高性能计算机不断增长的规模和复杂性使得可靠性成为影响高性能计算机系统可用性的关键因素,系统互连网络是高性能计算机的重要组成部分,其可靠性是高性能计算机系统设计必须考虑的重要问题。针对高性能计算机系统互连网络可能出现的故障,提出一种基于NIC实现的RDMA可靠传输协议,给出了一种通用的设计实现方案,并对该方案的几种具体优化设计实现方法进行了讨论。提出的可靠传输协议及实现方案能容忍系统互连网络可能出现的多种网络故障,并能尽量减少实现可靠传输所带来的额外开销。实验结果表明,所提出的RDMA可靠传输的实际测试性能与无连接RDMA传输相当。