面向广域RDMA的确定性网络需求与技术

随着生成式人工智能(artificial intelligence generated content,AIGC)大模型和智能计算应用的高速发展,面向广域远程直接存储器访问(remote direct memory access,RDMA)的确定性网络技术成为近期智算中心互联的研究热点。首先分析了广域RDMA技术发展路线、实现方案和技术挑战,然后研究广域RDMA部署时面临的各类网络问题,通过搭建实验室和外场测试环境开展了一系列测试验证,分析提出了广域RDMA的确定性需求特性和边界性能指标,最后对面向广域RDMA的确定性网络技术进行了总结和展望。

面向高性能计算的互连网络拥塞控制分析与评估

随着高性能计算技术的发展,高性能计算系统的网络节点数量不断增长,高性能计算应用对网络性能的要求越来越高,高性能互连网络的拥塞控制面临很大的压力与挑战。针对高性能计算互连网络的特点,研究高效、低开销的拥塞控制方法,是确保高性能互连网络性能和稳定性的关键。针对高性能计算系统中互连通信的核心问题,对主流的拥塞控制方法进行分析和实验比较;基于高性能计算系统的结构特点和通信特性,设计用于大规模模拟仿真的数据流模型和流文件生成工具,并提出一种拥塞控制综合评价指标;使用所提出的数据流模型,在较大规模网络中对不同拥塞控制方法进行模拟,并基于所提出的评价指标对几种拥塞控制方法的性能进行分析和评估。提出的分析和评估技术可以对高性能互连网络的拥塞控制方法进行更客观和准确的分析与评估。

生成式大模型承载网络架构与关键技术探索

生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访问(RDMA)的确定性网络传输技术是未来的重点研究方向。

确定性光传输支撑广域长距算力互联

高性能算力产业的需求随着人工智能应用的普及和不断发展而持续增加,出现了越来越多的算力协同场景。介绍了算力互联、数据传输中,影响RDMA长距吞吐量的因素,提出了超大带宽及确定性体验的网络解决方案,以实现高性能算力互联。

基于动态连接的RDMA可靠传输协议设计

未来100P/E级高性能计算机系统对网络的传输可靠性、性能均衡性、可扩展性方面有更高的需求。本文提出的RDMA传输模型,采取配置少量资源,动态连接使用的策略实现端到端的数据可靠传输。与传统的可靠通信协议如Infiniband相比,本方案的优势为:(1)支持自动重路由,可绕过网络故障区域保证消息的可靠传输;(2)支持报文乱序到达,支持源和目的间的多路径传输,提供消息的流控机制,能较好地均衡网络整体性能,减少网络热点和缓解网络拥塞;(3)基于通信接口硬件实现可靠性数据结构,不需要消耗主存为通信建立连接,具有极高的系统可扩展性。初步测试结果表明,采取了优化措施后,该协议不会增加小于4K字节消息的传输延迟。

一种基于NIC的RDMA可靠传输协议的设计与实现

高性能计算机不断增长的规模和复杂性使得可靠性成为影响高性能计算机系统可用性的关键因素,系统互连网络是高性能计算机的重要组成部分,其可靠性是高性能计算机系统设计必须考虑的重要问题。针对高性能计算机系统互连网络可能出现的故障,提出一种基于NIC实现的RDMA可靠传输协议,给出了一种通用的设计实现方案,并对该方案的几种具体优化设计实现方法进行了讨论。提出的可靠传输协议及实现方案能容忍系统互连网络可能出现的多种网络故障,并能尽量减少实现可靠传输所带来的额外开销。实验结果表明,所提出的RDMA可靠传输的实际测试性能与无连接RDMA传输相当。

基于RDMA协议的零拷贝技术研究

RDMA协议是一个比较新的规范,它允许一台计算机直接访问另一台计算机的内存。该文分析了当前网络通信中零拷贝技术的特点及缺陷,提出了使用RDMA方式对其进行改进,并对RDMA通信方式进行了研究。

新型智算中心组网方案研究

当前算力需求爆发式增长,通用计算也朝着人工智能计算的方向演进,新型智算中心网络作为算力间数据交互的中心,成为影响算力性能发挥的关键。分析了智算中心对网络的需求,对网络协议、架构和运维管理等方面进行了深入研究,并结合业界发展情况,给出了智算中心组网方案的建议。

面向大模型预训练的智算网络技术研究

随着人工智能的发展,大规模预训练模型在自然语言处理和计算机视觉等领域都取得了显著成果,促进了智算中心的建设。针对面向大模型预训练的智算网络关键技术展开研究,系统梳理了智算网络国内外最新的标准化进展,提出了一种面向智算网络的目标架构,探讨了智算网络关键技术的原理,包括远程直接内存访问(RDMA)、IB(InfiniBand)、基于以太网的RDMA(RoCE)、集合通信等,同时也分析了智算网络目前存在的问题以及未来的发展趋势,在推动智算网络技术发展、指导智算中心建设等方面具有重要意义。

数据中心无损网络关键技术与组网策略研究

面向算力网络的多元化、多样化、高速化发展趋势以及数据中心网络架构的演进趋势,为解决飞速增长的高性能处理需求、数据存储和算力处理效率问题,在分析总结远端内存直接访问(Remote Direct Memory Access,RDMA)技术的基础上,研究了无损网络的优势应用场景,提出了无损网络组网技术策略,经实测验证,组网性能满足高性能场景需求。

RDMA技术在数据中心中的应用研究

随着云计算向数据化智能化的方向演进,数据的流转与有效利用将为业务带来核心价值。大规模深度学习、机器训练等应用是极其依赖算力的,大量的信息交互对网络提出了很高的要求,由此需要一个低时延、无丢包、高吞吐的算力网络。考察RDMA[1]技术在数据中心中的应用,并分析其对于未来云数据中心高性能集群计算的影响。

RDMA高速网络状态感知与度量指标体系研究

随着数据中心网络承载的数据量的爆炸式增长,越来越多的框架、模型和应用选择使用RDMA技术来加速网络传输。RoCE是RDMA技术在以太网上的实现,但针对RoCE网络目前还没有有效的状态感知和度量体系,无法全面展现RDMA网络状态。对此,提出针对RoCE的实时状态感知系统和多维度多层次的RDMA度量指标体系。采用旁路分布式流量捕获方式,运用Sketch算法全方位度量RDMA网络状态。系统易于部署且成本低,具有可扩展性和灵活性。实验结果表明,该系统能在较低误差下客观反映出RoCE网络状态,提供故障定位建议。

金融分布式数据库异步全局索引研究

伴随移动支付的快速发展,传统的金融核心业务所使用的集中式数据库面临性能、可用性等方面的挑战。为此有研究者提出了采用计算和存储分离架构的分布式数据库解决思路,通过网络连接构建在物理上分散、逻辑上集中的分布式数据库管理系统。全局索引是分布式数据库提升查询效率的重要手段,但当前的全局索引主要通过在传统网络中利用同步机制来实现。这种机制在金融数据管理的典型交易和批量导入数据场景下面临单表索引数量少、吞吐量降低、事务响应时间抖动等亟需解决的问题。为此,提出了一种基于分布式数据库的异步全局索引架构,通过新增MQ消息队列、分布式缓存,以及利用RDMA网络,实现一种满足金融典型场景需求的异步全局索引。为了验证有效性,与Oracle、CockroachDB在相同的场景下进行大量对比分析,实验结果表明,在金融核心业务数据的批量导入、交易等场景中,该方法的主要性能指标比现有方法提升60%以上,而对系统资源需求降低20%以上。

当前网络存储中零拷贝技术浅析

零拷贝技术能有效消除端系统中非必要的拷贝过程,大大提高网络吞吐率,降低网络存储中的通讯延迟,提高存储效率。介绍了几种网络存储中的零拷贝技术,特别是RDMA技术,并对其特点进行了比较分析,展望了未来零拷贝技术的发展前景。

飞机试飞实时监控管控系统软件构架的设计与实现

飞机试飞实时监控是飞机试飞的重要环节。为解决原系统越来越难以满足现如今大场次多机种飞行实时监控的问题,在原飞行实时监控系统基础上提出新的实时监控理念。RDMA与网络附属存储(NAS)的有效结合解决了大数据量实时存储的问题。系统提升了飞行实时监控系统的功能,确保了多架飞机同时试飞实时监控的安全与质量。实时监控期间各系统、网络等运行状态信息清晰显示,事后回放、任务准备条理清楚,飞行资料和实时监控软件安控符合相关规定。通过一段时间运行,各项技术指标达到预期目的,管控系统、实时监控系统两大主线并行运行稳定、清晰。

支持共享存储的千兆机群网络的实现

在共享虚拟存储机群系统中,互连网络已经成为提高并行性能的瓶颈.本文设计并实现了一种机群互连网络—FRAMP,它不但提供高性能的消息传递,而且对共享虚拟存储提供一些低层硬件支持,包括基于虚地址的RDMA读写操作和TLB自动更新.设计了一种定制的用户级通信协议,大幅度降低系统和协议开销.设计并实现了基于输入缓冲输出分布式调度的交叉开关的原型交换机和支持四种数据传输方式的网络接口,改进了虫洞交换并在一个时钟周期内完成带初始值的轮循调度.测试表明,FRAMP网络在各个层次获得良好的性能,带宽利用率在同类系统中最高,应用程序并行性能与与Myrinet和SCI相当,在某些情况下比它们更好.

Infiniband网络架构下RTI通信机制研究

复杂系统的协同仿真中需要运行支撑软件RTI(Run Time Infrastructure)来解决异构模型、异构仿真软件间的数据交互的问题.但RTI的TCP/IP通信机制却无法使得HPC(High Performance Computer)的高速网络Infiniband(IB)在仿真中发挥最大的优势.针对这一问题,本文提出在IB网络架构下基于RDMA(Remote Direct Memory Access)通信机制对RTI进行优化,并以开源HLA项目CERTI软件为基础,研制运行在IB网络下的IB-CERTI软件,最后在不同网络环境下进行对比实验,实验结果证明了IB—CERTI软件在仿真通信中的高效性,特别是仿真邦员间的交互数据量越大,越能提高仿真数据传输效率.

天河-1A互连系统的接口设计

NIC是高性能互连网络THNet的网络接口芯片,基于自主研发的通信协议,它高效地实现了无连接、零拷贝、用户级通信的RDMA传输机制,基于该机制的MPI实现具有极高的系统可扩展性。实现了基于控制报文触发的描述符队列处理机制,以支持卸载的聚合通信,包括广播和栅栏同步。使用NIC芯片的网络接口卡在测试中获得了1.57μs的最小单边延迟和6.34GB/s的带宽。NIC已成功应用于2010年TOP500排名世界第一的天河-1A超级计算机。

多核下基于远程直接内存访问的高效远程过程调用研究

针对目前基于远程直接内存访问（RDMA）的远程过程调用（RPC）设计在多核背景下存在的性能和扩展性问题，提出了一种新的基于RDMAWrite的高效RPC设计方法并对网络文件系统（NFS）提供了支持。重点就设计中的安全性问题和内存管理机制进行了分析，并针对内存有效利用提出了被动和主动两种回收机制。测试结果表明，这种新的RPC设计方法能降低RPC延迟13％～20％。对内存文件系统及真实磁盘文件系统的测试表明，此设计能有效提高多核系统中RPC的性能和扩展性。

基于SRP的IB-SAN设计与实现

介绍了基于SRP的IB-SAN的整体结构,分析了SCSI read/write命令处理过程中的两个关键问题,即数据缓冲区的内存注册/注销方法和RDMA操作的执行者获取对方数据缓冲区信息的方式。实验结果表明,SRP能够使InfiniBand网络性能得到充分发挥,系统的总体I/O性能明显优于基于iSCSI协议的IB-SAN。