基于DPU芯片的RDMA atomic操作的硬件实现

RDMA 网络具有高带宽、低延时、低CPU负载的特点,广泛应用于数据中心。RDMA技术中的RoCEv2由于兼容当前数据中心的网络层与数据链路层,而被认为是一种低成本的RDMA技术解决方案。介绍了一种DPU芯片中RDMA atomic操作的硬件实现。DPU芯片基于RoCEv2协议,在网络拥塞出现丢包时,能够实现RDMA atomic操作在响应端最多执行一次的要求。在硬件电路功能仿真中,已实现了该需求,且重传RDMA atomic操作的延迟相比之前缩短了至少2 μs。

运营商大模型硬件基础设施创新及RDMA流量控制技术研究

从业界大模型硬件基础设施创新的主要模式出发,论述了电信运营商在该领域自主创新的路线选择考虑。基于实际组网环境和业务场景提出需求,设计了一种支持NO-PFC、交换机免配置的拥塞控制算法,使用RTT作为拥塞感知信号,控制交换机队列长度,实现低延迟。

RDMA协议应用及安全防护技术综述

远程直接内容读写技术是一种有效提升数据传输速率、降低CPU占用率的通信方式,在跨区域数据中心之间的转存、高性能计算、快速数据读写等领域起着重要的作用。然而,作为新兴技术,RDMA缺少得到业界广泛认同的安全方案,目前,随着大量RDMA应用逐渐从专用网络环境向一般以太网拓展,关注其安全风险、为其设置一套在不影响传输效率的前提下保障安全性的防护措施是很有必要的;此外,由于采用了特殊的底层实现和协议设计,RDMA技术不仅无法兼容现有的成熟安全方案,还面临其他特殊安全风险的挑战。为梳理RDMA攻防技术的发展,向即将到来的RDMA技术的大规模应用提供安全保障:以无线带宽协议和基于以太网的RDMA协议第2版为例介绍了RDMA技术及其实现原理,调查了在相关场景下RDMA应用面临的安全风险,总结了近年来RDMA安全领域的攻防研究进展,汇总了能够应对这些安全风险的有效安全方案;在证明其有效防御能力的基础上,结合理论分析和实验数据,对比了这些方案的优劣;提出了RDMA攻防领域后续的改进方案和技术优化前景。

数据中心的RDMA网络拥塞控制算法分析

随着数据中心网络的不断扩大和流量的持续增长,网络拥塞问题变得越来越严重,不仅会导致数据传输延迟增加,网络吞吐量下降,甚至还会引发数据传输中断。基于此,本文研究了数据中心的RDMA远程直接内存访问(RDMA)网络拥塞控制算法,首先介绍了RDMA网络的基本原理和特点,然后提出了一种基于RDMA网络的拥塞控制算法,通过仿真实验验证了所提算法的有效性和性能优势。本文的研究成果对于提高数据中心网络的性能和稳定性具有一定的指导意义。

基于RDMA协议的零拷贝技术研究

RDMA协议是一个比较新的规范,它允许一台计算机直接访问另一台计算机的内存。该文分析了当前网络通信中零拷贝技术的特点及缺陷,提出了使用RDMA方式对其进行改进,并对RDMA通信方式进行了研究。

基于动态连接的RDMA可靠传输协议设计

未来100P/E级高性能计算机系统对网络的传输可靠性、性能均衡性、可扩展性方面有更高的需求。本文提出的RDMA传输模型,采取配置少量资源,动态连接使用的策略实现端到端的数据可靠传输。与传统的可靠通信协议如Infiniband相比,本方案的优势为:(1)支持自动重路由,可绕过网络故障区域保证消息的可靠传输;(2)支持报文乱序到达,支持源和目的间的多路径传输,提供消息的流控机制,能较好地均衡网络整体性能,减少网络热点和缓解网络拥塞;(3)基于通信接口硬件实现可靠性数据结构,不需要消耗主存为通信建立连接,具有极高的系统可扩展性。初步测试结果表明,采取了优化措施后,该协议不会增加小于4K字节消息的传输延迟。

RDMA技术的研究与应用

从RDMA的基本概念入手,详细分析其工作原理和实现方法,结合各种具体应用,阐明RDMA作为传输层与应用层之间的连接纽带的重要性和通用性.

面向千兆以太网的动态RDMA通信方法

针对RDMA传输在千兆以太网中连接建立等待时间过长造成传输效率降低的问题,提出一种动态RDMA通信方法,并进行建模和实验。该方法在保持对传统通信方法兼容的基础上,提出间接传输方法及对应的动态选择策略。通过扩展NIC的硬件逻辑并预留相应的缓存资源,动态RDMA通信方法可以在连接未建立成功的情况下进行数据传输,同时继续保持连接的建立。该过程实现了数据传输与连接建立的并行进行,且对上层协议透明。以千兆以太网NIC为原型构建端系统模型,并搭建测试平台进行实验。实验结果表明,动态RDMA通信方法以很小的额外硬件开销解决了连接建立等待时间过长的问题,提供了优于传统RDMA通信方法的传输性能。

一种面向不可靠网络的快速RDMA通信方法

大数据量的远程内存访问(RDMA)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实现可靠的端到端RDMA传输是并行系统体系结构设计的一大难题.提出一种面向不可靠网络下的快速RDMA传输方法,方法能够在节点控制器芯片上高效实现,对上层驱动软件和应用提供可靠的端到端RDMA传输服务.与传统的建立连接的方法相比,方法的硬件设计复杂度大大降低;方法另一优点是实现了按需重传,避免了传统方法中一次RDMA传输出现错误时,需要重传整个RDMA数据的开销,在相同的错误概率下,新方法的传输效率得到了很大的提升.

一种基于NIC的RDMA可靠传输协议的设计与实现

高性能计算机不断增长的规模和复杂性使得可靠性成为影响高性能计算机系统可用性的关键因素,系统互连网络是高性能计算机的重要组成部分,其可靠性是高性能计算机系统设计必须考虑的重要问题。针对高性能计算机系统互连网络可能出现的故障,提出一种基于NIC实现的RDMA可靠传输协议,给出了一种通用的设计实现方案,并对该方案的几种具体优化设计实现方法进行了讨论。提出的可靠传输协议及实现方案能容忍系统互连网络可能出现的多种网络故障,并能尽量减少实现可靠传输所带来的额外开销。实验结果表明,所提出的RDMA可靠传输的实际测试性能与无连接RDMA传输相当。

基于多影响因素RDMA*算法的无人驾驶动态路径规划

无人驾驶汽车的路径规划面临着复杂多变的交通环境,为了更全面的评价路径选择指标以规划更合理的路径,以及更好的解决路段环境动态变化对规划结果造成的影响,研究了一种考虑多影响因素的动态路径规划算法——RDMA*(Real-time Dynamics of Multiple influencing factors AStar)算法。以A*(AStar)算法为核心,通过加入多影响因素的交通评价因子对其代价函数进行改进,综合考虑距离,交通拥堵程度,道路平整度和其他影响因素,应用层次分析法确定各影响因素的相对权重,以综合代价值为评价指标进行路径规划。通过GPS,雷达和摄像头等设备,利用融合感知技术获取相关道路环境信息,根据获取的全局和局部交通环境数据信息,利用实时动态更新策略解决动态环境下的路径规划问题,实时规划最优路径。通过对实际案例进行模拟,结果表明,应用RDMA*方法规划的路径相比基础A*方法规划的路径出行总体耗时减少了15.75%。并且在遇到特殊事件的状况下,通过RDMA*动态规划可为无人驾驶车辆即时提供一条综合代价值最小,耗时最少的可行路径,与改进的A*动态路径规划方法相比减少了10.63%的二次规划综合代价值的损耗,提高了7.83%的时间效率。该方法能更好的适应复杂的道路和交通系统,即时应对动态变化的交通状况,具备更强的实用性。

RGraph:基于RDMA的高效分布式图数据处理系统

图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemini等经典的分布式大图数据处理系统.然而,与当前先进的基于单机的图处理系统相比,这些经典的分布式图处理系统在处理真实的图数据时并没有充足或稳定的性能优势.分析了几个有代表性的分布式图处理系统,总结并归纳出了影响其性能的主要挑战.通过对这些挑战的深入研究,提出了RGraph——一个基于RDMA的高效分布式大图数据处理系统.RGraph旨在通过充分利用RDMA的优势来提升图处理系统多个方面的性能.在图划分方面,RGraph采用基于块的划分方式避免破坏原始图数据的局部性,从而保证顶点的高效访问.在负载方面,RGraph提出了基于RDMA单边READ的任务迁移机制和线程间细粒度的任务抢夺方式来分别保证计算节点间以及计算节点内线程间的动态负载均衡,确保集群中的所有计算资源能够被充分利用.在通信方面,RGraph通过对IB verbs的有效封装,实现了符合图计算语义的多线程RDMA通信模型.相比于传统的MPI,RGraph的通信机制可以减少计算节点间2.1倍以上的通信延迟.最后,利用5个真实大图数据集和1个合成数据集,在拥有8个计算节点的高性能集群上测试了RGraph.实验结果表明,RGraph具有明显的性能优势.相比于Powergraph,RGraph具有10.1-16.8倍的加速比,与当前最先进的分布式图处理系统相比,RGraph的加速比仍能达到2.89-5.12倍.同时,RGraph在极度偏斜的幂律图上也能保证稳定的性能优势.

基于DOST技术对RDMA高效安全性的认证

目的为解决RDMA高效安全的传输问题.方法根据RDMA自身的特点,提出DOST安全认证方法.结果利用数字摘要和One Time Passwords,并结合Stag的认证以及通过与已有算法加密速度的比较,证明了DOST安全认证方法的安全性和高效性.结论DOST方法不但有效的为RDMA提供安全性并且与已有算法相比它也使RDMA的传输性能有了很大的提高.

RDMA技术在数据中心中的应用研究

随着云计算向数据化智能化的方向演进,数据的流转与有效利用将为业务带来核心价值。大规模深度学习、机器训练等应用是极其依赖算力的,大量的信息交互对网络提出了很高的要求,由此需要一个低时延、无丢包、高吞吐的算力网络。考察RDMA[1]技术在数据中心中的应用,并分析其对于未来云数据中心高性能集群计算的影响。

基于RDMA和NVM的大数据系统一致性协议研究

分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。

RDMA高速网络状态感知与度量指标体系研究

随着数据中心网络承载的数据量的爆炸式增长,越来越多的框架、模型和应用选择使用RDMA技术来加速网络传输。RoCE是RDMA技术在以太网上的实现,但针对RoCE网络目前还没有有效的状态感知和度量体系,无法全面展现RDMA网络状态。对此,提出针对RoCE的实时状态感知系统和多维度多层次的RDMA度量指标体系。采用旁路分布式流量捕获方式,运用Sketch算法全方位度量RDMA网络状态。系统易于部署且成本低,具有可扩展性和灵活性。实验结果表明,该系统能在较低误差下客观反映出RoCE网络状态,提供故障定位建议。

面向两段锁并发控制的RDMA优化技术

分布式事务的性能优化是学术界和工业界的研究热点之一。基于两段锁的并发控制技术可以保证并发事务调度的正确性,目前广泛应用于主流的商用和开源分布式数据库中。然而,现有的研究结果表明,基于传统TCP/IP协议以及Share-Nothing架构的分布式事务处理技术,受制于事务调度器的CPU低利用率、事务调度器与存取节点的网络高延迟,分布式事务的性能瓶颈明显。针对上述两个问题,提出基于远程直接数据存取(RDMA)的两段锁(2PL)并发控制优化技术,利用RDMA的高带宽、低延时以及内核旁路(消除了TCP/IP协议栈所带来的CPU开销)特性,提升分布式事务的性能。主要贡献包括基于RDMA的网络通信算子重写与优化,利用RDMA单边施加、释放读写锁时的原子性保障。基于YCSB测试基准的实验结果表明:单边排他锁算法和单边读写锁算法分别在低、高冲突负载下具有相对优越性;引入RDMA的2PL并发控制,在高冲突负载下,NO WAIT和WAIT DIE两种模式最高可分别实现5.3倍和10.6倍的吞吐量提升。

一种改进的高性能远程内存直接访问(RDMA)的实现

Infiniband体系架构(IBA)是一种新兴的互联技术,它主要用于处理节点和输入输出节点之间的互联,从而形成一个系统级的网络。为了改进通信子系统的性能,IBA提供了很多特性,其中之一就是远程直接内存访问(Romote Direct Memory Access,RD-MA)。但是在标准的IBA实现中,对于控制报文和小报文使用发送接收操作来进行。本文提出了一种改进的RDMA实现,使得RDMA能够应用于控制报文和小报文,从而使得传输小报文和控制报文的延迟平均降低24%。

RDMA网络传输技术研究综述

面对高性能计算、分布式存储等应用的快速发展,现有的网络件架构无法满足业务发展的需求,新兴的RDMA技术解决了传统网络架构的性能瓶颈,本文对RDMA技术的基本原理深入研究,并为应用开发给出指导。

SCSI RDMA协议在InfiniBand网络上的实现与应用

本文介绍了一种在InfiniBand网络上实现SCSI RDMA协议的方法,对其性能进行了测试和分析,并结合InfiniBand网络,对SCSI RDMA在高性能集群系统上的应用进行了分析和总结.