RDMA协议应用及安全防护技术综述

远程直接内容读写技术是一种有效提升数据传输速率、降低CPU占用率的通信方式,在跨区域数据中心之间的转存、高性能计算、快速数据读写等领域起着重要的作用。然而,作为新兴技术,RDMA缺少得到业界广泛认同的安全方案,目前,随着大量RDMA应用逐渐从专用网络环境向一般以太网拓展,关注其安全风险、为其设置一套在不影响传输效率的前提下保障安全性的防护措施是很有必要的;此外,由于采用了特殊的底层实现和协议设计,RDMA技术不仅无法兼容现有的成熟安全方案,还面临其他特殊安全风险的挑战。为梳理RDMA攻防技术的发展,向即将到来的RDMA技术的大规模应用提供安全保障:以无线带宽协议和基于以太网的RDMA协议第2版为例介绍了RDMA技术及其实现原理,调查了在相关场景下RDMA应用面临的安全风险,总结了近年来RDMA安全领域的攻防研究进展,汇总了能够应对这些安全风险的有效安全方案;在证明其有效防御能力的基础上,结合理论分析和实验数据,对比了这些方案的优劣;提出了RDMA攻防领域后续的改进方案和技术优化前景。

一种面向不可靠网络的快速RDMA通信方法

大数据量的远程内存访问(RDMA)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实现可靠的端到端RDMA传输是并行系统体系结构设计的一大难题.提出一种面向不可靠网络下的快速RDMA传输方法,方法能够在节点控制器芯片上高效实现,对上层驱动软件和应用提供可靠的端到端RDMA传输服务.与传统的建立连接的方法相比,方法的硬件设计复杂度大大降低;方法另一优点是实现了按需重传,避免了传统方法中一次RDMA传输出现错误时,需要重传整个RDMA数据的开销,在相同的错误概率下,新方法的传输效率得到了很大的提升.

基于RDMA的RapidIO用户态通信接口实现

作为一款高性能的嵌入式互联协议,RapidIO支持RDMA操作以获得高性能。目前,针对RapidIO通信接口只有以太网模拟器,这种实现机制限制了RapidIO通信性能的发挥。参考国内外基于RDMA的通信协议实现方法,并结合RapidIO互联协议的特点,提出了一套基于RDMA技术的RapidIO用户态通信接口实现方法。在此基础上,验证了通信接口的性能并对实现方案进行了多种优化。经比较,实现的RapidIO通信接口数据吞吐量是目前所有已知的RapidIO通信接口中最高的。

vsocket:一种基于RDMA的兼容标准套接字加速方法

为了兼容Linux标准套接字,同时利用RDMA提高使用套接字的程序的性能,提出在上层应用与底层RDMA之间搭建一个中间件——Viscore Socket adaptor(简称vsocket);通过拦截socket API,将上层应用通过套接字收发的数据流无缝转接到RDMA承载上。vsocket绕过管理收发缓冲区的内核,针对TCP和UDP分别实现了用户空间的内存管理机制,使用RC类型的RDMA网络支持TCP加速,使用UD类型的RDMA网络支持UDP加速,并重用Linux UDP来辅助其路由。实验结果表明vsocket能够保证Linux标准套接字接口的兼容性,提升网络性能,摆脱Linux内核网络协议栈的限制,改善收发数据的延迟与带宽。

基于RDMA的分布式存储系统研究综述

远程直接内存访问(remote direct memory access, RDMA)技术正在大数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异地内存,并提供高带宽、高吞吐和低延迟的数据传输特性,从而大幅提升分布式存储系统的性能,因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并不能充分发挥RDMA在语义和性能上的优势的原因,并指出存储系统架构需要变革的因素.然后阐述了高效运用RDMA技术主要取决于2个方面:第1方面是硬件资源的高效管理,包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及内存资源管理等;第2方面是软硬件的紧耦合设计,借助RDMA在语义和性能上的特性,重构新型数据组织和索引方式、优化分布式协议等.同时,以分布式文件系统、分布式键值存储和分布式事务系统为典型应用场景,分别阐述了它们在硬件资源管理和软件重构这2个方面的相关研究.最后,给出了总结和展望.

一种基于RDMA多播机制的分布式持久性内存文件系统

持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路.然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA多播能力,将数据高效传输到多个数据节点,从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性,MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制,实现了RPC请求自适应识别,并通过优化返回机制将部分传输操作移出关键路径,进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制,通过设计故障恢复功能、数据校验系统、重传策略与窗口机制,当节点出现崩溃时进行快速恢复,并在传输出现错误时实现数据精准检测与纠正,保证了数据的可靠性和一致性.实验证明,MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2~219倍.在Redis数据库的工作负载下,MTFS相比于NOVA取得了最高10.7%的性能提升,并在多线程测试中取得了良好的可扩展性.

高性能计算系统RDMA Read机制研究

R&A和R2W两种远程直接存储读访问(RDMA Read)消息实现机制在设计复杂度、设计开销、通信性能方面均存在不足。为此,分别从3个方面对现有2种机制进行对比分析。在设计复杂度方面,针对2种机制设计基本的硬件实现流程并做定性分析,在设计开销、通信性能方面,采用基于性能分析模型的方法进行理论分析并设计软件验证平台实现实验验证。根据分析结果结合2种机制的方法和特点提出一种改进的RDMA Read实现机制。实验结果表明,相对R&A和R2W机制,该改进RDMA Read机制在设计复杂度、设计开销、通信性能方面均有较好且均衡的表现。

基于RDMA的区块传输机制设计与实现

随着区块链技术的不断发展,区块的传输延迟成为区块链系统可扩展性的性能瓶颈。远程直接内存访问(RDMA)技术能够支持高带宽和低时延的数据传输,为低延迟区块传输提供了新的思路。因此,结合RDMA原语的特性,设计了用于区块信息共享的区块目录结构,并在此基础上设计并实现了区块传输的基本工作过程。实验结果表明,相较于基于TCP的方案,在1 MB大小的区块上基于RDMA的区块传输机制将节点间的区块传输延迟降低了44%,全网络的区块传输延迟降低了24.4%,在10000节点规模的区块链上,区块链发生临时分叉的数量降低了22.6%。可见,基于RDMA的区块传输机制充分发挥了高速网络的性能优势,降低了区块传输延迟及临时分叉的数量,提高了现有区块链系统的可扩展性。

虚拟机环境下MPI/RDMA库的通信优化

RDMA是在高性能计算中应用最广泛的网络通信技术,以高吞吐、低延迟、低CPU占用而著称.随着高性能计算向云环境迁移,如何在虚拟机环境下高效地利用RDMA通信成为一个研究热点.本文针对高性能应用最常使用的MPI/RDMA通信库,提出在虚拟机环境下的通信优化方案VMPI.VMPI采用连接虚拟化、控制路径与数据路径分离等技术来满足云环境的要求,通过在数据路径上实现对大消息的零拷贝传输来降低端到端通信延迟.实验表明,相比于传统的RDMA虚拟化实现,VMPI可将MPI的点对点通信延迟减少40%左右,并可降低应用基准测试程序Graph500的通信时间占比.

面向两段锁并发控制的RDMA优化技术

分布式事务的性能优化是学术界和工业界的研究热点之一。基于两段锁的并发控制技术可以保证并发事务调度的正确性,目前广泛应用于主流的商用和开源分布式数据库中。然而,现有的研究结果表明,基于传统TCP/IP协议以及Share-Nothing架构的分布式事务处理技术,受制于事务调度器的CPU低利用率、事务调度器与存取节点的网络高延迟,分布式事务的性能瓶颈明显。针对上述两个问题,提出基于远程直接数据存取(RDMA)的两段锁(2PL)并发控制优化技术,利用RDMA的高带宽、低延时以及内核旁路(消除了TCP/IP协议栈所带来的CPU开销)特性,提升分布式事务的性能。主要贡献包括基于RDMA的网络通信算子重写与优化,利用RDMA单边施加、释放读写锁时的原子性保障。基于YCSB测试基准的实验结果表明:单边排他锁算法和单边读写锁算法分别在低、高冲突负载下具有相对优越性;引入RDMA的2PL并发控制,在高冲突负载下,NO WAIT和WAIT DIE两种模式最高可分别实现5.3倍和10.6倍的吞吐量提升。

BOOM-KV:基于RDMA的高性能NVM键值数据库

随着英特尔傲腾数据中心持久化内存模块(DCPMM)开始进入市场以及远程直接内存访问(RDMA)硬件成本的降低,设计融合非易失性内存(NVM)和RDMA的键值(KV)数据库面临新的机遇和挑战。构建基于NVM和RDMA的KV数据库的关键在于设计一个高效的通信协议。遗憾的是,现有工作或采用NVM不感知的RDMA协议,或采用低效的NVM感知的RDMA协议,这导致它们无法最大化KV数据库的性能。本文提出了BOOM协议——一种新型的NVM感知的RDMA协议。相较于NVM不感知的协议,BOOM协议允许直接对远端NVM进行RDMA操作,消除了冗余的数据拷贝;相较于现有的NVM感知的协议,它可以显著减少元数据请求,降低KV请求的端对端延迟。在BOOM协议的基础上构建了BOOM-KV,并针对服务端中央处理器(CPU)利用率和宕机持久化等问题进一步进行优化。将BOOM-KV与最新的研究成果进行对比,结果表明,BOOM-KV能显著降低请求延迟,其中PUT延迟最大降低了42%,GET延迟最大降低了41%,并且展现出良好的扩展性。

基于RDMA的高性能单向数据采集技术研究

高性能数据采集技术是提高数据分析效率的重要前提。为解决当前数据采集技术中安全性低、传输时延高、CPU开销大的问题,设计一种基于远程直接内存访问的高性能单向数据采集(ODAR)架构,提高数据采集过程中的安全性和传输性能。针对传输时数据正确性问题,基于可靠性的数据封装策略,设计动态内存优化策略解决内存分配时存在的时延问题,并提出基于优先级的数据传输调度算法解决高吞吐量数据传输中存在的带宽利用率低的问题。实验结果表明,相对于基于UDP协议实现的单向数据采集技术,ODAR架构的吞吐量平均提高了57.01%,传输时延与CPU开销平均降低了61.27%与68.01%,并且大幅提高了数据传输的准确率,内存分配时的时延平均降低了80.15%,网卡带宽利用率平均提高了33.03%。

国产SW26010-Pro处理器上3级BLAS函数众核并行优化

BLAS(basic linear algebra subprograms)是最基本、最重要的底层数学库之一.在一个标准的BLAS库中,BLAS 3级函数涵盖的矩阵-矩阵运算尤为重要,在许多大规模科学与工程计算应用中被广泛调用.另外,BLAS 3级属于计算密集型函数,对充分发挥处理器的计算性能有至关重要的作用.针对国产SW26010-Pro处理器研究BLAS 3级函数的众核并行优化技术.具体而言,根据SW26010-Pro的存储层次结构,设计多级分块算法,挖掘矩阵运算的并行性.在此基础上,基于远程内存访问(remote memory access,RMA)机制设计数据共享策略,提高从核间的数据传输效率.进一步地,采用三缓冲、参数调优等方法对算法进行全面优化,隐藏直接内存访问(direct memory access,DMA)访存开销和RMA通信开销.此外,利用SW26010-Pro的两条硬件流水线和若干向量化计算/访存指令,还对BLAS 3级函数的矩阵-矩阵乘法、矩阵方程组求解、矩阵转置操作等若干运算进行手工汇编优化,提高了函数的浮点计算效率.实验结果显示,所提出的并行优化技术在SW26010-Pro处理器上为BLAS 3级函数带来了明显的性能提升,单核组BLAS 3级函数的浮点计算性能最高可达峰值性能的92%,多核组BLAS 3级函数的浮点计算性能最高可达峰值性能的88%.

一种面向高性能计算机的超节点控制器的研究

传统高性能计算机的节点由一个处理单元和一个节点控制器组成.为了有效地维护高速缓存一致性,处理单元中的处理器个数会非常有限.因此一台具有千万亿次处理能力的高性能计算机将会有上万个节点,这对互连网络的延迟和带宽都提出了非常高的要求.超节点控制器能够同时连接多个处理单元构成一个超节点,这能够减小互连网络的规模,从而降低互连网络的设计难度,并保证互连网络的性能.用FPGA实现了超节点控制器的原型系统的测试结果表明,采用超节点设计的高性能计算机拥有非常低的通信延迟,同时其通信带宽也有非常好的扩展性.

Infiniband网络架构下RTI通信机制研究

复杂系统的协同仿真中需要运行支撑软件RTI(Run Time Infrastructure)来解决异构模型、异构仿真软件间的数据交互的问题.但RTI的TCP/IP通信机制却无法使得HPC(High Performance Computer)的高速网络Infiniband(IB)在仿真中发挥最大的优势.针对这一问题,本文提出在IB网络架构下基于RDMA(Remote Direct Memory Access)通信机制对RTI进行优化,并以开源HLA项目CERTI软件为基础,研制运行在IB网络下的IB-CERTI软件,最后在不同网络环境下进行对比实验,实验结果证明了IB—CERTI软件在仿真通信中的高效性,特别是仿真邦员间的交互数据量越大,越能提高仿真数据传输效率.

面向天河互连网络的可扩展通信框架实现技术

开源通信框架在编程模型和互连接口之间定义标准化的通信编程接口,提供了独立于互连网络特性的高性能通信操作,提高了编程模型在新型互连网络上的开发效率。通过设计与实现多通道数据传输协议,解决了通信框架在天河互连网络上实现时的性能和扩展性问题。测试数据表明,天河互连网络上的通信框架具有很低的软件层开销,提供了接近于互连硬件设计指标的通信性能,为拓展天河互连网络对各种编程模型和分布式计算框架的高效支持提供了良好的基础。

基于InfiniBand的RAID存储系统设计

以Infiniband(IB)体系结构和SCSI远程直接内存访问协议(SRP)为基础,结合RAID技术,设计了一种RAID存储系统,系统与主机接口的前端采用IB,为主机的I/O访问提供无限带宽,与物理存储设备接口的后端设计了多个RAID5控制卡的RAID0分条技术,以提高磁盘访问的并发性。从而获得了很好的主机存取I/O性能。

基于天河互连的公共通信接口UCX实现与评估

为解决在天河互连和未来高性能互连网络上支持多种高性能、可扩展并行编程模型的问题,提出了一种基于远程直接内存访问(RDMA)技术的公共通信接口UCX实现方案。该UCX实现系统建立了UCX数据抽象到天河互连系统通信资源对象的映射关系,基于短报文通信和共享的RDMA缓冲池实现了一种面向ActiveMessage和单边通信接口的高速数据传输协议,并提出了一种动态可扩展信用流控机制来提高UCX系统在大规模并行应用运行时的可扩展性。实验测试测试表明,由于UCX通信接口操作更匹配互连网络硬件特性,精简了软件处理层次,UCX软件层增加的总开销小于200ns,而基于该UCX的消息传递接口(MPI)系统,相对于现有的天河互连MPI实现架构,减少了约50ns的通信延迟,短消息速率也有约10%的性能提升。该UCX实现系统对拓展天河互连网络上的并行编程模型和应用类型,并确保并行运行效率,提供了较好的技术支撑。

实质与经验：主动消息实现技术

主动消息以其高效性与灵活性正逐渐成为大规模并行机上重要的通信机制。利用主动消息的思想可以在多种体系结构上实现相当优化的通信处理层。本文分析了主动消息的实质和它在传统消息传递（ｍｅｓｓａｇｅｐａｓｓｉｎｇ）、远程过程调用（ｒｅｍｏｔｅｐｒｏｃｅｄｕｒｅｃａｌ）、消息驱动（ｍｅｓａｇｅｄｒｉｖｅｎ）、直接内存访问（ＤＭＡ）系统上的实现，比较了不同系统组织对其实现技术的影响。我们认为，对于机器的通信部件来说。

面向分布式AI的智能网卡低延迟Fabric技术

系统阐述了在分布式人工智能计算负载中使用低延迟Fabric技术出现的问题,包括虚拟化环境支撑、通信原语抽象化、网络拥塞控制等。针对这些问题,提出了使用基于可编程智能网卡的解决思路。