多核下基于远程直接内存访问的高效远程过程调用研究

针对目前基于远程直接内存访问（RDMA）的远程过程调用（RPC）设计在多核背景下存在的性能和扩展性问题，提出了一种新的基于RDMAWrite的高效RPC设计方法并对网络文件系统（NFS）提供了支持。重点就设计中的安全性问题和内存管理机制进行了分析，并针对内存有效利用提出了被动和主动两种回收机制。测试结果表明，这种新的RPC设计方法能降低RPC延迟13％～20％。对内存文件系统及真实磁盘文件系统的测试表明，此设计能有效提高多核系统中RPC的性能和扩展性。

WDM驱动程序中直接内存访问(DMA)方式的设计和实现

Windows 98及2000中采用WDM这种新的模式实现设备的驱动,用户通过设备驱动程序访问设备时可以使用两种方式,即中断或直接内存访问(DMA),这两种方式的实现机理不同,达到的效果也有差别。本文根据实践经验,分析并总结了WDM驱动程序中DMA方式的设备访问过程,探讨了采用DMA技术实现高速数据传输的基本原理。

直接内存访问技术在无人机地面站遥测数据采集中的应用

介绍基于 DMA(直接内存访问 )技术的共轴式无人直升机地面站遥测数据采集系统。该地面站采集系统不仅要求采集来自遥测数据恢复系统的高速遥测数据流 ,同时要对采集到的遥测数据实时处理后显示并保存。采用串口通信或双口 RAM方式都会占用较多的 CPU时间 ,难以满足要求。而 DMA传输方式是计算机高速数据采信的重要手段。通过联试 ,证明该遥测数据采集系统能够保证互不干扰地完成数据的采集、处理、显示与存盘等任务。

基于远程直接内存访问的高性能键值存储系统

随着数据与系统规模的不断扩大,网络传输成为了键值存储系统的性能瓶颈。同时,远程直接内存访问(RDMA)技术能够支持高带宽和低时延的数据传输,为键值存储系统设计提供了新的思路。结合高性能网络中的RDMA技术,设计并实现了高性能、低CPU负载的键值存储系统Chequer;结合RDMA原语的特性,重新设计了键值存储系统的基本操作工作流程;并设计了基于线性探测的共享hash表,解决客户端缓存失效的问题以及提高hash命中率来减少客户端的读取轮数,进一步提高了系统的性能。在小规模集群上实现了Chequer系统,并通过实验验证了其性能。

基于大页共享内存的5G小基站PCIe驱动程序设计

针对5G小基站研发需求,文中介绍了一体化基站的基本原理和组成结构,重点剖析了采用大页共享的PCIe驱动的关键设计要点,详述了程序的主要步骤,并测试驱动程序软件所引入的时延,实验结果满足上层协议栈高速传输数据的要求。

基于DMA实现操作系统内存安全防护技术

随着计算技术的迅速进步,直接内存访问(DMA)作为提高数据传输效率的关键技术,已被广泛应用于现代计算系统中。然而,DMA能够绕过操作系统的传统内存保护机制,具备直接内存访问特性,也引发了严重的内存安全问题。本文对操作系统的内存安全进行了介绍,在此基础上,进一步分析了DMA对内存安全的挑战,并探讨了基于DMA的内存安全防护技术,进而为保障操作系统的内存安全提供技术支持。

MCS-DMA:一种面向SoC内DMA传输的内存控制器优化设计

当前主流片上总线协议——AHB存在访存带宽利用率较低的问题.本文基于SoC内DMA传输较多的特点,提出一种新的优化设计:在内存控制器内部增加MCS-DMA模块,并通过驱动程序将MCS-DMA模块与目标DMA传输绑定.一方面实现数据预取,提升了单个DMA传输时的总线带宽利用率;另一方面使访存请求在内存控制器内部流水化完成,提升多个DMA并发时的总线带宽利用率.将该设计应用到北大众志SKSoC后,单个DMA传输时的总线带宽利用率提升至100%,多个DMA并发时的总线带宽利用率从33.3%提升至85.5%,而芯片的设计面积仅增加2.9%.

一种基于RDMA多播机制的分布式持久性内存文件系统

持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路.然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA多播能力,将数据高效传输到多个数据节点,从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性,MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制,实现了RPC请求自适应识别,并通过优化返回机制将部分传输操作移出关键路径,进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制,通过设计故障恢复功能、数据校验系统、重传策略与窗口机制,当节点出现崩溃时进行快速恢复,并在传输出现错误时实现数据精准检测与纠正,保证了数据的可靠性和一致性.实验证明,MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2~219倍.在Redis数据库的工作负载下,MTFS相比于NOVA取得了最高10.7%的性能提升,并在多线程测试中取得了良好的可扩展性.

一种分布式持久性内存文件系统的一致性机制

持久性内存(persistent memory,PM)和远程直接内存访问(remote direct memory access,RDMA)具有高带宽、低延迟的硬件性能,这为设计高性能的分布式存储系统提供了新的机遇.然而,它们这些新的特性为高效的数据一致性管理引出了诸多问题:一方面,持久性内存数据一致性依赖于CPU主动执行硬件指令刷写缓存实现,而这类指令开销极高,严重影响CPU处理性能;另一方面,RDMA在服务器端CPU不参与的情况下直接读写服务器端内存,因此服务器端CPU无法主动感知数据写入事件以执行数据刷写操作,一旦系统崩溃会造成数据不一致的问题.针对以上2个问题,提出一种分布式持久性内存文件系统的一致性机制(crash consistency mechanism,CCM):首先设计实现了基于操作日志的一致性保障策略,通过将每次操作的元信息记录至日志,并持久化,以保障系统的一致性状态;其次,设计了一种客户端对服务器端的远程写一致性策略,在完成数据传输的同时使服务器端CPU主动执行数据刷写;最后实现了一种服务器端的数据异步持久化,以提高系统的处理能力.测试结果表明,基于CCM的文件系统写吞吐可达到网络裸带宽的88%.相比于现有系统Octopus,CCM性能下降控制在1%以内.

内存事务中并发控制协议研究综述

事务为数据库等系统的上层应用提供了强大的保证.NoSQL数据库通过弱化对事务的支持来获得更高的扩展性,却难以满足OLTP等应用的事务性需求.之后提出的NewSQL数据库架构回归了高一致性的事务支持,并兼顾了海量数据的高效管理.因此,NewSQL数据库逐步将事务执行所需的数据从硬盘迁移到内存中以提升事务执行的效率.但是,已有内存事务的并发控制协议与新兴的存储、网络设备并不适配.从处理策略、版本控制、冲突解决3个维度对近10年来的内存事务中并发控制协议进行了分类阐述,进而从性能、扩展性、持久性3个方面比较了有代表性的并发控制协议.之后总结了4个改进内存事务并发控制协议的技术思路:消除事务扩展瓶颈,利用新硬件加速事务处理,降低事务中止概率,高效保证事务持久性.最后指出了内存事务并发控制协议的未来研究方向.

国产SW26010-Pro处理器上3级BLAS函数众核并行优化

BLAS(basic linear algebra subprograms)是最基本、最重要的底层数学库之一.在一个标准的BLAS库中,BLAS 3级函数涵盖的矩阵-矩阵运算尤为重要,在许多大规模科学与工程计算应用中被广泛调用.另外,BLAS 3级属于计算密集型函数,对充分发挥处理器的计算性能有至关重要的作用.针对国产SW26010-Pro处理器研究BLAS 3级函数的众核并行优化技术.具体而言,根据SW26010-Pro的存储层次结构,设计多级分块算法,挖掘矩阵运算的并行性.在此基础上,基于远程内存访问(remote memory access,RMA)机制设计数据共享策略,提高从核间的数据传输效率.进一步地,采用三缓冲、参数调优等方法对算法进行全面优化,隐藏直接内存访问(direct memory access,DMA)访存开销和RMA通信开销.此外,利用SW26010-Pro的两条硬件流水线和若干向量化计算/访存指令,还对BLAS 3级函数的矩阵-矩阵乘法、矩阵方程组求解、矩阵转置操作等若干运算进行手工汇编优化,提高了函数的浮点计算效率.实验结果显示,所提出的并行优化技术在SW26010-Pro处理器上为BLAS 3级函数带来了明显的性能提升,单核组BLAS 3级函数的浮点计算性能最高可达峰值性能的92%,多核组BLAS 3级函数的浮点计算性能最高可达峰值性能的88%.

面向大模型预训练的智算网络技术研究

随着人工智能的发展,大规模预训练模型在自然语言处理和计算机视觉等领域都取得了显著成果,促进了智算中心的建设。针对面向大模型预训练的智算网络关键技术展开研究,系统梳理了智算网络国内外最新的标准化进展,提出了一种面向智算网络的目标架构,探讨了智算网络关键技术的原理,包括远程直接内存访问(RDMA)、IB(InfiniBand)、基于以太网的RDMA(RoCE)、集合通信等,同时也分析了智算网络目前存在的问题以及未来的发展趋势,在推动智算网络技术发展、指导智算中心建设等方面具有重要意义。

面向异构加速卡的MF-DMA设计与实现

为解决加速卡在异构系统中数据传输带宽低、数据交互方式不灵活的问题,提出一种多功能直接内存访问(multiple functions direct memory access,MF-DMA)架构。采用寄存器配置、存储表和描述符环3种DMA触发方式,适应不同应用数据传输需求;为支持数据流传输和数据块缓存,DMA架构支持AXIS和AXI4两种标准协议接口;设计在Xilinx芯片xczu7ev进行验证,AXIS和AXI4接口最高速率分别为5075 MB/s和4800 MB/s,PCIe总线带宽利用率为79.2%,FPGA资源占用率12.9%。实验结果表明,该设计降低了硬件资源占用率,有效提高了数据传输性能。

基于以太无损网络的智算中心光网络架构研究(特邀)

【目的】近年来,生成式人工智能(AIGC)掀起了人工智能革命,智算中心(ICC)的网络联接也随之向超高带宽、智能无损和算网融合等方向发展,因此ICC光网络需要降低卡间通信时间,以提升数据访问效率。【方法】文章针对ICC场景光网络的组网架构进行了研究,实现了大带宽、低时延和中央处理器(CPU)效率高的无损网络,满足了ICC的大模型训练和推理需求。文章详细分析了ICC的流量分布特征和人工智能(AI)大模型训练组网场景下的通信流特征,深入研究了基于远程直接内存访问(RDMA)的以太无损传输方案的ICC组网架构,并最终在ICC场景下进行了组网实践和时延测试。【结果】文章提出的基于以太网的RDMA(RoCE)传输方案具备基于优先级的流控制、显示拥塞通知、增强传输选择和数据中心桥能力交换协议(DCBX)等能力,可实现数据中心内基于以太协议的无损传输。测试结果显示,使用RoCE协议的传输时延大约稳定在1μs,并且显著优于互联网广域RDMA协议(iWARP)。【结论】文章基于智算场景下的流量特征分析,深入研究了ICC的无损以太网络关键特性,利用RDMA技术实现了ICC场景下光交换网络传输效率的提升,并提出了一种在ICC大模型推理场景下的无损以太网络方案,为RDMA技术在智算场景下的应用探索出了可行的方向。

基于Soft-RoCE的KV客户端网络传输性能提升

RDMA网络因高带宽、低延迟、低CPU负载特点,广泛应用于数据密集业务。应用场景模型是数据中心集群内部Server-Server架构,两端都需搭载RDMA硬件网卡卸载加速网络传输,但是对于更典型的Client-Server架构应用场景,C/S架构由于客户端数量多,从成本因素考虑,客户端选择软件RDMA实现,这样基于RDMA内存语义的客户端的设计成为影响性能的关键因素。提出一种新型基于Soft-RoCE的KV软件客户端和FPGA硬件服务端的架构设计,仅需要支持一种RDMA WRITE单边原语,简化了服务端硬件的复杂度和成本,同时保持RDMA高带宽特性。增加本地事件通知机制有效减少RDMA消息,利用SRIOV和虚拟化资源隔离以及绑核技术手段,使KV客户端可并发、可扩展,并在Key-Value数据库取得吞吐量达2M+IOPS的高性能效果。

高负载网络下线速包捕获接口的设计与实现

为提升高负载网络下包捕获接口的性能,对包捕获接口在网络流量监测和网络入侵检测等应用中的性能进行了研究。分析了传统包捕获优化方法PACKET_MMAP和PF_RING性能受限的原因,设计了一种用户级的包捕获方法。该方法采用了可扩展的内存映射机制、灵活的拷贝策略和高效的轮询机制,最后在IntelPRO/1000 PT Server Adapter上实现。与传统优化技术相比,该方法简单高效,包捕获速率更高。

基于PCIE驱动程序的数据传输卡DMA传输

为提高数据传输速度,研制了一套基于PCIE接口的数据发送和接收系统。该系统主要由4部分组成:数据发送卡、数据接收卡、PCIE驱动程序以及上位机应用程序。文中介绍了数据传输卡的基本原理和构成,重点研究了在Windows XP系统下利用WinDriver开发PCIE设备驱动程序的主要步骤、DMA数据传输的实现和中断响应的处理。经测试,该数据传输系统比较稳定,开发的驱动程序可以实现数据的高速传输。

一种面向高性能计算机的超节点控制器的研究

传统高性能计算机的节点由一个处理单元和一个节点控制器组成.为了有效地维护高速缓存一致性,处理单元中的处理器个数会非常有限.因此一台具有千万亿次处理能力的高性能计算机将会有上万个节点,这对互连网络的延迟和带宽都提出了非常高的要求.超节点控制器能够同时连接多个处理单元构成一个超节点,这能够减小互连网络的规模,从而降低互连网络的设计难度,并保证互连网络的性能.用FPGA实现了超节点控制器的原型系统的测试结果表明,采用超节点设计的高性能计算机拥有非常低的通信延迟,同时其通信带宽也有非常好的扩展性.

多通道串行通信设备的Linux驱动程序实现

以自行开发的PCI接口通信卡为例,简要介绍了PCI总线在光电测量数据通信系统中的应用,重点讨论了Linux设备驱动程序开发方法及虚拟文件层机制等相关概念。针对该通信设备,介绍其在Linux下采用内核模块编程方式,实现中断和DMA方式数据传送的方法。实验测得此传输方案的本地速率可达24.096 Mb/s,传输和响应速度较传统读写方式有了显著提高,数据可稳定传输在460 kb/s,满足系统传输需求。