题名 面向广域RDMA的确定性网络需求与技术
被引量:1
1
作者
赵俊峰
李芳
叶晓峰
江凇
机构
中国信息通信研究院
江苏为是科技有限公司
国网江苏省电力有限公司信息通信分公司
出处
《电信科学》
2023年第11期39-51,共13页
基金
国家电网公司总部科技项目(No.5700-202318269A-1-1-ZN)。
文摘
随着生成式人工智能(artificial intelligence generated content,AIGC)大模型和智能计算应用的高速发展,面向广域远程直接存储器访问(remote direct memory access,RDMA)的确定性网络技术成为近期智算中心互联的研究热点。首先分析了广域RDMA技术发展路线、实现方案和技术挑战,然后研究广域RDMA部署时面临的各类网络问题,通过搭建实验室和外场测试环境开展了一系列测试验证,分析提出了广域RDMA的确定性需求特性和边界性能指标,最后对面向广域RDMA的确定性网络技术进行了总结和展望。
关键词
广域rdma
确定性网络
边界性能指标
Keywords
rdma -WAN
deterministic network ing
boundary performance indicator
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 面向高性能计算的互连网络拥塞控制分析与评估
2
作者
孙岩
张建民
黎渊
孙舜禹
机构
国防科技大学计算机学院
出处
《计算机工程与科学》
CSCD
北大核心
2024年第2期209-216,共8页
基金
国家重点研发计划(2022YFB2803405)
国防科技重点实验室项目(WDZC20235250114)。
文摘
随着高性能计算技术的发展,高性能计算系统的网络节点数量不断增长,高性能计算应用对网络性能的要求越来越高,高性能互连网络的拥塞控制面临很大的压力与挑战。针对高性能计算互连网络的特点,研究高效、低开销的拥塞控制方法,是确保高性能互连网络性能和稳定性的关键。针对高性能计算系统中互连通信的核心问题,对主流的拥塞控制方法进行分析和实验比较;基于高性能计算系统的结构特点和通信特性,设计用于大规模模拟仿真的数据流模型和流文件生成工具,并提出一种拥塞控制综合评价指标;使用所提出的数据流模型,在较大规模网络中对不同拥塞控制方法进行模拟,并基于所提出的评价指标对几种拥塞控制方法的性能进行分析和评估。提出的分析和评估技术可以对高性能互连网络的拥塞控制方法进行更客观和准确的分析与评估。
关键词
高性能计算
拥塞控制
流量控制
rdma 网络
Keywords
high performance computing
congestion control
traffic control
rdma network
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 生成式大模型承载网络架构与关键技术探索
3
作者
唐宏
武娟
徐晓青
张宁
机构
中国电信股份有限公司研究院
出处
《中兴通讯技术》
北大核心
2024年第2期50-55,共6页
文摘
生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访问(RDMA)的确定性网络传输技术是未来的重点研究方向。
关键词
生成式大模型
rdma
网络拥塞控制
网络负载均衡
Keywords
large generative model
rdma
network congestion control
network load balancing
分类号
TP393.0
[自动化与计算机技术—计算机应用技术]
题名 确定性光传输支撑广域长距算力互联
4
作者
王光全
满祥锟
徐博华
吕福华
孟万红
机构
中国联通研究院
华为技术有限公司
出处
《邮电设计技术》
2024年第2期7-13,共7页
文摘
高性能算力产业的需求随着人工智能应用的普及和不断发展而持续增加,出现了越来越多的算力协同场景。介绍了算力互联、数据传输中,影响RDMA长距吞吐量的因素,提出了超大带宽及确定性体验的网络解决方案,以实现高性能算力互联。
关键词
长距rdma
全光网
OTN
OXC
Keywords
Long-distance rdma
All-optical network
OTN
OXC
分类号
TN913
[电子电信—通信与信息系统]
题名 基于动态连接的RDMA可靠传输协议设计
被引量:7
5
作者
刘路
张磊
曹继军
戴艺
机构
国防科学技术大学计算机学院
出处
《计算机工程与科学》
CSCD
北大核心
2012年第8期184-190,共7页
基金
国家863计划资助项目(2012AA01A301)
国家自然科学基金资助项目(61003301)
文摘
未来100P/E级高性能计算机系统对网络的传输可靠性、性能均衡性、可扩展性方面有更高的需求。本文提出的RDMA传输模型,采取配置少量资源,动态连接使用的策略实现端到端的数据可靠传输。与传统的可靠通信协议如Infiniband相比,本方案的优势为:(1)支持自动重路由,可绕过网络故障区域保证消息的可靠传输;(2)支持报文乱序到达,支持源和目的间的多路径传输,提供消息的流控机制,能较好地均衡网络整体性能,减少网络热点和缓解网络拥塞;(3)基于通信接口硬件实现可靠性数据结构,不需要消耗主存为通信建立连接,具有极高的系统可扩展性。初步测试结果表明,采取了优化措施后,该协议不会增加小于4K字节消息的传输延迟。
关键词
可靠传输协议
rdma
网络接口
INFINIBAND
动态连接
Keywords
reliable communication protocol
rdma
network interface
Infiniband
dynamic connection
分类号
TP393.032
[自动化与计算机技术—计算机应用技术]
TP302.7
[自动化与计算机技术—计算机系统结构]
题名 一种基于NIC的RDMA可靠传输协议的设计与实现
被引量:3
6
作者
夏军
庞征斌
刘路
张峻
常俊胜
机构
国防科学技术大学计算机学院
出处
《计算机工程与科学》
CSCD
北大核心
2014年第2期216-221,共6页
基金
国家自然科学基金资助项目(61103083
61133007)
国家863计划资助项目(2012AA01A301)
文摘
高性能计算机不断增长的规模和复杂性使得可靠性成为影响高性能计算机系统可用性的关键因素,系统互连网络是高性能计算机的重要组成部分,其可靠性是高性能计算机系统设计必须考虑的重要问题。针对高性能计算机系统互连网络可能出现的故障,提出一种基于NIC实现的RDMA可靠传输协议,给出了一种通用的设计实现方案,并对该方案的几种具体优化设计实现方法进行了讨论。提出的可靠传输协议及实现方案能容忍系统互连网络可能出现的多种网络故障,并能尽量减少实现可靠传输所带来的额外开销。实验结果表明,所提出的RDMA可靠传输的实际测试性能与无连接RDMA传输相当。
关键词
rdma
可靠性
网络接口
可靠传输协议
Keywords
rdma
reliability
network interface
reliable communication protocol
分类号
TP316.4
[自动化与计算机技术—计算机软件与理论]
题名 基于RDMA协议的零拷贝技术研究
被引量:7
7
作者
余胜生
初莹莹
周敬利
欧阳凯
机构
华中科技大学计算机学院外存储国家专业实验室
出处
《计算机工程与应用》
CSCD
北大核心
2004年第3期126-128,共3页
基金
国家863高技术研究发展计划项目"存储虚拟化及其文件系统研究"资助(编号:2001AA111011)
文摘
RDMA协议是一个比较新的规范,它允许一台计算机直接访问另一台计算机的内存。该文分析了当前网络通信中零拷贝技术的特点及缺陷,提出了使用RDMA方式对其进行改进,并对RDMA通信方式进行了研究。
关键词
网络通信
零拷贝
rdma 协议
技术特点
Keywords
network Communication,Zero-copy,rdma Protocol
分类号
TP393
[自动化与计算机技术—计算机应用技术]
TN915.04
[电子电信—通信与信息系统]
题名 新型智算中心组网方案研究
8
作者
张世华
文湘江
申佳
张奎
谭蓓
刘俊通
机构
中讯邮电咨询设计院有限公司郑州分公司
中国联合网络通信集团有限公司
中国联通江西分公司
出处
《邮电设计技术》
2024年第6期22-25,共4页
文摘
当前算力需求爆发式增长,通用计算也朝着人工智能计算的方向演进,新型智算中心网络作为算力间数据交互的中心,成为影响算力性能发挥的关键。分析了智算中心对网络的需求,对网络协议、架构和运维管理等方面进行了深入研究,并结合业界发展情况,给出了智算中心组网方案的建议。
关键词
智算中心
组网方案
无损网络
rdma
Keywords
Intelligent computing center
network ing scheme
Lossless network
rdma
分类号
TN915
[电子电信—通信与信息系统]
题名 面向大模型预训练的智算网络技术研究
9
作者
王学聪
冀思伟
李聪
机构
中国电信股份有限公司研究院
出处
《电信科学》
北大核心
2024年第6期160-172,共13页
基金
国家重点研发计划项目(No.2023YFB2904100)。
文摘
随着人工智能的发展,大规模预训练模型在自然语言处理和计算机视觉等领域都取得了显著成果,促进了智算中心的建设。针对面向大模型预训练的智算网络关键技术展开研究,系统梳理了智算网络国内外最新的标准化进展,提出了一种面向智算网络的目标架构,探讨了智算网络关键技术的原理,包括远程直接内存访问(RDMA)、IB(InfiniBand)、基于以太网的RDMA(RoCE)、集合通信等,同时也分析了智算网络目前存在的问题以及未来的发展趋势,在推动智算网络技术发展、指导智算中心建设等方面具有重要意义。
关键词
智算网络
远程直接内存访问
大模型
Keywords
intelligent computing network
rdma
large-scale model
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 数据中心无损网络关键技术与组网策略研究
10
作者
蔡毅
樊蓉
金沙
机构
中国移动通信集团设计院有限公司上海分公司
出处
《邮电设计技术》
2024年第7期83-87,共5页
基金
上海市2023年度“科技创新行动计划”软科学研究项目(23692123500)。
文摘
面向算力网络的多元化、多样化、高速化发展趋势以及数据中心网络架构的演进趋势,为解决飞速增长的高性能处理需求、数据存储和算力处理效率问题,在分析总结远端内存直接访问(Remote Direct Memory Access,RDMA)技术的基础上,研究了无损网络的优势应用场景,提出了无损网络组网技术策略,经实测验证,组网性能满足高性能场景需求。
关键词
算力网络
无损网络
rdma
组网技术
Keywords
Computing power network
Lossless network
rdma
network ing technology
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 RDMA技术在数据中心中的应用研究
被引量:3
11
作者
涂晓军
孙权
蔡立志
机构
中国银联股份有限公司
复旦大学
上海计算机软件技术开发中心上海市计算机软件评测重点实验室
出处
《计算机应用与软件》
北大核心
2021年第3期22-25,45,共5页
基金
上海市优秀学术/技术带头人计划项目(19XD1433700)。
文摘
随着云计算向数据化智能化的方向演进,数据的流转与有效利用将为业务带来核心价值。大规模深度学习、机器训练等应用是极其依赖算力的,大量的信息交互对网络提出了很高的要求,由此需要一个低时延、无丢包、高吞吐的算力网络。考察RDMA[1]技术在数据中心中的应用,并分析其对于未来云数据中心高性能集群计算的影响。
关键词
rdma
低延时
大算力网络
Keywords
rdma
Low latency
High throughput computing network
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
题名 RDMA高速网络状态感知与度量指标体系研究
12
作者
徐佳玮
严明
吴杰
机构
复旦大学计算机科学技术学院
复旦大学教育部网络信息安全审计与监控工程研究中心
出处
《计算机应用与软件》
北大核心
2022年第2期128-137,共10页
基金
国家重点研发计划“试验场项目”(2017YFB0803203)。
文摘
随着数据中心网络承载的数据量的爆炸式增长,越来越多的框架、模型和应用选择使用RDMA技术来加速网络传输。RoCE是RDMA技术在以太网上的实现,但针对RoCE网络目前还没有有效的状态感知和度量体系,无法全面展现RDMA网络状态。对此,提出针对RoCE的实时状态感知系统和多维度多层次的RDMA度量指标体系。采用旁路分布式流量捕获方式,运用Sketch算法全方位度量RDMA网络状态。系统易于部署且成本低,具有可扩展性和灵活性。实验结果表明,该系统能在较低误差下客观反映出RoCE网络状态,提供故障定位建议。
关键词
rdma
状态感知
网络度量
Sketch算法
Keywords
rdma
State awareness
network measurement
Sketch algorithm
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
题名 金融分布式数据库异步全局索引研究
13
作者
金磐石
李博涵
秦小麟
邢磊
李晓栋
王进
机构
中国建设银行
南京航空航天大学计算机科学与技术学院/人工智能学院/软件学院
出处
《计算机科学与探索》
CSCD
北大核心
2023年第11期2784-2794,共11页
基金
国家自然科学基金(62172351)
高安全系统的软件开发与验证技术工业和信息化部重点实验室项目(NJ2018014)
南京航空航天大学前瞻布局科研专项资金。
文摘
伴随移动支付的快速发展,传统的金融核心业务所使用的集中式数据库面临性能、可用性等方面的挑战。为此有研究者提出了采用计算和存储分离架构的分布式数据库解决思路,通过网络连接构建在物理上分散、逻辑上集中的分布式数据库管理系统。全局索引是分布式数据库提升查询效率的重要手段,但当前的全局索引主要通过在传统网络中利用同步机制来实现。这种机制在金融数据管理的典型交易和批量导入数据场景下面临单表索引数量少、吞吐量降低、事务响应时间抖动等亟需解决的问题。为此,提出了一种基于分布式数据库的异步全局索引架构,通过新增MQ消息队列、分布式缓存,以及利用RDMA网络,实现一种满足金融典型场景需求的异步全局索引。为了验证有效性,与Oracle、CockroachDB在相同的场景下进行大量对比分析,实验结果表明,在金融核心业务数据的批量导入、交易等场景中,该方法的主要性能指标比现有方法提升60%以上,而对系统资源需求降低20%以上。
关键词
分布式数据库
异步
全局索引
低时延
rdma 网络
Keywords
distributed database
asynchronous
global index
low latency
rdma network
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 当前网络存储中零拷贝技术浅析
被引量:2
14
作者
杨小虎
俞建新
机构
南京大学计算机科学与技术系
出处
《计算机工程与设计》
CSCD
北大核心
2006年第4期602-604,共3页
文摘
零拷贝技术能有效消除端系统中非必要的拷贝过程,大大提高网络吞吐率,降低网络存储中的通讯延迟,提高存储效率。介绍了几种网络存储中的零拷贝技术,特别是RDMA技术,并对其特点进行了比较分析,展望了未来零拷贝技术的发展前景。
关键词
rdma
零拷贝
网络存储
NIC
Keywords
rdma
zero-copy
network storage
NIC
分类号
TP39
[自动化与计算机技术—计算机应用技术]
题名 飞机试飞实时监控管控系统软件构架的设计与实现
被引量:6
15
作者
常永亮
王霖萱
常馨榕
机构
中国飞行试验研究院
贵州大学
榆林学院
出处
《计算机应用与软件》
北大核心
2018年第11期98-102,225,共6页
基金
国防基础科研项目(JCKY2016205B006)
文摘
飞机试飞实时监控是飞机试飞的重要环节。为解决原系统越来越难以满足现如今大场次多机种飞行实时监控的问题,在原飞行实时监控系统基础上提出新的实时监控理念。RDMA与网络附属存储(NAS)的有效结合解决了大数据量实时存储的问题。系统提升了飞行实时监控系统的功能,确保了多架飞机同时试飞实时监控的安全与质量。实时监控期间各系统、网络等运行状态信息清晰显示,事后回放、任务准备条理清楚,飞行资料和实时监控软件安控符合相关规定。通过一段时间运行,各项技术指标达到预期目的,管控系统、实时监控系统两大主线并行运行稳定、清晰。
关键词
管控系统
实时监控系统
rdma
NAS
数据库
网络负载监控
Keywords
Control system
Real time monitoring system
rdma
NAS
Data base
network load monitor
分类号
TP315
[自动化与计算机技术—计算机软件与理论]
题名 支持共享存储的千兆机群网络的实现
被引量:1
16
作者
胡明昌
史岗
尹宏达
蔡飞
机构
中国科学院计算技术研究所
出处
《小型微型计算机系统》
CSCD
北大核心
2007年第1期24-30,共7页
基金
国家自然科学基金项目(60073018
60303016)资助.
文摘
在共享虚拟存储机群系统中,互连网络已经成为提高并行性能的瓶颈.本文设计并实现了一种机群互连网络—FRAMP,它不但提供高性能的消息传递,而且对共享虚拟存储提供一些低层硬件支持,包括基于虚地址的RDMA读写操作和TLB自动更新.设计了一种定制的用户级通信协议,大幅度降低系统和协议开销.设计并实现了基于输入缓冲输出分布式调度的交叉开关的原型交换机和支持四种数据传输方式的网络接口,改进了虫洞交换并在一个时钟周期内完成带初始值的轮循调度.测试表明,FRAMP网络在各个层次获得良好的性能,带宽利用率在同类系统中最高,应用程序并行性能与与Myrinet和SCI相当,在某些情况下比它们更好.
关键词
互连网络
交换机
网络接口
rdma
用户级通信协议
调度
Keywords
interconnection network s
switch
NIC
communication protocols
rdma
scheduling algorithm
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 Infiniband网络架构下RTI通信机制研究
被引量:4
17
作者
邢驰
李伯虎
机构
北京航空航天大学自动化科学与电气工程学院
北京仿真中心
北京市复杂产品先进制造系统工程技术研究中心
复杂产品智能制造系统技术国家重点实验室
出处
《电子学报》
EI
CAS
CSCD
北大核心
2016年第2期327-333,共7页
基金
国家863高技术研究发展计划(No.2013AA041302)
文摘
复杂系统的协同仿真中需要运行支撑软件RTI(Run Time Infrastructure)来解决异构模型、异构仿真软件间的数据交互的问题.但RTI的TCP/IP通信机制却无法使得HPC(High Performance Computer)的高速网络Infiniband(IB)在仿真中发挥最大的优势.针对这一问题,本文提出在IB网络架构下基于RDMA(Remote Direct Memory Access)通信机制对RTI进行优化,并以开源HLA项目CERTI软件为基础,研制运行在IB网络下的IB-CERTI软件,最后在不同网络环境下进行对比实验,实验结果证明了IB—CERTI软件在仿真通信中的高效性,特别是仿真邦员间的交互数据量越大,越能提高仿真数据传输效率.
关键词
INFINIBAND网络
rdma
CERTI
高层体系结构
高性能计算机
Keywords
Infiniband network
remote direct memory access(rdma )
CERTI
high level architecture(HLA)
high performance computer(HPC)
分类号
TP319
[自动化与计算机技术—计算机软件与理论]
题名 天河-1A互连系统的接口设计
18
作者
刘路
张磊
谢旻
王永庆
机构
国防科学技术大学计算机学院
出处
《计算机工程与科学》
CSCD
北大核心
2013年第2期18-25,共8页
基金
国家863计划资助项目(2009AA01A128)
文摘
NIC是高性能互连网络THNet的网络接口芯片,基于自主研发的通信协议,它高效地实现了无连接、零拷贝、用户级通信的RDMA传输机制,基于该机制的MPI实现具有极高的系统可扩展性。实现了基于控制报文触发的描述符队列处理机制,以支持卸载的聚合通信,包括广播和栅栏同步。使用NIC芯片的网络接口卡在测试中获得了1.57μs的最小单边延迟和6.34GB/s的带宽。NIC已成功应用于2010年TOP500排名世界第一的天河-1A超级计算机。
关键词
互连网络
网络接口
用户级通信
rdma
聚合通信
天河-1A
Keywords
interconnection network s
network interface
user level communication
rdma
collective communication
Tianhe-1A
分类号
TP316.4
[自动化与计算机技术—计算机软件与理论]
题名 多核下基于远程直接内存访问的高效远程过程调用研究
19
作者
李波
孟丹
霍志刚
机构
中国科学院计算技术研究所国家智能计算机研究开发中心
中国科学院计算机系统结构重点实验室
中国科学院研究生院
出处
《高技术通讯》
CAS
CSCD
北大核心
2011年第7期681-686,共6页
基金
863计划(2009AA01A129)和国家自然科学基金(60633040)资助项目.
文摘
针对目前基于远程直接内存访问(RDMA)的远程过程调用(RPC)设计在多核背景下存在的性能和扩展性问题,提出了一种新的基于RDMAWrite的高效RPC设计方法并对网络文件系统(NFS)提供了支持。重点就设计中的安全性问题和内存管理机制进行了分析,并针对内存有效利用提出了被动和主动两种回收机制。测试结果表明,这种新的RPC设计方法能降低RPC延迟13%~20%。对内存文件系统及真实磁盘文件系统的测试表明,此设计能有效提高多核系统中RPC的性能和扩展性。
关键词
远程直接内存访问(rdma )
远程过程调用(RPC)
多核
网络文件系统(NFS)
Keywords
remote direct memory access (rdma ), remote procedure call (RPC), multi-core, network file system (NFS)
分类号
TP338.8
[自动化与计算机技术—计算机系统结构]
题名 基于SRP的IB-SAN设计与实现
被引量:3
20
作者
姜志颖
韩冀中
王锡贵
机构
中国科学院计算技术研究所
出处
《计算机应用研究》
CSCD
北大核心
2008年第4期1167-1170,共4页
基金
国家“973”计划资助项目(2004CB318202)
文摘
介绍了基于SRP的IB-SAN的整体结构,分析了SCSI read/write命令处理过程中的两个关键问题,即数据缓冲区的内存注册/注销方法和RDMA操作的执行者获取对方数据缓冲区信息的方式。实验结果表明,SRP能够使InfiniBand网络性能得到充分发挥,系统的总体I/O性能明显优于基于iSCSI协议的IB-SAN。
关键词
网络存储
存储区域网络
小型机系统接口远程直接内存存取协议
远程直接内存存取
INFINIBAND
Keywords
network storage
SAN (storage area network )
SRP( SCSI rdma protocol)
rdma
InfiniBand
分类号
TP393
[自动化与计算机技术—计算机应用技术]