基于天河2高速互连网络实现混合层次文件系统H^2FS高速通信

高效通信性能是影响并行文件系统性能与效率的重要因素.该文基于TH-2系统的高性能互连网络——天河2高速互连网络(TH-Express 2),设计并实现了混合层次文件系统H^2FS中的高速通信模块FSE.FSE采用了TH-Express 2的短报文通信MP和远程内存访问RDMA相结合的方式,实现客户端与ION的通信.FSE采用基于动态链表的内存注册池减少通信延迟,提高通信效率.基于可变信用的流量控制,FSE有效降低系统出现拥塞的可能性,提高系统的可扩展性和稳定性.为了充分利用多核处理器的并发处理能力以及多RDMA引擎的传输能力,FSE对报文传输和数据处理功能采用了多维多线程方式,提高数据访问带宽.FSE的自适应端点管理针对通信端点容错能力设计,提高了系统弹性,有助于增强系统稳定性.FSE实现优化了数据传输效率,实现了低延迟、高带宽、高可扩展数据访问.在两个不同实际系统上的测试结果表明,FSE可以充分发掘TH-Express 2的特性,点点数据访问带宽可达8.6Gbps,使得H^2FS具有较高的数据访问带宽和元数据性能,并具有良好的可扩展性.同基于TCP的通信模块实现相比,FSE的读写延迟可低至55%和20%,最大单ION写性能是其3.3倍;同Lustre文件系统相比,FSE更好地利用了高速网的特性来获取较高性能,写延迟可低至其28.6%.

基于RapidIO和存储映射的高速互连网络

分析当前高速互连网络中同时存在的TCP/IP,GAMMA,InfiniBand,SCI等技术的实现机制,介绍RapidIO高性能总线技术。研究RapidIO协议和MPC8548处理器的相关技术,提出在RapidIO高速互连网络中实现存储映射的通信技术解决方案。

InfiniBand高速互连网络设计的研究

InfiniBand是目前发展最快的高速互连网络技术,具有高带宽、低延迟和易扩展的特点。通过研究和实践,对InfiniBand技术的数据包、数据传输、层次结构、与以太网技术的对比、交换机制、发展愿景等进行了全面探索,提出了InfiniBand最终成为高速互连网络首选的观点。

面向天河互连网络的可扩展通信框架实现技术

开源通信框架在编程模型和互连接口之间定义标准化的通信编程接口,提供了独立于互连网络特性的高性能通信操作,提高了编程模型在新型互连网络上的开发效率。通过设计与实现多通道数据传输协议,解决了通信框架在天河互连网络上实现时的性能和扩展性问题。测试数据表明,天河互连网络上的通信框架具有很低的软件层开销,提供了接近于互连硬件设计指标的通信性能,为拓展天河互连网络对各种编程模型和分布式计算框架的高效支持提供了良好的基础。

基于天河互连的公共通信接口UCX实现与评估

为解决在天河互连和未来高性能互连网络上支持多种高性能、可扩展并行编程模型的问题,提出了一种基于远程直接内存访问(RDMA)技术的公共通信接口UCX实现方案。该UCX实现系统建立了UCX数据抽象到天河互连系统通信资源对象的映射关系,基于短报文通信和共享的RDMA缓冲池实现了一种面向ActiveMessage和单边通信接口的高速数据传输协议,并提出了一种动态可扩展信用流控机制来提高UCX系统在大规模并行应用运行时的可扩展性。实验测试测试表明,由于UCX通信接口操作更匹配互连网络硬件特性,精简了软件处理层次,UCX软件层增加的总开销小于200ns,而基于该UCX的消息传递接口(MPI)系统,相对于现有的天河互连MPI实现架构,减少了约50ns的通信延迟,短消息速率也有约10%的性能提升。该UCX实现系统对拓展天河互连网络上的并行编程模型和应用类型,并确保并行运行效率,提供了较好的技术支撑。