面向高性能计算的分布式存储系统的设计与实现

文章详细介绍了面向高性能计算的分布式存储系统的设计与实现。其中,首先解释了分布式存储系统的重要性及高性能计算的需求;随后阐述了系统设计,包括系统架构、数据分布与复制、一致性模型等;最后详细描述了系统的实现,包括使用的数据结构与算法、故障检测与恢复、性能优化等,文章成果旨在为未来高性能分布式存储系统的设计与实现提供有益的参考。

RoCE技术成熟度分析及其与分布式存储结合的性能表现评测

目前,一些企业数据中心大量使用FC交换机和集中式SAN存储架构(以下简称“FC-SAN”架构),该架构支持核心业务系统、数据库、AI/ML等高性能业务场景。因此,在企业进行IT基础架构自主创新转型时,寻找合适的FC交换机替代方案是一个主要关注点。随着基于融合以太网的RDMA(RDMA over Converged Ethernet,RoCE)这一高性能网络技术的日渐成熟,“以太网交换机+NVMe-oF(NVMe over Fabrics)”技术或成为破局关键。

面向数字媒体的高性能分布式存储系统的研究与应用

在各种媒体都走向数字化、多种媒体不断融合的趋势下,数字媒体的存储技术成为一个全新的课题。本文在数字媒体特点的基础上,结合数字媒体信息存储模式的分析,提出了一个适用于海量数据管理的高性能分布式存储系统(HPDFS)。并以北广传媒数字电视公司数字电视节目内容的集中存储管理和统一分发管理为背景,深入研究高性能分布式存储系统相关的关键技术,最终实现了对海量、并行、长生命周期的数字媒体内容的有效存储、管理。实验结果表明,该系统具有良好的访问效率和伸缩性,满足数字电视的实际应用需求。

高性能分布式文件系统相关技术研究

随着数字媒体的迅速崛起,相应的存储技术也成为了重要的课题。本文提出了一种适用于海量数据存储管理的高性能分布式文件系统(HPDFS),它对于流式文件的顺序读写和普通文件的随机存取都有很好的效果。本文以北广传媒数字电视有限公司数字电视节目的集中存储管理和统一分发管理为背景,深入研究高性能分布式文件系统的相关技术,最终实现了对海量、并行、长生命周期的数字媒体内容的有效存储、管理。实验结果表明,该系统具有良好的访问效率和伸缩性,满足数字电视的实际应用需求。

大数据环境下高性能计算模型及关键技术研究

本文简单讨论大数据应用优势,深入探讨大数据环境下高性能计算模型及关键技术。大数据环境下,高性能计算模型主要是为了提高大数据分析处理能力,而高性能计算模型主要是通过合理利用分布式存储系统,来实现数据分析处理的高性能计算。

面向分布式存储系统结构的OpenMP编译系统

OpenMP是目前面向共享存储系统结构的工业标准.与面向分布式存储系统结构的消息传递标准MPI相比,OpenMP规范具有易编程和支持增量并行等优点.如何有效地将OpenMP扩展到分布式存储系统结构且具有高性能是一直关注的热点.文中介绍一个面向分布式存储系统结构的OpenMP编译系统——KLCoMP.基于"部分数组共享"存储模型,为该编译器研发了基于过程间分析的共享数组识别算法、基于生产者/消费者关系的优化技术和针对非线性引用的通信生成技术.实验采用9个标准测试用例并覆盖计算流体力学、整数排序、分子动力学、地震模拟和计算化学等多个领域.通过与MPI版本进行对比表明KLCoMP版本具有与其相当的可扩展性.另外通过与国际同类编译器Omni+SCASH、LLCoMP和OpenMP(Purdue)翻译后程序进行性能对比表明,KLCoMP版本特别是对于非规则应用能够获得更高的效率.

分布式计算机与系统

0108795CPU 桥 ASIC 设计中 CPU 模拟器的设计[刊]/邓让钰//计算机工程与应用.—2001,37(1).—99～100(L)功能模拟是设计高性能微处理器接口 ASIC 芯片的重要环节,目的是消除 ASIC 的功能性设计错误。为了更好地对 ASIC 芯片进行模拟,需要灵活、方便、能够体现微处理器行为的 CPU 模型,文章介绍了对一个 CPU 行为模拟器的开发。

Arm服务器生态合作推进中国“芯”突破

近日,华为在其2019智能计算大会上正式发布基于鲲鹏920的TaiShan服务器五大解决方案,包括大数据、分布式存储、Arm原生、高性能计算和数据库应用领域。华为Taishan服务器解决方案的成功发布则是Arm服务器生态系统建设的又一大突破。作为全球领先的ICT基础设施和智能终端提供商,华为基于Arm架构自主研发“算、存、传、管”服务器芯片,从处理器、操作系统、服务器整机到行业方案,构建了以Arm芯片为核心能力的全栈IT解决方案。