面向E级超算系统的众核片上存储层次研究

当前众核已成为构建高性能计算(HPC)超级计算机的主流微处理器架构,为HPC领域E级超算提供强大的算力。随着众核处理器片上集成的运算核心数量不断增加,众多核心对存储资源竞争愈加激烈,“访存墙”问题越来越突出。众核片上存储层次是缓解“访存墙”问题并帮助HPC应用更好地发挥众核处理器的计算优势以提升实际应用性能的重要结构。众核片上存储层次的设计对众核片上系统性能、功耗和面积具有重要影响,是众核结构设计中的重要环节,也是业界的研究热点。由于众核芯片发展历史和片上微体系结构设计技术的不同,以及所面向的应用领域需求不同等原因,目前的HPC主流众核片上存储层次结构并不单一,但从横向比较和各处理器自身纵向发展趋势,以及从HPC与数据科学、机器学习不断融合发展带来的应用需求变化来看,SPM+Cache的混合结构最可能成为今后HPC E级超算系统众核处理器片上存储层次设计的主流选择。在面向E级计算的软件和算法层面,开展针对众核存储层次特点的设计与优化,可以帮助HPC应用更好地发挥众核处理器的计算优势,从而有效提升实际应用性能,因此面向众核片上存储层次特点的软件及算法设计与优化技术也是业界的研究热点之一。首先按照不同的组织方式将片上存储层次分为多级Cache结构、SPM结构和SPM+Cache混合结构,并总结分析3种结构的优缺点。然后分析国际主流GPU、同构众核、国产众核等面向主流E级超算系统的众核处理器片上存储层次设计现状与发展趋势。最后从众核LLC管理与缓存一致性协议、SPM空间管理与数据移动优化、SPM+Cache混合结构的全局视角优化等角度综述国际上的存储层次设计与优化相关软硬件技术的研究现状。在此基础上,从软硬件及算法设计等不同角度展望了片上存储层次的未来研究方向。

GPU异构系统中的存储层次和负载均衡策略研究

GPU体系结构的革新和相应开发平台的发展使得GPU广泛地应用于科学计算领域。通过深入地分析GPU体系结构和存储层次的优缺点以及GPU上的关键性能特征,阐明了GPU体系结构、编程模型和存储层次之间的关系。针对GPU异构系统上的应用映射提出三种基本负载均衡优化策略:预取、流化、任务划分。试验结果揭示了不同的优化因子与优化效率之间的具体关联。

面向存储层次设计优化的GPU程序性能分析

图形处理器凭借着比传统CPU更高的峰值性能和能效,以及日渐成熟的软件环境,逐渐成为构建异构并行系统的最流行的加速器之一。虽然GPU依靠轻量级线程的灵活切换来隐藏访存延迟,但其超高的并发度仍然给存储系统带来了很大压力,其性能的有效发挥受访存效率的强烈影响。因此GPU程序的访存行为分析及优化一直是GPU相关领域的研究热点,但很少有工作从体系结构的角度分析存储层次的设计对性能的影响。为了更好地指导GPU存储层次的设计和访存优化,从实验的角度详细地分析了GPU各存储层次对程序性能的影响,并总结出若干指导性的优化策略,为未来类似体系结构的存储层次设计和程序优化提供建议。

X处理器存储层次研究

随着计算机应用领域不断拓展,流媒体应用及科学计算正成为微处理器的一种重要负载。流媒体应用的特征是大量的数据并行、少量的数据重用以及每次访存带来的大量计算。因为带宽的限制,传统的微处理器结构很难满足这些特点。X处理器是一款流处理器,针对流应用特点,X处理器采用了新型的三级流式存储层次:局部寄存器文件、流寄存器文件和片外存储器,有效解决了带宽问题。本文在模拟平台采用了两种方法(RS码和测试程序)测试,验证了流存储层次解决带宽瓶颈的有效性,也证明了设计的正确性。

NTFS文件系统文件存储层次结构解析

NTFS文件系统的文件检索效率非常高,这得益于NTFS文件系统文件夹内的索引结构采用了基于树形结构的存储结构.本文将简明扼要地解析与文件夹内索引结构相关的索引项结构、索引根属性的结构和功能、索引分配属性的结构和功能以及索引块结构;分析了在三种典型情况下,文件夹中的索引项形成的实际逻辑结构.

“Cache-主存”和“主存-辅存”存储层次的对比分析

本文对"Cache-主存"和"主存-辅存"这两种存储层次依据的原理和基本思想、引入的目的、硬件组成、失效开销、映像规则、查找方法、替换算法、写策略等多个方面进行了对比分析。以加深对存储层次的理解,提高对层次结构设计思想的认识。

“Cache-主存”和“主存-辅存”存储层次的对比分析

"Cache-主存"和"主存-辅存"层次结构是当代计算机普遍采用的两种存储层次.本文对这两种存储层次依据的原理和基本思想、引入的目的、硬件组成、失效开销、映像规则、查找方法、替换算法、写策略等多个方面进行了对比分析.以加深对存储层次的理解,提高对层次结构设计思想的认识.

图像处理中数据复用及存储层次设计的研究

图像处理过程中数据传输量大,通过数据复用可以减少数据传输量提高执行效率。同时图像分块的大小在很大程度上决定了存储器大小,而存储器大小对系统的功耗影响巨大。文中通过对分块图像平滑算法的研究,提出了四种数据复用层次。再以TS101为仿真平台,在不同的分块大小下编写汇编代码模拟数据流在不同存储器间的流动,然后得出其执行效率、存储器大小和数据复用层次、块大小等的关系。为硬件设计中存储器体系结构的优化设计提供了参考。

面向嵌入式多核存储层次的OpenMP优化研究

当前嵌入式多核处理器的应用越来越普遍,如何充分认识与利用嵌入式多核的并行计算效率已经成为嵌入式多核并行计算的热门问题.讨论了两种不同的共享式嵌入式多核存储层次结构,即无二级共享Cache和拥有二级共享Cache的多核存储结构,在这些嵌入式多核系统中进行实际的OpenMP并行应用计算,并通过增加OpenMP对循环分块的支持来对并行程序进行数据优化.实验结果对比分析表明,在嵌入式多核中采用共享二级Cache对并行程序性能影响不大,而在对并行程序进行优化后性能平均有6%的提高.

金融大数据的存储层次规划与设计

在金融信息化的高速发展的今天,如何储存和处理每天产生的大量数据急需合理的方法。现在普遍采用的关系型数据库经过长时间发展,各方面性能都有较好的表现;另一方面,分布式系统构架正在逐渐兴起,具有高容错性,成本较低等优点。在本文中,我们将通过实验来比较这两种常见的数据库模型,考察它们在大数据平台搭建、存储和处理过程所体现出的性能差异。通过比较,分析它们在未来金融数据存储过程中所要做的改变。

面向大规模数字IC设计的层次化存储建设实践

为了更好地帮助IC设计企业实现数据的高效、安全、可靠存储,本文通过对IC设计过程中对存储性能、可靠性以及层次化存储的需求进行分析,并结合具体项目层次化存储的最佳实践,给出一种高性价比的IC设计数据管理解决方案。

基于HDF5的多层次结构并行IO算法

针对大规模数据输入输出的应用场景,提出了一种基于层次存储格式HDF5(Hierarchical Data Format 5)的多层次并行IO(Input/Output)方案。该并行IO方案分为节点间和节点内两层:节点间以节点为单位IO数据并允许节点内部协同或独立工作,根据节点内部的工作方式分别提出了多层次并行IO算法和多层次哨兵并行IO算法,以有效提升IO效率并避免输出文件冗余。考虑异构计算和纯CPU计算两个典型应用场景,分别在曙光平台和Intel平台进行最大核数为4096、最大数据量为256G的多组实验。结果表明,多层次并行IO算法IO效率提高了1.97~25.87倍,多层次哨兵并行IO算法IO效率提高了6.53~9.36倍,且输出文件数量减少到多区并行IO算法的1/4和1/32。

基于循环神经网络的多核处理器层次化存储技术

目前的多核处理器层次化存储技术同步性差、抗冗余度低,不能满足海量数据的分层存储要求,因此基于循环神经网络研究了一种新的多核处理器层次化存储技术。引入卷积神经算法完善数据存储功能,针对数据存储过程、数据库设计以及存储节点的选择进行了深层次的优化设计,从而有效提升数据的存储效率和存储稳定性。实验结果表明,该非对称多核处理器的同步性误差低于0.1,平均同步误差为0.04,能够避免96%的数据重复,抗数据冗余度高,对多核处理器的发展和应用具有积极作用。

时空信息的层次存储和管理

1 引言目前地理信息系统(GIS)已经逐步应用于各类机构和团体中。网络通讯和分布式计算是GIS进入企业化水平的核心技术支柱,它们允许公用的数据和应用模型在网络上供多用户使用。但对于非专业用户来说,GIS还处于一个相当难使用的状况,如何为用户所需的基本功(定位、识别、比较、关联等)

面向媒体的粗粒度可重构架构层次化存储设计

为了优化粗粒度可重构架构REMUS-II(Reconfigurable Multimedia System 2)的数据流通路,使其能够完成高性能媒体解码,针对媒体算法的数据访问特征,对REMUS-II的片上存储与片外存储访问模块进行优化.片上存储通过二维数据传输和转置等访问模式进行优化,片上数据传输效率分别平均提高了69.6%和15.1%.片外存储通过块缓存设计优化参考帧访问,平均减少37%的外存访问时间.经过层次化存储设计,REMUS-II数据流可满足计算需求,在200MHz主频下实现H.264算法和MPEG2算法高级档次的1 920像素×1 080像素高清分辨率实时解码.

VOD中的层次化存储结构分析与设计

为适应大规模VOD系统的要求 ,提出了基于磁盘阵列和光盘库的层次化存储结构 ,并分析了 3级光盘库的RR节目调度算法。

视频点播层次化存储系统的分析与设计

给出了视频点播层次化存储系统的结构讨论了该层次化存储系统设计中的关键问题,为大规模多媒体点播系统的设计提供了参考。,

基于层次存储结构的权能查找机制

与传统系统相比,基于权能的系统可以在不完全信任程序的情况下安全地运行程序。从权能的概念入手,论述了权能的基本工作原理。针对现有顺序权能查找机制在查找效率方面的不足,设计出一种基于层次存储结构的权能查找机制,可提高安全系统的权能查找速度,进而提高整个系统的运行效率。

ADHSNT自发现层次存储网络拓扑模型设计

当存储网络的数据节点达到数以百计的时候,手工设计所产生的结果往往不能很好地适合需求。自动生成存储网络的拓扑设计,可以处理这些问题。因此本文在研究了广域网络存储虚拟化形成的拓扑结构的基础上,指出现有简单层次模型的不足,提出了自动发现层次式存储网络拓扑模型ADHSNT。结合存储网络的实际特点提出IP路径合并算法,并进行拓扑结构规整。

swLLVM:面向神威新一代超级计算机的优化编译器

异构众核架构具有超高的能效比,已成为超级计算机体系结构的重要发展方向.然而,异构系统的复杂性给应用开发和优化提出了更高要求,其在发展过程中面临好用性和可编程性等众多技术挑战.我国自主研制的神威新一代超级计算机采用了国产申威异构众核处理器SW26010Pro.为了发挥新一代众核处理器的性能优势,支撑新兴科学计算应用的开发和优化,设计并实现面向SW26010Pro平台的优化编译器swLLVM.该编译器支持Athread和SDAA双模态异构编程模型,提供多级存储层次描述及向量操作扩展,并且针对SW26010Pro架构特点实现控制流向量化、基于代价的节点合并以及针对多级存储层次的编译优化.测试结果表明,所设计并实现的编译优化效果显著,其中,控制流向量化和节点合并优化的平均加速比分别为1.23和1.11,而访存相关优化最高可获得2.49倍的性能提升.最后,使用SPEC CPU2006标准测试集从多个维度对swLLVM进行了综合评估,相较于SWGCC的相同优化级别,swLLVM整型课题性能平均下降0.12%,浮点型课题性能平均提升9.04%,整体性能平均提升5.25%,编译速度平均提升79.1%,代码尺寸平均减少1.15%.