一种针对片上众核结构共享末级缓存的改进的LFU替换算法

为了得到更高的吞吐率和性能功耗比,众核处理器摒弃了复杂的乱序处理器核,而在芯片内集成了大量的轻量级顺序处理器核。为了更好地支持核间数据共享,并减少访问片外存储器带来的开销,众核处理器往往采用共享的末级缓存LLC(Last LevelCache)。因为需要对为数众多相对独立的访问请求作出响应,因此相对于传统多核处理器的末级片内缓存,众核处理器的末级片内缓存更容易产生抖动现象。传统的最久未使用LRU(Least Recent Used)高速缓存替换策略在这种情况下往往无能为力,而几种最新提出的高速缓存替换策略也见效甚微。基于传统的最不经常使用LFU(Least Frequent Used)替换算法,提出一种改进的高速缓存替换算法。相对于LFU替换算法,该算法获取信息的粒度更粗,并且可以掌握更加全局的信息,而这些优势使得该算法更适合作为众核处理器末级片内缓存的替换算法。实验结果表明,在一个64核的众核处理器上,该替换算法可以有效地缓解末级片内缓存的抖动现象,同时该算法实现需要的硬件开销很小。

一种面向包含式缓存的共享末级缓存管理策略

针对传统LRU替换策略无法感知包含式缓存时间局部性的问题,提出一种适用于包含式缓存的共享末级缓存(SLLC)管理策略.通过提前将无用数据存储于一个开销较小的旁路缓存,可以避免其与复用频率较高数据对SLLC的资源竞争,同时维护了包含属性.为进一步寻找复用性最低的数据作为替换对象,构建一种局部性检测电路,有助于将此类数据尽早驱逐出SLLC,文中提出一种统一的管理算法,受益于两种预测器的相互校准,从而达到无用块旁路和低重用块替换的目的.实验结果表明,所提策略将SLLC缺失率平均降低21.67%,预测精度提升至72%,而硬件开销不到SLLC的1%.

基于数据预取的多核处理器末级缓存优化方法

末级缓存的性能已成为影响多核处理器整体性能的关键因素.基于多核处理器在处理并行程序时各处理器核访存行为的相似性,提出一种降低访存缺失率的数据预取方法.首先记录各处理器核的访存缺失历史;然后通过分析历史信息预测各处理器核之间末级缓存缺失的关联关系,采用数据预取的方式,在处理器核出现读缺失之前为其末级缓存提供数据块.实验结果表明,对于4核和16核处理器系统,该方法可以分别降低末级缓存缺失率9.8%和18.4%,提高性能4.0%与12.4%.

片上多核处理器共享末级缓存动静结合地址映射机制

片上多核处理器(CMP)通常采用私有或者共享的末级高速缓存(cache)结构,而共享末级cache一般使用静态地址映射机制。该机制将各处理器临时私有访问的数据映射于分布在其他处理器的末级cache中,使得各处理器对临时私有数据的访问延时增加。针对该问题,提出了一种动静结合的共享末级cache地址映射方法。该方法可将原来静态映射于其他处理器末级cache中的临时私有数据动态映射于访问者处理器的本地末级cache中,减少了大量静态映射所造成的长延时非本地末级cache访问,从而有效降低了整个共享末级cache的访问延时,在提高性能的同时降低了功耗和带宽使用。实验结果表明,动静结合的地址映射方式应用于采用环连接互连结构和侦听顺序环协议的CMP结构时,可获得的平均性能提升为9%,最大性能提升为38%。

一种降低末级高速缓存污染的软件控制插入策略

现有高速缓存替换算法大多无法有效识别数据的局部性特征,导致高速缓存内即将被访问到的数据可能被未来不会被访问到的数据所替换,造成高速缓存污染问题.末级高速缓存污染引发的性能损失随着处理器和存储器之间性能差距的扩大而不断增大,成为制约系统性能提升的重要瓶颈之一.本文针对末级高速缓存污染问题,在剖视分析访存密集型程序的页一级访存行为基础上,提出一种软件控制末级高速缓存插入策略.本方法通过控制和指导页一级数据插入位置,限制局部性差的数据页在末级高速缓存中的访问空间,达到降低末级高速缓存污染的目的.实验结果表明,相对于LRU和DIP策略,本文方法能够有效降低末级高速缓存失效率,提高程序性能.

一种降低末级高速缓存污染的分阶段自适应动态插入策略

对多种末级高速缓存插入策略进行分析,并在动态插入策略DIP的基础上提出一种分阶段自我调整的动态插入策略,用于消除局部性差数据访问末级高速缓存造成的不良影响。实验结果表明,与现有LRU替换算法相比,此方法将末级高速缓存的MPKI平均降低了7.07%,即使与动态插入策略DIP相比,此方法也获得进一步的性能提升,末级高速缓存MPKI平均降低了4.36%。

CPU-GPU融合架构上的缓存性能分析与优化

现今CPU和GPU的发展已经出现新的瓶颈,将两者"结合"在同一块芯片上成为一种新的趋势。这种新的异构架构给片上共享资源的管理带来压力。而共享末级缓存(LLC)的管理对性能的影响非常关键。由于CPU程序和GPU程序的不同特性,给CPU和GPU间共享的末级缓存管理带来新的挑战。通过分析GPU程序访存特征,借鉴之前的缓存管理方案,提出对CPU-GPU融合系统的末级缓存进行等量的静态划分和最优静态划分的方案。实验结果表明:通过缓存划分可以有效避免CPU和GPU程序间的干扰。与传统LRU策略相比,等量静态划分和最优静态划分可以使系统整体性能分别提高7.68%和11.62%。

面向E级超算系统的众核片上存储层次研究

当前众核已成为构建高性能计算(HPC)超级计算机的主流微处理器架构,为HPC领域E级超算提供强大的算力。随着众核处理器片上集成的运算核心数量不断增加,众多核心对存储资源竞争愈加激烈,“访存墙”问题越来越突出。众核片上存储层次是缓解“访存墙”问题并帮助HPC应用更好地发挥众核处理器的计算优势以提升实际应用性能的重要结构。众核片上存储层次的设计对众核片上系统性能、功耗和面积具有重要影响,是众核结构设计中的重要环节,也是业界的研究热点。由于众核芯片发展历史和片上微体系结构设计技术的不同,以及所面向的应用领域需求不同等原因,目前的HPC主流众核片上存储层次结构并不单一,但从横向比较和各处理器自身纵向发展趋势,以及从HPC与数据科学、机器学习不断融合发展带来的应用需求变化来看,SPM+Cache的混合结构最可能成为今后HPC E级超算系统众核处理器片上存储层次设计的主流选择。在面向E级计算的软件和算法层面,开展针对众核存储层次特点的设计与优化,可以帮助HPC应用更好地发挥众核处理器的计算优势,从而有效提升实际应用性能,因此面向众核片上存储层次特点的软件及算法设计与优化技术也是业界的研究热点之一。首先按照不同的组织方式将片上存储层次分为多级Cache结构、SPM结构和SPM+Cache混合结构,并总结分析3种结构的优缺点。然后分析国际主流GPU、同构众核、国产众核等面向主流E级超算系统的众核处理器片上存储层次设计现状与发展趋势。最后从众核LLC管理与缓存一致性协议、SPM空间管理与数据移动优化、SPM+Cache混合结构的全局视角优化等角度综述国际上的存储层次设计与优化相关软硬件技术的研究现状。在此基础上,从软硬件及算法设计等不同角度展望了片上存储层次的未来研究方向。

自适应访问模式的缓存替换策略

针对组竞争仅考虑访问请求序列的替换结果而没有考虑请求的访存特征这个问题,提出了基于堆栈距离频度的复杂加权法在线识别访问模式的方法以及自适应访问模式的缓存管理替换算法,基本思想是依据在线识别的访问请求模式特征自动调整其插入策略.在Simics中,对选自SPEC CPU2000/2006的18个测试程序及组合负载的实验结果表明,该算法的缺失率相对于DIP、RRIP、TADIP和PIPP都有显著降低.