利用循环分割和循环展开避免Cache代价

存储系统与处理器之间的速度差距逐渐变大,为此,cache使用了分级机制,但这也带来了额外的存储延迟(cache代价).提出一种利用循环分割和循环展开相结合避免cache代价的PCPLPU(prevent cache penalty by loop partition-unrolling)算法.实验结果表明,PCPLPU算法能够有效避免循环代价,提高程序性能.

基于指令Cache和寄存器压力的循环展开优化

循环展开是一种常用的编译优化技术,能够有效减少循环开销,提升指令级并行程度和数据局部性,提升循环的执行效能。然而,过度的循环展开会造成指令Cache溢出,增大寄存器压力,循环展开次数太少又会浪费潜在的性能提升机会,因此寻找恰当的展开因子是研究循环展开问题的核心。基于GCC开源编译器,面向循环展开问题开展深入的分析与研究,针对指令Cache和寄存器资源对循环展开的影响,提出了一种基于指令Cache和寄存器压力的循环展开因子计算方法,并在GCC编译器中实现了该计算方法。申威和海光平台上的实验结果显示,相较于目前GCC中存在的其它展开因子计算方法,所提出的方法可以获得更为有效的循环展开因子,提升了程序性能。在SPEC CPU 2006测试集上的平均性能分别提升了2.7%和3.1%,在NPB-3.3.1测试集上的分别为5.4%和6.1%。

复杂访问模式下假共享Cache行抖动的消除

在详细讨论了简单数据组访问模式下假共享抖动现象及其消除方法的基础上，本文着重分析了复杂访问模式下的假共享Ｃａｃｈｅ行抖动现象和真假共享抖动并存现象，引入了并行循环访问距概念，提出了消除假共享抖动的编译方法－块化错位方法。结合块化错位方法，我们提出了多维数组的数组扩展思想，给出了多重嵌套循环含多次写访问情况下减少或消除抖动的算法。

集成循环代码cache降低微控制器功耗研究

功耗对于面向低成本低功耗应用的微控制器(单片机)十分重要。研究表明,CPU由于取指对程序存储器的访问功耗,构成了微控制器整体功耗的重要组成部分,而微控制器应用程序的大部分执行时间被用于执行固定的循环代码。研究了集成循环代码cache,从中执行循环代码来降低存储器访问功耗的技术。

基于固定指令多数据流模型的Cache设计与实现

为加速循环程序执行,提出了固定指令多数据流计算模型,并设计了一个单芯片阵列处理器体系结构.如果采用传统的数据取,将带来存储网络中大量的数据流动,随之而来的是冲突的频繁出现和不断增长的存储带宽需求.为此采用了数据打包传递技术.实践证明,这种技术可以显著减少网络冲突,降低存储带宽需求.

多处理机系统循环间数据重用的cache优化

ｃａｃｈｅ的使用缓解了ＣＰＵ和主存储器之间速度差距太大的矛盾，同时，也使ｃａｃｈｅ的命中率成为影响多处理机系统性能发挥的重要因素．人们对如何加强数据的局部性，提高ｃａｃｈｅ命中率，使多处理机系统的性能得到更好的发挥进行了积极的探索．但过去的工作主要集中于如何加强并行循环内的数据局部性，减少甚至消除并行循环内真假共享ｃａｃｈｅ行所引起的ｃａｃｈｅ抖动，对多处理机系统中循环间数据重用的开发和利用却少有论述．该文对如何开发和利用这些循环间数据重用进行了分析和讨论，并提出了一些切实可行、易于实现的方法．这些方法的应用能够有效地提高ｃａｃｈｅ的命中率。

基于性能分析的Cache侧信道攻击循环定位

为了有效地对Cache侧信道攻击进行检测并定位,该文提出了基于性能分析的Cache侧信道攻击循环定位方法,分为攻击检测和攻击循环定位2阶段进行。攻击检测阶段采用硬件性能计数器检测二进制程序是否为Cache侧信道攻击程序;攻击循环定位阶段主要进行攻击循环的定位,首先采样性能事件,然后获取二进制程序的循环和函数等内部结构,结合采样数据定位攻击循环。最后选取典型的Cache侧信道攻击程序和良性程序进行检测,结果表明:该方法能准确区分攻击程序和良性程序;通过对比定位结果和攻击源代码,该方法能精确定位攻击循环。

面向图像检索的sgemv算法嵌入式优化技术

行人重识别主要解决跨摄像头跨场景下行人的识别与检索,是继人脸识别之后又一针对“人”的视觉任务,主要任务是针对一个特定的行人在多摄像头输入的大规模图片集合中找出相同的人。如何在靠近摄像头的边缘端把特定的行人从大量行人库中快速检索出来是行人重识别研究的一个重要问题,由于边缘端嵌入式平台算力有限,提出一种面向图像检索的sgemv算法嵌入式优化技术,在边缘端对sgemv算法采用循环展开、OpenMP、Neon等技术进行加速优化,在飞腾D2000嵌入式平台、银河麒麟系统进行实验验证。结果表明,优化后比优化前提升速度达5.2倍,方法有效地提升了边缘端图像检索效率。

循环展开在电磁场计算中的应用

在电气设备电磁场数值分析过程中,程序代码中含有大量的循环计算,其计算时间随有限元分析网格中单元和节点数量的增加而迅速增加。为提高循环计算时硬件资源的利用率、减少计算时间,根据循环计算相关特征量,研究能够预测不同循环中最佳循环展开因子的机器学习算法。首先建立不同的机器学习回归算法模型预测不同特征变量的循环计算时间,对模型的参数进行优化以提高预测准确率,通过比较计算时间找出最佳展开因子。然后建立循环特征变量与展开因子之间机器学习分类算法模型,预测得到最优循环展开因子。最后将算法应用于预测有限元分析代码中循环计算的最佳展开因子,将结果在1台单相变压器磁场有限元分析代码中进行循环展开,计算得到展开前后时间的加速程度。循环展开技术可以应用到有限元串行和并行计算中,并且在不同的程序中都有很好的适应性。

基于边缘部署低功耗的神经网络加速器

卷积神经网络作为一种处理网络数据的深度学习模型,广泛的应用于自动驾驶、航空航天等行业。而随着数据量的增长,卷积网络的结构也变得越来越复杂,对于卷积网络这种计算和资源密集型网络如何部署在低功耗、资源少的边缘设备上就成为了一种困难。而FPGA由于其具有高的并行性和低功耗,可以作为一种边缘部署的设备。在这基础上,提出了一种针对于LeNet-5轻量网络的加速器,利用流水线并行加速和循环展开对FPGA的并行计算最大化,然后使用Vitis HLS将高级编程语言转变为硬件描述语言,再利用Vitis IDE进行软件驱动的编写。实验结果表明,相对于在CPU、GPU上进行网络推理,在ZYNQ上FPGA进行网络推理,在检测速率相近的情况下,功耗减少了8倍,这使得神经网络的边缘部署多了一种选择。

面向FT-M7002的阈值分割算法优化实现

在国产高性能DSP的快速发展过程中,缺乏能充分发挥其体系结构优势的高性能图像处理算法。针对以上问题,对应用比较广泛的Otsu阈值分割算法进行面向FT平台的并行优化。在分析FT-M7002体系结构以及Otsu阈值分割算法的基础上,使用飞腾向量指令集进行手工向量化改写以充分利用FT-M7002平台超长向量寄存器,从而减少数据访存次数提高数据级并行性。在多种图像矩阵规模下进行性能测试,结果显示,阈值分割中的阈值比较模块优化后获得了3.74~4.39倍的加速效果,Otsu阈值分割算法总体优化实现获得了1.77~1.87倍的加速效果。

基于FPGA的卷积神经网络硬件加速器设计

为了提高中小规模设备卷积神经网络的推理速度,提出一种基于FPGA的卷积神经网络硬件加速器设计方案。针对模型中的卷积运算单元,该硬件加速器采用输入、输出二维循环展开和循环分块的方法,设计128个并行乘法器单元。模型的输入输出接口采用双缓存设计,通过乒乓操作,降低数据传输带来的时间延迟。同时,采用16位定点量化模型中权重参数,偏置参数和输入输出特征图的像素值。实验结果表明,与通用CPU酷睿i5-4440处理器相比,在COCO数据集上准确率几乎不变的情况下,计算性能提高5.77倍。在系统时钟频率为150 MHz时,硬件加速器的计算性能达到28.88 GOPS。

面向心电检测的混合多模卷积神经网络加速器设计

随着医疗资源日益匮乏以及人口老龄化日趋严重,心血管疾病已对人类健康造成了极大的威胁。具有心电(ECG)检测的便携式设备能有效降低心血管疾病对患者的威胁,因此该文设计了一种面向心电检测的混合多模卷积神经网络加速器。该文首先介绍了一种用于心电信号分类的1维卷积神经网络(1D-CNN)模型,随后针对该模型设计了一种高效的卷积神经网络(CNN)加速器,该加速器采用了一种多并行展开策略和多数据流的运算模式完成了卷积循环的加速和优化,能在时间上和空间上高度复用数据,同时提高了硬件资源利用率,从而提升了硬件加速器的硬件效率。最后基于Xilinx ZC706硬件平台完成了原型验证,结果显示,所设计卷积神经网络加速器消耗的资源为2247 LUTs, 80 DSPs。在200 MHz的工作频率下,该设计的整体性能可达到28.1 GOPS,并且硬件效率达到了12.82 GOPS/kLUT。

晶硅分子动力学模拟的GPU加速算法优化

分子动力学(MD)模拟是研究硅纳米薄膜热力学性质的主要方法,但存在数据处理量大、计算密集、原子间作用模型复杂等问题,限制了MD模拟的深入应用。针对晶硅分子动力学模拟算法中数据访问不连续和大量分支判断造成并行资源浪费、线程等待等问题,结合Nvidia Tesla V100 GPU硬件体系结构特点,对晶硅MD模拟算法进行设计。通过全局内存的合并访存、循环展开、原子操作等优化方法,利用GPU强大并行计算和浮点运算能力,减少显存访问及算法执行过程中的分支冲突和判断指令,提升算法整体计算性能。测试结果表明,优化后的晶硅MD模拟算法的计算速度相比于优化前提升了1.69~1.97倍,相比于国际上主流的GPU加速MD模拟软件HOOMDblue和LAMMPS分别提升了3.20~3.47倍和17.40~38.04倍,具有较好的模拟加速效果。

多核处理器中基于Radix-Join的嵌套循环连接优化

针对目前主流的多核处理器,研究了基于共享Cache多核处理器的数据库Nested Loop Join(NINLJ)优化.针对无索引情况下的NLJ,提出了基于Radix-NL-Join算法的NLJ多线程执行框架.从减少Cache访问冲突和提高Cache命中率两个方面优化了NINLJ多线程执行框架中的聚集划分和聚集连接线程.主要贡献如下:1.针对多线程访问共享Cache容易出现共享Cache访问冲突的问题,优化了聚集划分阶段的多线程聚集划分线程的启动时机;2.针对聚集连接阶段,聚集连接线程Cache访问性能不佳,利用聚集连接线程顺序访问聚集的优势,采用预取线程提高聚集连接线程的性能;3.在实验中,基于开源数据库EaseDB实现了上述多线程执行框架,测试了多线程NLJ的性能.实验结果表明,提出的NLJ多线程执行框架,可以充分利用多核处理器的计算资源,并有效地解决共享Cache在多线程条件下的Cache访问冲突问题,大大提高了NLJ的性能,相对于未采用Cache优化的多线程Radix-NL-Join算法,其性能提升了26%左右.

关于并行程序设计方法的分析与研究

并行程序设计与并行计算机的体系结构密切相关,因此其复杂性要远远大于串行程序设计.介绍了数据分解和循环体依赖等概念,提出了一个cache利用率和并行计算机有效速度的近似关系模型.通过该模型和一个实例,阐述了在并行程序设计中降低和拆解计算目标中数据依赖的方法过程,从而达到尽可能多地发掘指令级并行性,提高cache利用率即提高并行系统有效速度的目的.

Census立体匹配算法的DSP实现

立体匹配是计算机立体视觉中最重要的步骤之一,由于计算量巨大,使得在各种实时应用中,都必须解决立体匹配的优化问题。立体匹配的实时性研究已经成为现代立体视觉的一个重要研究方向。本文从硬件和软件两个层次分析了立体匹配算法的基本加速方法和技巧,然后详细介绍了利用TiC64xDSP进行Census算法的优化。最后通过实验结果验证了本文提出算法的有效性。

一个新的循环分块算法

循环分块是一种提高循环 Cache命中率的循环变换技术 ,循环分块的大小是决定循环分块效率的关键因素 .CME(cache miss equations)是一种精确分析程序中循环 Cache命中率的数学模型 ,从 CME理论模型出发 ,通过比较循环分块前后 CME的变化 ,结合 PADDING技术可以得出一个循环分块算法 .实验表明 ,通过该算法计算出的分块大小较之经典的 L RW循环分块算法 ,在确保完全消除循环中数组引用数据访问 Cache自冲突的同时 ,可以获得更大的分块 ,从而提高了循环分块的分块效率 .

基于强化学习的循环自动展开研究

近年来,芯片行业蓬勃发展,新的架构比以往更快地涌现出来。同时,现代计算机的应用场景变得越来越复杂,对计算机性能的要求逐渐增加。在编译优化中,循环展开发挥着承上启下的作用,且任务复杂,高度依赖经验,并需要大量人力和资源投入。为了减少编译器开发中循环展开的工作量,并适应芯片行业快速发展的环境,本文提出了一种基于强化学习的自动展开器。经过实验比较,该循环展开器性能优于Clang-O3,并且与蛮力搜索相比具有更快的编译速度。

基于分支执行历史的循环缓冲低功耗方法

针对嵌入式处理器中指令Cache功耗显著的特点,提出了一种基于分支执行历史的循环缓冲低功耗方法.利用分支指令当前信息与分支执行历史信息之间的关系,实现了应用程序中循环的动态检测与加载.通过对取指通道的精确控制,该方法能够过滤大部分不必要的指令Cache访问,有效降低了指令Cache的功耗.在SuperV_EF01DSP上的实验结果表明,采用该方法后,在处理器性能没有损失的情况下,指令Cache功耗平均降低32.58%,面积仅增加8.31%.