申威26010众核处理器上Winograd卷积算法的研究与优化

卷积作为深度学习中被频繁使用的关键部分,其并行算法的研究已成为高性能计算领域中的热门话题.随着我国自主研发的申威26010众核处理器在人工智能领域的快速发展,对面向该处理器的高性能并行卷积算法提出了迫切的需求.针对申威26010处理器的架构特征以及Winograd卷积算法的计算特性,提出了一种高性能并行卷积算法——融合Winograd卷积算法.该算法不同于依赖官方GEMM(general matrix multiplication)库接口的传统Winograd卷积算法,定制的矩阵乘实现使得该算法的执行过程变得可见,且能够更好地适应现实中常见卷积运算.整个算法由输入的Winograd变换、卷积核的Winograd变换、核心运算和输出的Winograd逆变换4部分构成,这4个部分并不是单独执行而是融合到一起执行.通过实时地为核心运算提供需要的变换后数据,并将计算结果及时地逆变换得到最终的输出数据,提高了算法执行过程中的数据局部性,极大地降低了整体的访存开销.同时,为该算法设计了合并的Winograd变换模式、DMA(direct memory access)双缓冲、片上存储的强化使用、输出数据块的弹性处理以及指令重排等优化方案.最终的实验结果表明,在VGG网络模型的总体卷积测试中,该算法性能是传统Winograd卷积算法的7.8倍.同时,抽取典型卷积神经网络模型中的卷积进行测试,融合Winograd卷积算法能够在所有的卷积场景中发挥明显高于传统Winograd卷积算法的性能.其中,最大能够发挥申威26010处理器峰值性能的116.21%,平均能够发挥峰值性能的93.14%.

一种改良Winograd术式治疗嵌甲并甲沟炎

目的 介绍一种新的改良Winograd术式治疗足趾嵌甲并甲沟炎的方法。方法 2017年7月-2020年6月,共诊治足趾嵌甲并甲沟炎45例(67趾)。对传统Winograd术式进行改良,结合常规的甲沟炎根治术联合应用皮瓣技术,在彻底切除嵌入的侧甲襞以及炎性增生组织的同时充分显露甲根部甲基质实现对侧方甲根部生发基质的根治性切除,并通过皮瓣的转移,调节患趾外观。结果 45例67趾术中嵌入的侧甲襞以及侧方甲根部生发基质均显露清晰并完整切除,术后愈合时间为7~18 d(平均11.4d)。经过9~18个月(平均12个月)的随访,术后外观满意,患趾均愈合良好无复发。结论 这种新型的甲沟炎根治术显露彻底,根治术后无残甲无复发,手术操作简单,术后外观满意,临床应用效果好。

面向现代GPU的Winograd卷积加速研究

卷积运算是现代卷积神经网络中必不可少的组成部分,同时也是最耗时的.为了解决卷积算子的性能问题,包括快速傅里叶变换(Fast Fourier Transform,FFT)和Winograd在内的快速卷积算法被提出. Winograd卷积可被用于提高小卷积核的推理性能,是目前卷积神经网络中的主流实现方法 .然而,Winograd卷积在许多高度优化的深度神经网络库和深度学习编译器中的实现比较低效.由于Winograd卷积的四个阶段的复杂数据依赖关系,面向GPU对其进行优化非常具有挑战性.本文针对现代GPU体系结构优化了Winograd卷积算子的性能.本文提出了Winograd计算阶段的等价变化及其利用Tensor Core进行计算的无同步实现,并进一步提出了利用不同GPU内存层级的部分计算核融合方法 PKF(Partial Kernel Fusion).基于张量虚拟机(Tensor Virtual Machine,TVM)和代码重构器PKF-Reconstructor(Partial Kernel Fusion Reconstructor),实现了高性能的Winograd卷积.对真实应用中卷积神经网络的卷积算子的评估表明,与cuDNN相比,本文所提算法实现了7.58~13.69倍的性能提升.

基于Winograd算法的3D卷积神经网络权重剪枝方法

针对3D卷积神经网络在资源有限的环境下高计算成本的挑战,文章提出了一种融合Winograd算法和网络剪枝技术的3D卷积神经网络优化方法。首先,将标准3D卷积层替换为效率更高的3D Winograd层,实现对卷积操作的优化。接着,对3D Winograd层的权重进行重要性评估,保留重要的权重单元并剪枝获得稀疏模型。最后,对稀疏模型进行重训练,恢复剪枝后网络的性能。通过结合Winograd算法和网络剪枝技术,能够在提高识别准确度的同时,显著降低了模型的计算需求。实验结果证实,与其他优化技术相比,本方法能有效减少计算资源消耗,同时保持甚至提高识别性能。

FPGA平台上动态硬件重构的Winograd神经网络加速器

为解决卷积神经网络在FPGA平台上进行硬件加速时存在的资源利用率低和资源受限问题,提出了一种基于FPGA动态部分重构技术和Winograd快速卷积的卷积神经网络加速器。该加速器通过运行时硬件重构对FPGA片上资源进行时分复用,采用流水线方式动态地将各个计算流水段配置到FPGA,各个流水段所对应的卷积计算核心使用Winograd算法进行定制优化,以在解决资源受限问题的同时最大程度地提升计算资源利用效率。针对该加速器架构,进一步构建了组合优化模型,用于搜索在特定FPGA硬件平台上部署特定网络模型的最优并行策略,并使用遗传算法进行设计空间求解。基于Xilinx VC709 FPGA平台对VGG-16网络模型进行部署和分析,综合仿真结果表明,所提出的设计方法能够在资源有限的FPGA上自适应地实现大型神经网络模型,加速器整体性能可以达到1078.3 GOPS,较以往加速器的性能和计算资源利用效率可以分别提升2.2倍和3.62倍。

改良Winograd术治疗拇趾嵌甲症

目的探讨Winogard术治疗拇趾嵌甲症的改良方式。方法从2007年1月至2009年5月选择门诊35例拇趾嵌甲症患者,其中右足拇趾20例,左足拇趾12例,双足拇趾3例。按作者总结的改良Winograd术进行治疗。结果所有患者均在2周后拆线,均未复发,效果满意。结论作者总结的改良Winograd术可作为嵌甲症患者较为理想的手术治疗方式。

Winograd快速傅立叶变换及其在频谱分析仪中的应用

介绍了Winograd快速傅立叶变换的方法。这种方法的乘法次数只有Cooley Tukey傅立叶算法的 1/ 3,而加法次数并无明显增多 ,因此有很好的推广价值。采用这种算法设计了三相频谱分析仪 ,大大提高了计算速度。

基于Winograd算法的目标检测加速器设计与优化

卷积神经网络(Convolutional Neural Networks,CNN)已被广泛应用于图像处理领域.基于CNN的目标检测模型,如YOLO,已被证明在许多应用中是最先进的.CNN对计算能力和内存带宽要求极高,通常需要部署到专用硬件平台,FPGA因其高性能、低功耗和可重配置性成为CNN的有效硬件加速器.以往的基于FPGA的目标检测加速器主要采用传统卷积算法,然而,传统卷积算法的高运算复杂度限制了加速器的性能.基于此,本文设计了一种基于Winograd算法的目标检测加速器.考虑到各模块间的联系,采用模块融合策略融合卷积层和池化层模块,降低数据移动次数,减少片外存储器访问次数,提高加速器整体性能.以YOLO2模型为例,对数据访问模式、池化内核、参数重排序、数据通路优化进行分析设计,并部署在U280板卡上.实验结果表明,量化后mAP降低了0.96%,性能达249.65 GOP/s,是Xilinx官网所给数据的4.4倍.

Winograd矩阵乘法算法用于任意阶矩阵时的一种新处理方法

摘要t矩阵乘法StraSsen算法及其变形winograd算法用分而治之的方法把矩阵乘法时间复杂性由传统的D(n。)改进到0(佗kg。n.但是对于奇数阶矩阵,在划分子矩阵时,要作特殊处理才能继续使用此算法.本文提出了一种非等阶“十”字架划分方法,可以最少化填零,最大化性能,使得奇数阶矩阵乘法的时间复杂性更加接近偶数阶矩阵乘法的效果.计算实例显示该方法是有效的.

基于SVD-Winograd快速变换的半盲水印算法

目前多数基于傅里叶变换域的方法,其抗几何攻击性能虽很好,嵌入的信息量也很大,但存在抗剪切攻击能力较差的问题,针对这一问题提出了一种基于奇异值分解与Winograd快速傅里叶变换相结合的半盲水印算法。在奇异值分解过程中,先将奇异值分解的对角矩阵与Winograd快速傅里叶变换中分解的对角阵进行矩阵相与,产生一新对角矩阵。再将数字水印嵌入到新对角矩阵中,最后通过相关运算提取水印。实验结果表明,该方法可获得较好的图像视觉效果,对剪切、噪声、旋转等攻击皆具有较好的鲁棒性。

改良Winograd术联合甲沟重建术治疗重度嵌甲症的疗效

目的 回顾性分析改良Winograd术联合甲沟重建术治疗重度嵌甲症的临床疗效。方法 2015年8月-2022年8月,对53例63趾重度嵌甲症采用切除1/4~1/5甲床及甲根部的甲母质,清除肉芽肿及坏死糜烂,切除少部分甲皱襞,使用垂直褥式内翻缝合法重建甲沟。结果 术后2例出现红肿、渗出,给予拆线、换药、使用敏感抗生素后炎症消退,切口愈合;其他均一期愈合。术后2~3周拆除缝线。48例术后得到3~24个月,平均13个月随访,5例失访。所有随访患者均无嵌甲复发,无疼痛,不影响步态。外观良好,新生甲板无明显缩窄、畸形,患者满意度较高。结论 改良Winograd术联合甲沟重建术治疗重度嵌甲症可取得满意的临床疗效。

应用Winograd傅氏变换算法计算傅里叶光谱

讨论了Ｗｉｎｏｇｒａｄ傅里叶变换算法的优点，通过计算表明，将其应用于傅里叶变换光谱的具体算法时，与计算的具体过程相结合。

Winograd转置卷积快速实现方法研究

Winograd转置卷积算法是现场可编程门阵列中广泛使用的卷积加速方法,可通过分组后执行Winograd卷积来解决转置卷积的零填充问题。然而该方法需要对输入特征映射和卷积核进行分组运算,且需要对运算结果进行重组,以生成完整的输出特征映射,复杂的元素坐标计算增加了设计的复杂度。针对上述问题,提出一种采用统一转换矩阵计算Winograd转置卷积的方法,使用统一的转换矩阵代替对输入特征映射和卷积核进行分组,有效解决了重叠求和、零填充、卷积核翻转、分解和重组等问题。并在该方法的指导下,结合数据重用、双缓冲区设计和流水线等方法,完成了现场可编程门阵列上转置卷积的加速器的设计。选择高斯-泊松生成对抗网络进行实验验证,并与主流的转置卷积设计方法进行了综合比较。实验结果表明,提出的方法可有效降低资源消耗和功耗,加速器的有效性能比现有的转置卷积方法提高了约1.13至23.92倍。

基于DCT-Winograd快速变换的半盲水印算法

针对目前多数基于傅里叶变换域的方法,其抗几何攻击性能虽很好,嵌入的信息量也很大,但存在抗剪切攻击能力较差的问题,提出了一种基于离散余弦变换与Winograd快速傅里叶变换相结合的半盲水印算法,将Winograd算法分解的对角矩阵与经过DCT变换的图像块相与,产生一个新的对角矩阵,再将数字水印嵌入到该对角矩阵中,最后通过相关逆运算提取水印。实验结果表明,该方法可获得较好的图像视觉效果,对剪切、噪声等攻击皆具有较好的鲁棒性。

采用趾侧方切口甲基质切除术与传统Winograd术式治疗嵌甲并甲沟炎的效果比较

目的对比趾侧方切口甲基质切除术与传统Winograd术式治疗嵌甲并甲沟炎的效果。方法对该院2016年6月—2017年6月接收的122例嵌甲并甲沟炎患者资料予以探究,随机分成2组,各61例;对照组行传统Winograd术式治疗,实验组行趾侧方切口甲基质切除术治疗,比对2组手术前后VAS评分变化及随访情况。结果实验组术后VAS评分(1.35±0.27)分较之对照组更低(P<0.05);实验组感染率3.28%、复发率0.00%均较之对照组更低(P<0.05)。结论 ITP行趾侧方切口甲基质切除术治疗可有效减轻患者疼痛感,且安全性高,可被临床推广、应用。

面向飞腾多核处理器的Winograd快速卷积算法优化

随着深度学习的快速发展,卷积神经网络已广泛应用于计算机视觉、自然语言处理等人工智能领域中.Winograd快速卷积算法因能有效降低卷积神经网络中卷积操作的计算复杂度而受到广泛关注.随着国防科技大学自主研制的飞腾多核处理器在智能领域的推广应用,对面向飞腾多核处理器的高性能卷积实现提出了强烈需求.针对飞腾多核处理器的体系结构特征与Wingorad快速卷积算法的计算特点,提出了一种高性能并行Winograd快速卷积算法.该算法不依赖通用矩阵乘库函数,由卷积核转换、输入特征图转换、逐元素乘、输出特征图逆变换等4个部分构成,融合设计了4个部分的数据操作,并设计了与之配套的数据布局、多级并行数据转换算法与多级并行矩阵乘算法,实现访存性能以及算法整体性能的提升.在两款飞腾多核处理器上的测试结果显示,与开源库ACL和NNPACK中的Winograd快速卷积实现相比,该算法分别能获得1.05~16.11倍与1.66~16.90倍的性能加速;集成到开源框架Mxnet后,该算法使得VGG16网络的前向计算获得了3.01~6.79倍的性能加速.

基于OpenMP的Winograd并行矩阵乘算法应用研究

为了提高半经典分子动力学模拟中矩阵乘法效率,通过一种稀疏矩阵分解方法化简矩阵乘法,基于OpenMP实现矩阵相乘的Winograd并行算法。该算法将Winograd算法中各部分依次采用OpenMP并行计算,降低了数据通信。在16核服务器上测试表明,该方法能够显著提高半经典分子动力学模拟中矩阵乘法效率,并行加速比能够达到9.47,并具有良好的可扩展性,为大分子体系的模拟提供了可能。