申威26010众核处理器上Winograd卷积算法的研究与优化

卷积作为深度学习中被频繁使用的关键部分,其并行算法的研究已成为高性能计算领域中的热门话题.随着我国自主研发的申威26010众核处理器在人工智能领域的快速发展,对面向该处理器的高性能并行卷积算法提出了迫切的需求.针对申威26010处理器的架构特征以及Winograd卷积算法的计算特性,提出了一种高性能并行卷积算法——融合Winograd卷积算法.该算法不同于依赖官方GEMM(general matrix multiplication)库接口的传统Winograd卷积算法,定制的矩阵乘实现使得该算法的执行过程变得可见,且能够更好地适应现实中常见卷积运算.整个算法由输入的Winograd变换、卷积核的Winograd变换、核心运算和输出的Winograd逆变换4部分构成,这4个部分并不是单独执行而是融合到一起执行.通过实时地为核心运算提供需要的变换后数据,并将计算结果及时地逆变换得到最终的输出数据,提高了算法执行过程中的数据局部性,极大地降低了整体的访存开销.同时,为该算法设计了合并的Winograd变换模式、DMA(direct memory access)双缓冲、片上存储的强化使用、输出数据块的弹性处理以及指令重排等优化方案.最终的实验结果表明,在VGG网络模型的总体卷积测试中,该算法性能是传统Winograd卷积算法的7.8倍.同时,抽取典型卷积神经网络模型中的卷积进行测试,融合Winograd卷积算法能够在所有的卷积场景中发挥明显高于传统Winograd卷积算法的性能.其中,最大能够发挥申威26010处理器峰值性能的116.21%,平均能够发挥峰值性能的93.14%.

面向现代GPU的Winograd卷积加速研究

卷积运算是现代卷积神经网络中必不可少的组成部分,同时也是最耗时的.为了解决卷积算子的性能问题,包括快速傅里叶变换(Fast Fourier Transform,FFT)和Winograd在内的快速卷积算法被提出. Winograd卷积可被用于提高小卷积核的推理性能,是目前卷积神经网络中的主流实现方法 .然而,Winograd卷积在许多高度优化的深度神经网络库和深度学习编译器中的实现比较低效.由于Winograd卷积的四个阶段的复杂数据依赖关系,面向GPU对其进行优化非常具有挑战性.本文针对现代GPU体系结构优化了Winograd卷积算子的性能.本文提出了Winograd计算阶段的等价变化及其利用Tensor Core进行计算的无同步实现,并进一步提出了利用不同GPU内存层级的部分计算核融合方法 PKF(Partial Kernel Fusion).基于张量虚拟机(Tensor Virtual Machine,TVM)和代码重构器PKF-Reconstructor(Partial Kernel Fusion Reconstructor),实现了高性能的Winograd卷积.对真实应用中卷积神经网络的卷积算子的评估表明,与cuDNN相比,本文所提算法实现了7.58~13.69倍的性能提升.

基于Winograd卷积的并行深度卷积神经网络优化算法

针对并行深度卷积神经网络算法在大数据环境下存在冗余特征计算过多、卷积运算性能不足和参数并行化合并效率低等问题,提出了基于Winograd卷积的并行深度卷积神经网络优化算法。首先,该算法提出基于余弦相似度与归一化互信息的特征过滤策略,通过先筛选后融合的方式消除了通道间对于冗余特征的计算,以此解决了冗余特征计算过多的问题;然后,结合MapReduce提出了并行Winograd卷积策略,通过使用并行化Winograd卷积运算替换传统卷积运算的方式来提升卷积运算的性能,以此解决了卷积运算性能不足的问题;最后,提出基于任务迁移的负载均衡策略,通过动态负载迁移的方式来均衡集群中各节点之间的负载,降低了集群总体的平均反应时长,以此解决了参数并行化合并效率低的问题。实验表明,WP-DCNN算法显著降低了DCNN在大数据环境下的训练代价,而且对并行DCNN的训练效率也有大幅提升。

Winograd转置卷积快速实现方法研究

Winograd转置卷积算法是现场可编程门阵列中广泛使用的卷积加速方法,可通过分组后执行Winograd卷积来解决转置卷积的零填充问题。然而该方法需要对输入特征映射和卷积核进行分组运算,且需要对运算结果进行重组,以生成完整的输出特征映射,复杂的元素坐标计算增加了设计的复杂度。针对上述问题,提出一种采用统一转换矩阵计算Winograd转置卷积的方法,使用统一的转换矩阵代替对输入特征映射和卷积核进行分组,有效解决了重叠求和、零填充、卷积核翻转、分解和重组等问题。并在该方法的指导下,结合数据重用、双缓冲区设计和流水线等方法,完成了现场可编程门阵列上转置卷积的加速器的设计。选择高斯-泊松生成对抗网络进行实验验证,并与主流的转置卷积设计方法进行了综合比较。实验结果表明,提出的方法可有效降低资源消耗和功耗,加速器的有效性能比现有的转置卷积方法提高了约1.13至23.92倍。

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于门控卷积生成对抗网络的西汉漆箱纹饰图案数字化修复研究

中国历史上漆器以其精美的纹饰技法闻名于世,针对古代漆器表面破损严重、纹饰信息大面积缺失的彩绘漆箱修复难题,提出了一种门控卷积生成对抗网络(GC-GAN)的古代漆箱表面图案修复方法.该方法采用门控卷积结构改进生成对抗网络模型,以提升模型对于图像中有效像素的学习能力并解决不规则大面积图像区域的高分辨率修复问题.在此基础上,首先对漆箱图案中的畸变、破损和缺失部分进行掩膜处理,然后使用GC-GAN生成掩膜区域的图案.针对漆箱纹饰图案样本数量少的问题,借助迁移学习思想,将模型在CelebA、SVHN等多种公共数据集上学习到的知识迁移到漆箱纹饰上.最终实现了“西安凤栖原西汉家族墓地”M1墓室中出土的大型木胎彩绘漆箱表面纹饰的数字化虚拟修复.

基于格拉姆角场与深度卷积生成对抗网络的行星齿轮箱故障诊断

针对行星齿轮箱故障诊断中样本分布不均衡所引起的模型泛化能力差及诊断精度低等问题,采用格拉姆角场图像编码技术和深度卷积生成对抗网络相结合进行数据增强,融合AlexNet卷积神经网络进行故障诊断。将采集到的一维振动信号转化为格拉姆角场图,按比例划分训练集与测试集,将训练集样本与随机向量输入到深度卷积生成对抗网络模型中,交替训练生成器与判别器,达到纳什平衡,生成与原始样本类似的生成样本,从而实现故障样本的增广。用原始样本与生成的增广样本训练卷积神经网络分类模型,完成行星齿轮箱的故障识别。实验结果表明,所提方法能够有效提升样本不均衡条件下的行星齿轮箱故障诊断精度,使之达到99.15%,且能使收敛速度更快。

基于卷积神经网络的预制叠合板多目标智能化检测方法

在生产过程中,预制构件尺寸不合格问题将导致其在施工现场无法顺利安装,从而影响工期。为推进预制构件智能化生产的进程,以预制叠合板为例,基于卷积神经网络研究生产过程中的智能检测方法,在生产流水线上设计并安装图像采集系统,建立预制叠合板尺寸检测数据集。通过YOLOv5算法实现对混凝土底板、预埋PVC线盒及外伸钢筋的识别,并以固定磁盒作为基准参照物进行尺寸检测误差分析,实现混凝土底板尺寸、预埋PVC线盒坐标的检测,在降低训练数据集参数规模的工况下保持较高的识别精度。结果表明:该方法可以有效检测预制叠合板的底板数量和尺寸、预埋PVC线盒数量和坐标,并实现弯折方向不合格的外伸钢筋检测,并能降低人工成本,提高检测精度,加快检测速度,提高预制叠合板的出厂质量。

基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明:所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。

注意力可变形卷积网络的木质板材瑕疵识别

为了解决木材缺陷检测中人工成本高、效率低的问题,该文基于可变性卷积网络和注意力机制,提出一种端到端的神经架构模型.首先,可变形卷积网络(Deformable Convolutional Network, DCN)通过将矩形网格转换为变形网格,使模型专注于具有更多有用图像信息的区域.使用可变形卷积网络可以忽略图像特征中不相关的系数,解决了传统卷积在特征中学习更多信息能力有限的问题.然后,将DCN输出馈送到门控循环单元(Gated Recurrent Unit, GRU)层以学习缺陷图像的高级特征.最后,通过关注输入图像的最重要特征,应用注意力机制加强瑕疵区域的高亮度,从而提高模型识别的准确性.使用Matlab平台在4个木质板材缺陷数据集上将该文方法与现有其他方法进行比较分析,该文方法的准确率比其他3种对比方法提高了2.4%~13.2%的维度,灵敏度提高了3.3%~16.6%的维度,特异性提高了4%~21%的维度.实验结果表明,该文方法在检测精度和其他各个性能方面均优于现有方法,最佳准确率为99.2%,证明了该文方法的有效性.

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。

融合多小波分解的深度卷积神经网络轴承故障诊断方法

针对卷积神经网络及其与信号降噪预处理集成方法面临高噪声环境和低质量数据挑战时难以有效地提取信号有用特征的问题,提出了一种融合Geronimo-Hardin-Massopust多小波分解的深度卷积神经网络模型(GHMMD-DCNN)。该模型思想是将多小波包分解与卷积神经网络深度融合,即设计多个一级多小波分解层以提取信号的低频分量和高频分量,再将多个一级多小波分解层与卷积层交替联接,使模型能够多尺度地提取并学习信号有用的时频域信息,信号分解和特征学习交替执行,进而实现强噪声鲁棒特征提取。在不同工况下的航空高速轴承振动数据上进行测试,结果表明:所提模型训练时能够快速达到稳定收敛,并且识别准确率均能达到99.9%以上;提出的方法在强噪声干扰下的故障辨识准确度和识别稳定性均优于对比方法,验证了其优秀的抗噪声干扰能力;在少训练样本测试中,提出的方法在单类训练样本数量为60时的平均诊断准确率高达91.19%,相比于其他方法最低提升了13.19%,验证了GHMMD-DCNN模型具有更优的低样本泛化能力。

深度卷积网络在航空高光谱岩性识别中的应用——以塔木素铀矿床北部地区为例

岩矿信息识别是高光谱遥感在地质勘探领域的主要应用方向。传统高光谱遥感方法尽管在矿物识别中取得了良好效果,但对于岩性识别存在瓶颈。深度学习是当前人工智能领域的研究热点,卷积神经网络是适用于图像识别的重要网络架构。以巴音戈壁盆地西部塔木素铀矿床北部区域为试验区,以SASI航空高光谱影像为数据源,将深度卷积神经网络引入航空高光谱遥感岩性识别,测试和评估其应用效果。基于预处理后的SASI航空高光谱影像,以试验区地质图及野外调查为参考,制作了8类样本,包括:印支期花岗岩、华力西晚期花岗岩、华力西晚期花岗闪长岩、华力西中期石英闪长岩、石炭系碎屑岩、中下侏罗统火山凝灰岩、第四系沉积物和绢云母化蚀变岩。构建了基于光谱特征的一维卷积神经网络、基于图-谱联合特征的一维+二维卷积神经网络和三维卷积神经网络3种模型结构,分别进行模型训练、测试和试验区岩性分类应用。模型测试结果表明:一维卷积神经网络、一维+二维卷积神经网络和三维卷积神经网络的总体精度分别为82.13%、86.46%和90.90%。通过评价分析三种卷积神经网络模型的岩性分类识别结果,三维卷积神经网络的识别结果与真实参考最为接近,对试验区各类岩性的区分识别效果最优,一维+二维卷积神经网络的识别效果次之,表明利用卷积神经网络引入高光谱图像空间信息,进行图-谱特征的联合挖掘,有利于提高影像的识别精度和实际应用效果。同时,一维卷积神经网络和一维+二维卷积神经网络的识别结果因航空高光谱影像拼接后的条带效应,影响了它们的实际应用效果,而三维卷积神经网络较好地克服了这种影响,表明其对于大面积航空影像处理具有相对较好的应用前景。

基于卷积神经网络的采摘机械臂无碰撞运动规划研究

介绍了卷积神经网络的基本结构及其工作原理,基于DH参数法建立了采摘机械臂运动模型,并设计了一套采摘机械臂无碰撞运动规划算法,旨在实现对采摘机械臂的精确控制。MatLab仿真试验表明:采摘机械臂在系统的驱动控制下,能够准确从起点移动到目标点,轨迹比较圆滑,且能以最优的圆弧路径避开障碍物,优化效果明显,能够满足采摘机器人作业需求,证实了该算法的稳定性和可靠性。

改进卷积胶囊网络的滚动轴承故障诊断方法

目前许多基于卷积网络的滚动轴承故障诊断方法受噪声信号以及负荷变化的影响,存在诊断效果不佳、泛化能力差的问题。针对此问题提出一种改进卷积胶囊网络的滚动轴承变工况故障诊断方法。该方法设计了多尺度非对称卷积模块,其中采用不同尺度的非对称卷积层对输入数据进行特征提取,在实现最大化提取数据中的特征信息的同时,还能够有效减少参数量;在该模块中引入通道注意力机制,能更好地提取有用的通道特征,提高该方法特征提取的能力;通过将网络中的全连接层改进为胶囊全连接层,使得胶囊在输出向量特征信息时,避免了特征信息在空间中的丢失。使用凯斯西储大学轴承数据集和东南大学变速箱数据集来验证所提方法的诊断性能,并与其他深度学习方法进行了比较。实验结果表明,与其他深度学习方法相比,具有较好的泛化性,效果更佳。

U型卷积网络在乳腺医学图像分割中的研究综述

U-Net及其变体模型在乳腺医学图像分割领域展现了卓越的性能,U-Net采用全卷积网络(FCN)结构进行语义分割,U-Net对称结构的高度灵活性和适应性可以通过调整网络深度、引入新的模块来适应不同的图像分割任务和挑战,这种创新结构对后续网络设计产生了深远影响。深入探讨了基于U型卷积网络在乳腺医学图像分割中的应用,并对近年来用于乳腺医学图像分割的U型卷积网络进行了分类与归纳。针对U-Net网络结构改进的乳腺医学图像分割技术进行了如下总结。阐述了目前广泛使用的乳腺医学图像数据集及评价指标,陈述了常用的数据增强方法;详细介绍了U-Net模型的网络结构以及用于乳腺医学图像的传统分割方法;对用于乳腺医学图像分割方法的U型网络结构按照残差结构、多尺度特征、膨胀机制、注意力机制、跳跃连接机制、结合Transformer等方面改进进行归纳总结。讨论了当下乳腺医学图像分割所遇到的问题与挑战,对未来的研究走向做出了展望。

结合算子选择的卷积神经网络显存优化算法

针对卷积神经网络训练中自动算子选择算法在较大的显存压力下性能下降的问题,将卸载、重计算与卷积算子选择统一建模,提出一种智能算子选择算法。该算法权衡卸载和重计算引入的时间开销与更快的卷积算子节省的时间,寻找卸载、重计算和卷积算子选择的调度,解决了自动算子选择算法性能下降的问题.实验结果表明,该智能算子选择算法比重计算-自动算子选择算法缩短了13.53%训练时间,比已有的卸载/重计算-自动算子选择算法缩短了4.36%的训练时间.

基于深度卷积神经网络的频高图特征提取研究

本文提出了一种利用深度卷积神经网络的频高图特征提取方法,在频高图不同层回波信息标记的基础上,构建包含降采样部分和上采样部分的频高图回波识别网络模型,实现了频高图不同回波信息自动识别.利用试验获取的频高图数据,通过人工对频高图中电离层不同层的回波信息分别标记,生成网络模型样本数据集.以随机方式,选取样本数据集80%的数据作为训练数据,其余数据作为测试数据.经网络模型训练和测试,结果显示网络模型能够自动有效地识别测试频高图中不同层的回波信息.在此基础上,结合数字图像处理中的腐蚀算法和连通域思想,针对性地设计滤波器,滤除已识别回波信息中的噪声、干扰、多跳回波,能够实现测试频高图特征参数的有效提取.并且通过与传统方法比较,该方法特征提取精度整体上优于传统方法,可为频高图特征的自动、精确提取提供一种新的技术方法.

全尺度密集卷积U型网络的视网膜血管分割算法

针对视网膜图像中血管尺度跨度大、细小血管与背景高度相似导致误分割和未分割等问题,提出一种全尺度密集卷积U型网络的视网膜血管分割方法。为提取更复杂的特征信息,构建级联卷积融合密集块(cascade convolutional fusion dense blocks, CCF-DB)作为U型网络的编解码器用以提取视网膜血管的特征信息;在网络最底端嵌入混合注意力级联卷积密集块(mixed attention cascaded convolutional dense block, MACC-DB),进一步提升感受野,获取更高维的语义特征信息;在模型的解码部分采用全尺度的跳跃连接,捕获不同尺度下的血管特征信息,提升模型的分割精度。实验结果表明,在DRIVE数据集上,相比于U-Net、U-Net3+、SA-Unet、FR-Unet等算法,此算法的AUC值达到了98.26%,准确率为95.82%;在CHASE-DB1数据集上,此算法的AUC值达98.84%,准确率达96.66%。采用此算法进行视网膜血管分割,分割的精度和鲁棒性均有不同程度的提升,对细小血管分割达到了优良的效果。