深度神经网络剪枝方法综述

目前深度神经网络在计算机视觉和语音处理上获得了广泛应用,但是深度神经网络模型参数量和计算量巨大,通常在资源有限的嵌入式应用上部署困难.在基本不影响计算精度的前提下,剪枝技术可以对于深度神经网络模型进行有效压缩和加速,因此成为了目前研究热点.本文论述了深度神经网络剪枝的相关问题和理论,归纳总结近年来面向深度神经网络的剪枝方法,对于当前主流的剪枝方法进行了分类梳理,并对于未来和网络结构搜索相结合的发展方向进行了展望.

随机初始化神经网络剪枝的稀疏二值规划方法

传统深度神经网络剪枝方法往往以预训练模型为初始网络并需要在剪枝后进行微调。受到近年来edgepopup等基于随机初始化网络的剪枝算法优异性能的启发,提出了一种基于稀疏二值规划的随机初始化网络剪枝算法。该算法将剪枝训练过程建模为一个稀疏二值约束优化问题。其核心思想是利用稀疏二值规划来学习一个二值掩膜,利用该掩膜可以从随机初始化的神经网络上裁剪出一个未经训练却性能良好的稀疏网络。与之前基于随机初始化网络的剪枝算法相比,该算法找到的稀疏网络在多个稀疏度下都具有更好的分类泛化性能。与edge-popup算法相比,在ImageNet数据集分类任务中,模型在稀疏度为70%时精度提升7.98个百分点。在CIFAR-10数据集分类任务中,模型在稀疏度为50%时精度提升2.48个百分点。

基于贝叶斯优化的无标签网络剪枝算法

针对深度神经网络(DNN)的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化;最后,利用贝叶斯优化算法寻找网络每一层的最优剪枝率,以提高子网搜索的效率和精度。实验结果表明,使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩,参数压缩率为85.32%,每秒浮点运算次数(FLOPS)压缩率为69.20%,而精度损失仅为0.43%。可见,所提算法可以有效地压缩DNN模型,且压缩后的模型仍能保持良好的精度。

基于零模正则的神经网络剪枝方法

本文提出一种有效的神经网络剪枝方法。该方法对神经网络训练模型引入零模正则项来促使模型权重稀疏,并通过删减取值为零的权重来压缩模型。对所提出的零模正则神经网络训练模型,文中通过建立其等价MPEC形式的全局精确罚得到其等价的局部Lipschitz代理,然后通过用交替方向乘子法求解该Lipschitz代理模型对网络进行训练、剪枝。最后,对MLP和LeNet-5网络模型进行测试,分别在误差2.2%和1%下,取得97.43%和99.50%的稀疏度,达到很好的剪枝效果。

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度(APG)、轻量级网络设计、非结构化剪枝和神经网络结构搜索(NAS)等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。

基于模块相似性的超分网络剪枝

该文针对单图像超分辨率网络(SISR)提出了一种简单的网络剪枝方法。该方法通过评估超分网络中各模块的相似性,用一种简单办法将相似度转换为各模块对网络的贡献程度,从而找到对超分网络相对不重要的模块进行网络剪枝,达到超分辨率网络压缩的目的。通过基于模块相似性的超分网络剪枝,原本参数量庞大的超分网络得到了压缩,参数量和运算量都大幅下降。实验表明,通过剪枝后的超分网络其参数量可以下降60%以上,同时精度下降不超过0.1%,对超分网络部署到低性能平台有着实际意义。

基于滤波器注意力机制与特征缩放系数的动态网络剪枝

结构化剪枝是模型压缩的一种有效方式,裁减掉网络中不重要的滤波器,减小网络的计算量和存储量.然而,仅仅基于滤波器自身的参数信息是无法准确判断该滤波器是否冗余.针对以上问题,提出一种利用卷积层和BN层双层参数信息的动态网络剪枝方法,该方法利用滤波器注意力机制以及BN(Batch Normalization)层缩放系数选择冗余滤波器,并对其进行裁剪.该方法具有三个优势:1)端到端的训练剪枝:训练和剪枝同时进行,训练速度更快.2)更大的优化空间:训练过程中动态调整被裁剪的滤波器,搜索最优的剪枝策略.3)更准确的滤波器选择:运用多重参数信息精确选取冗余的滤波器,提高了网络的泛化性能.实验分别在标准CIFAR-10数据集和CIFAR-100数据集上进行,尤其在CIFAR-10数据集上的实验结果表明,压缩后的ResNet56和Res Net110的浮点运算率减少40%多,但精度比基本网络高.

基于滤波器分布拟合的神经网络剪枝算法

随着人工智能技术的迅猛发展,深度神经网络在不断地加深与变宽,模型的计算量快速增加,神经网络模型的高存储和高功耗的需求也随之产生。网络剪枝是实现模型压缩和加速的一种有效方法。常见的剪枝方法遵循“较小规范-不重要”的标准来对滤波器进行修剪,认为范值较小的滤波器重要性较低,可以安全地修剪掉。针对删去重要性较小的滤波器容易导致滤波器范数分布不均衡的问题,文中提出了一种拟合原始滤波器范数分布的剪枝算法。该算法不仅可以筛选出拟合了原始范数分布的滤波器,还能删去冗余的滤波器。实验表明该算法在两个数据集上的模型压缩效果均优于对比实验。其中,在CIFAR-10数据集上压缩基于ResNet110的图像分类模型的效果明显,最终在减少了62%以上的FLOPs的情况下,相对准确率仅降低了0.14%。

基于自动修补策略的网络剪枝

为有效缓解深度神经网络因其庞大的计算资源消耗而产生的实际应用受限的问题,研究人员设计包括剪枝在内的多种压缩策略.基于贪心思想的网络剪枝算法大都包含训练、剪枝、微调三部分,无法求得最优的剪枝结构.因此,文中结合人工规则和自动搜索方法,提出基于自动修补策略的网络剪枝.整体剪枝流程包括训练、预剪枝、修补和微调四个阶段,增加的修补阶段可调整预剪枝模型的结构.具体方法是使用神经架构搜索实现修补操作,设计搜索空间和搜索策略,并基于预剪枝阶段的卷积核排序加速评估过程.实验表明文中方法在剪枝率较高时仍能保持网络的准确率.

基于网络剪枝的轻量化道路损坏检测模型研究

为了解决目标检测模型参数冗余大、终端部署检测实时性差等问题,文中引入一种基于网络通道剪枝的模型压缩算法。针对轻量级YOLOv4-MobileNet检测模型存在的通道冗余问题,提出了被动式剪枝和主动式剪枝两种优化方案。剪枝后模型Pruned_Model参数量仅5.9M,推理速度达到324.8FPS,较原始模型压缩过5倍,加速近3倍,总体精度损失仅2.1%。结果表明,剪枝方案在道路损坏检测任务上以极小的精度损失换取了大规模的模型压缩。

基于强化学习的无标签网络剪枝

为了消除深度神经网络中的冗余结构,找到具备较好性能和复杂度之间平衡性的网络结构,提出基于无标签的全局学习方法(LFGCL).LFGCL学习基于网络体系结构表示的全局剪枝策略,可有效避免以逐层方式修剪网络而导致的次优压缩率.在剪枝过程中不依赖数据标签,输出与基线网络相似的特征,优化网络体系结构.通过强化学习推断所有层的压缩率,采用深度确定性策略梯度算法探索最优网络结构.在多个数据集上的实验表明,LFGCL性能较优.

基于通道自适应动态网络剪枝算法的FPGA加速器设计与实现

深度神经网络在移动端的部署是其在实际应用中很重要的环节,但是网络的规模越来越庞大,为了减少网络模型推理时的计算成本,提出一种动态神经网络剪枝算法。通过改进激活函数,依据输入选择不同的网络通道,在推理过程中动态选择要运算的网络结构。为了使该算法在实际使用中加速明显,采用现场可编程门阵列(Field Programmable Gate Array,FPGA)设计了一款适应动态剪枝算法的硬件加速器,专门针对动态通道自适应选择。实验在ZYNQ开发板上进行,根据开发板的硬件资源情况设计卷积运算和动态选择的运算单元,采用ResNet网络簇在CIFAR-10和CIFAR-100数据集验证加速器的效果,同时与GPU运算的精度、速度进行对比。

船舶辐射噪声分类卷积神经网络的可视化分析和卷积核剪枝

当前基于深度神经网络的船舶辐射噪声分类研究主要关注分类性能,对模型的解释性关注较少。本文首先采用导向反向传播和输入空间优化,基于DeepShip数据集,构建以对数谱为输入的船舶辐射噪声分类卷积神经网络(CNN),提出了一种船舶辐射噪声分类CNN的可视化分析方法。结果显示,多帧特征对齐算法改进了可视化效果,深层卷积核检测线谱和背景两类特征。其次,基于线谱是船舶分类的稳健特征这一知识,提出了一种卷积核剪枝方法,不仅提升了CNN分类性能,且训练过程更加稳定。导向反向传播可视化结果表明,卷积核剪枝后的CNN更加关注线谱信息。

基于Winograd算法的3D卷积神经网络权重剪枝方法

针对3D卷积神经网络在资源有限的环境下高计算成本的挑战,文章提出了一种融合Winograd算法和网络剪枝技术的3D卷积神经网络优化方法。首先,将标准3D卷积层替换为效率更高的3D Winograd层,实现对卷积操作的优化。接着,对3D Winograd层的权重进行重要性评估,保留重要的权重单元并剪枝获得稀疏模型。最后,对稀疏模型进行重训练,恢复剪枝后网络的性能。通过结合Winograd算法和网络剪枝技术,能够在提高识别准确度的同时,显著降低了模型的计算需求。实验结果证实,与其他优化技术相比,本方法能有效减少计算资源消耗,同时保持甚至提高识别性能。

基于剪枝与知识蒸馏的轻量级人像抠图方法

近年来,随着人像抠图技术的广泛应用,对其实时性与精度的要求也逐渐提高。现有轻量级方法在精度上难以得到保证,而精度更高的方法往往使用较大的网络结构,无法满足实时性需求。为了解决这一问题,提出了一种基于剪枝与知识蒸馏的轻量级人像抠图方法。该方法首先通过网络剪枝来获得一个轻量级学生网络结构,随后使用该学生网络进行知识蒸馏。实验证明,该方法可以在保证模型精度的前提下有效减少参数量和推理耗时,且相较现有的轻量级人像抠图方法具有更少的参数量和更高的精度。

一种语义引导的神经网络关键数据路由路径算法

近年来,由于人工智能在各领域的普及,研究神经网络的可解释方法及理解神经网络的运作机理已经成为一个愈发重要的话题。作为神经网络解释性方法的一个分支,网络的路径可解释性受到了越来越多的关注。文中特别探讨了关键数据路由路径(Critical Data Routing Path,CDRP)这一面向网络路径的可解释方法。首先,通过Score-CAM(Score-Class Activation Map)方法分析了CDRP在输入域上的路径可视化归因,指出CDRP方法在语义层面的潜在缺陷。然后,提出了一种语义引导的Score-CDRP方法,从方法机理上提升了CDRP与原始神经网络的语义一致性。最后,通过实验从路径热力图可视化以及相应的预测与定位精度等角度验证了Score-CDRP方法相较于CDRP的合理性、有效性和鲁棒性。

基于SSD及剪枝神经网络的复杂环境下混凝土裂缝识别

为解决裂缝识别算法在复杂环境下性能不佳的问题,提出了一种基于单激发多框检测器(SSD)算法的改进方法.该方法通过调整原始SSD算法中不同分辨率先验框数量的组合,实现对存在噪声的裂缝图像的高精度裂缝识别.在真实场景和实验室中采集足够数量的裂缝图像并进行预处理,利用椒盐算法对裂缝数据集添加噪声模拟复杂环境中的裂缝图像.在识别裂缝数据集时,对改进方法与原始SSD算法进行对比分析.结果表明,原始SSD算法和改进方法识别裂缝的准确性均随噪声水平的增加而降低.在高密度下添加20%等级的椒盐噪声时,原始SSD算法识别裂缝的准确率仅为31.7%,而改进方法的准确率则高达93.0%.因此,改进方法具有较强的抗噪能力,可用于复杂环境下的裂缝识别.

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。

基于深度神经网络的存储压缩方法研究

由于深度神经网络存在内存密集和计算密集两大特征,其无法满足移动设备存储的需求。为此,提出一种基于深度神经网络的存储压缩方法,该方法通过SVD矩阵奇异值分解方法,并辅以网络剪枝技术,在深度神经网络运行过程中引入少量神经元,并设定神经元数连接数,降低权重规模。通过一系列方法对策,尽可能在不损失精度的前提下,对深度神经网络模型大幅度压缩,其压缩程度达到了5×、15×。

融合联邦学习和剪枝神经网络分布式物联网安全方法研究

针对传统物联网安全检测模型准确率不高且计算复杂度较高的问题,提出融合联邦学习和剪枝神经网络的分布式物联网安全方法。该方法在构建局部模型的基础上采用联邦学习框架构建全局模型神经元,采用剪枝方法优化全局模型神经元,以参数微调的方式构建轻量级深度学习模型。通过仿真验证了该方法对物联网恶意节点检测方面具有较好的效果及较高的安全性,可以保障物联网系统安全可靠运行。