基于滤波器注意力机制与特征缩放系数的动态网络剪枝

结构化剪枝是模型压缩的一种有效方式,裁减掉网络中不重要的滤波器,减小网络的计算量和存储量.然而,仅仅基于滤波器自身的参数信息是无法准确判断该滤波器是否冗余.针对以上问题,提出一种利用卷积层和BN层双层参数信息的动态网络剪枝方法,该方法利用滤波器注意力机制以及BN(Batch Normalization)层缩放系数选择冗余滤波器,并对其进行裁剪.该方法具有三个优势:1)端到端的训练剪枝:训练和剪枝同时进行,训练速度更快.2)更大的优化空间:训练过程中动态调整被裁剪的滤波器,搜索最优的剪枝策略.3)更准确的滤波器选择:运用多重参数信息精确选取冗余的滤波器,提高了网络的泛化性能.实验分别在标准CIFAR-10数据集和CIFAR-100数据集上进行,尤其在CIFAR-10数据集上的实验结果表明,压缩后的ResNet56和Res Net110的浮点运算率减少40%多,但精度比基本网络高.

基于滤波器聚类与缩放系数的融合剪枝算法研究

为了进一步压缩神经网络模型大小,使网络能部署到移动设备上运行,该文提出了一种基于滤波器聚类与缩放系数的融合剪枝算法。该方法首先通过近邻传播聚类方法,找出相似滤波器,并删除冗余部分,其次BN层缩放系数进一步对通道进行剪枝,最后,通过微调进行恢复精度训练,达到在不损失网络精度的前提下,减小网络模型大小。在VGG16网络上使用CIFAR-10数据集进行实验,结果表明,在保持较高网络精度的前提下,与原模型相比,该文提出的算法参数量减少了90.56%,计算量缩减为原来的74.58%,新模型的内存占用和计算速度都优于原模型,与同类算法比较,该算法在计算速度和模型大小等维度有明显优势。