基于权重关联性的卷积神经网络模型剪枝方法

模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性的卷积神经网络剪枝算法.首先,在经过预先训练的模型上,该算法对整个过滤器权重与其相应输出通道在下一层的关联权重进行联合评估.其次对评估值进行全局标准化,实现评估值的全局可比较,移除整个模型中重要性较小的过滤器权重从而实现剪枝.最后对剪枝后的模型进行微调,恢复模型的准确率.在CIFAR10/100数据集上,本文对VGGNet、Res Net和DenseNet模型进行实验.实验结果表明,提出的方法可以有效地压缩和加速模型,且模型仍能保持良好的精度.

基于模型性能相关性的分级剪枝率剪枝方法

目前剪枝方法中还没有对信息量分布不均的神经网络层做不同剪枝率处理的方法,为此提出一种对不同网络层剪枝不同比例的方式。逐层恢复已经被剪枝神经网络模型的各层,得到各层与模型性能的相关性,对神经网络层进行分类级,对不同类级的神经网络标定不同剪枝率。结合FPGM剪枝方法在cifar10数据集上的实验结果表明,在总体剪枝计算量不变的情况下,不同层级不同剪枝量的方法,模型性能损失更少;在模型性能损失保持良好条件下,可对模型剪枝更高的剪枝量。

浅析如何提高小学数学课堂教学有效性

数学是学生认识和了解世界的另一种语言,对于小学阶段的学生来说,尤其如此。数学为学生打开了一扇新世界的大门,同时鉴于数学学科的性质,它本身具备很强的逻辑性,这不仅体现在数学本身的特质上,也体现在学生学习数学的过程中。而小学阶段的学生需要教师用科学正确的方法进行指导,同时针对数学课堂上存在的一系列问题,采取有针对性的教学策略加以改进,以提升数学课堂教学的有效性。