基于参数共享的卷积神经网络压缩

卷积神经网络在图像识别、目标检测等计算机视觉领域成为热门研究方向,并取得了重大进展。随着识别率的不断提高,模型深度不断加深,网络结构愈加复杂,所需的计算量和存储空间也随之大大增加,这使得卷积神经网络在资源有限的移动终端和嵌入式设备上的应用存在很多困难。因此压缩卷积神经网络,减小其占用的存储空间和计算资源成为卷积神经网络一个重要的研究方向,本文提出利用toeplitz矩阵对网络的全连接层权重参数实现共享,针对数字手写体识别网络,全连接层可学习参数压缩174倍时,模型分类准确率相较于原网络仅下降0. 74%。此外,本文提出可基于输入和输出两个角度对网络的卷积层权重参数实现循环共享,当基于输入对卷积层权重参数实现循环共享时,数字手写体识别网络的卷积层可学习参数压缩14倍,模型分类准确率仅下降0. 03%。

梯形n端口网络的递推公式

本文将一端口梯形网络的概念推广到n端口网络,得出一组递推公式,应用这些公式使计算某些n端口网络的参数矩阵大大简化。