基于剪枝优化的深层胶囊网络

Deep Capsule Network Based on Pruning Optimization

卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉任务中发展迅速,尤其在图片分类、检索、目标检测等各个领域中发挥出优越的性能.CNN能够直接从原始像素中经过少量预处理,得到其有效的特征表示,识别计算机视觉上的规律.然而CNN采用了池化策略,对物体的局部特征理解深刻,而忽视了物体整体的空间结构.而胶囊网络重视物体的空间结构,是一种新的神经网络架构.胶囊网络通过将特征叠加到向量中来表示物体的多种信息,具备良好的拟合特征能力,使得网络架构不仅能识别出物体的局部特征,而且能保留其整体空间特征的层次关系.然而胶囊网络在复杂数据中表现不佳.为了提高胶囊网络在图像数据的识别准确率,本文提出一种基于剪枝优化的深层胶囊网络,其有效地处理胶囊网络层之间的连接关系,不仅减少了低层冗余胶囊,还提高网络的泛化能力.新胶囊网络的剪枝策略,对低层胶囊进行严格筛选,确保只有重要的、活跃度大的低层胶囊重组成新的胶囊层,进行加权连接预测高层胶囊.对于图像数据,获取的特征不足使其难以在胶囊中进一步处理.因此,本文设计了一种新颖的胶囊块卷积层,使用3D卷积核将局部的胶囊子集转化为一个更加抽象的胶囊,获取更加全面数据的特征表示来构建更加有水平的高层网络.同时,该层中低水平胶囊到高水平胶囊之间的跳跃连接可以减少深度模型训练过程中面临的梯度消失问题.此外,本文在多个数据集上进行性能测试,都取得了良好的实验效果.

capsule by 3D convolution core,and the feature representation of more comprehensive data is obtained to construct a more level high-level network.At the same time,the jump connection between the low-level capsule and the high-level capsule can reduce the gradient disappearance problem in the training of the deep model.In addition,the performance test on multiple data sets has achieved good experimental results.