基于图像特征的卷积核初始化方法

针对当前卷积核初始化方法易导致网络不稳定及主成分分析算法对网络结构限制的问题,提出一种基于图像特征的卷积核初始化方法.该方法先结合模糊处理技术和边缘处理技术对图像进行采样,再将采样后的数据随机分组,使用主成分分析算法提取各组数据的主成分,初始化卷积核.将该方法应用于数据集Cifar-10和Corel-1000,并与Gauss初始化方法和He初始化方法进行对比测试,实验结果表明,该方法性能优于其他卷积核初始化方法.

卷积神经网络(CNN)训练中卷积核初始化方法研究

本文提出了一种基于样本图像局部模式聚类的卷积核初始化方法,该方法可用于卷积神经网络(Convolutional neural network,CNN)训练中卷积核的初始化。在卷积神经网络中,卷积核的主要作用可看成是利用匹配滤波提取图像中的局部模式,并将其作为后续图像目标识别的特征。为此本文在图像训练集中选取一部分典型的样本图像,在这些图像中抽取与卷积核相同大小的子图作为图像局部模式矢量集合。首先对局部模式子图集合应用拓扑特性进行粗分类,然后对粗分类后的每一子类采用势函数聚类的方法获取样本图像中的典型局部模式子图,构成候选子图模式集,用它们作为CNN的初始卷积核进行训练。实验结果表明,本文方法可以明显加速CNN网络训练初期的收敛速度,同时对最终训练后的网络识别精度也有一定程度的提高。

基于KPCA初始化卷积神经网络的方法

为了解决卷积神经网络中卷积核不能得到有效初始化,导致网络训练难度增加,使网络收敛速度过慢的问题,提出了一种基于KPCA初始化卷积核的方法(KPCA-CNN)。该方法首先创建一个与卷积核大小相同的感受野对每个卷积层第一次输入的所有图像进行滑动采样,采样后的数据经过KPCA处理提取主成分,初始化卷积核。与PCA相比,KPCA对图像中的非线性特征有较好的提取能力,所提取的主成分中包含了输入图像的非线性特征,能够更加有效地初始化卷积核,从而降低网络的训练难度,使网络收敛速度变快。分别将PCA初始卷积核方法和KPCA初始化卷积核方法应用在MNIST手写数字识别上进行实验仿真,结果表明KPCA初始化卷积核的方法增加了网络的准确率,加快了网络的收敛速度。