改进的Dropout正则化卷积神经网络

针对深度卷积神经网络(CNN)中出现的过度拟合的问题,给出了一种改进的结构,训练阶段采用Dropout正则化,测试阶段采用了模型平均方法且同时考虑了保留概率和池化区域内单元值所占概率。仿真实验表明:在MNIST手写数据库和CMU—PIE的部分图像库中,相同迭代次数及CNN结构下新算法均优于其他方法,不仅能够得到更好的识别率而且更能防止过拟合的问题。

一种基于模拟退火算法改进的卷积神经网络

卷积神经网络(CNN)是一种深度学习技术,其目标是构建一个接近人类的智能来执行任何知识的任务.使用基于交叉熵损失函数的模拟退火算法对dropout正则化,即有些单元值被抑制的CNN进行优化训练,而在测试阶段所使用的模型平均方法则同时考虑了保留概率和池化区域内单元值所占概率.在MNIST手写数据库和CMU-PIE的部分图像库的实验结果表明,在同一CNN结构和相同迭代次数时,此方法均优于其他方法,不仅能够得到更好的识别率而且更能防止过拟合的问题.