深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络(Convolutional Neural Network,CNN)模型教学过程中,对优化器理论学习过程中存在实践不足问题,首先利用kaggle平台上的猫狗数据库,然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型,最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法,对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明,在模型优化中,适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。