基于非线性修正函数的卷积神经网络图像识别研究

为了解决深度学习中使用线性修正函数Re LUs对于模型的表达能力欠缺,而柔性光滑函数Softplus无稀疏表达能力的问题。基于Re LUs和Softplus函数各自的优点,将Re LUs函数的稀疏表达能力和Softplus函数的光滑特性结合起来,提出一种使用非线性修正函数作为神经元激励的方法。分析了不同激活函数的性能,并且用卷积神经网络在MNIST和CIFAR-10标准数据库上进行图像分类识别实验。实验结果表明,使用非线性修正激活函数,不仅可以加快网络收敛速度,也可以提高识别准确率;同时还不依赖于池化方法的选择。