面向CNN模型图像分类任务的高效激活函数设计

激活函数(Activation Functions,AF)对于卷积神经网络学习、拟合复杂函数模型来说具有十分重要的作用,为了使神经网络能更好更快的完成各类学习任务,设计了一种新型高效激活函数EReLU。EReLU通过引入自然对数函数有效缓解了神经元“坏死”和梯度弥散问题,通过分析激活函数及其导函数在前馈和反馈过程中的作用对EReLU函数的数学模型探索设计,经测试确定EReLU函数的具体设计方案,最终实现了提升精度和加速训练的效果;随后在不同网络和数据集上对EReLU进行测试,结果显示EReLU相较于ReLU及其改进函数精度提升0.12%~6.61%,训练效率提升1.02%~6.52%,这有力地证明了EReLU函数在加速训练和提升精度方面的优越性。