神经网络中激活函数tanh的正则化

在神经网络研究领域中,以sigmoid函数、双曲正切函数以及校正激活函数为研究对象,其中sigmoid函数在sigmoid系函数中最具代表性,其具有软饱和性,但是会出现梯度消失的现象.而tanh函数作为sigmoid函数的一个变体,缓解了学习缓慢并且梯度消失的问题.主要对tanh函数进行L1范数正则化,以提高模型的泛化能力,并且对正则后的目标函数采用梯度下降法,LASSO回归法求解.