基于一类新型激活函数的递归神经网络的多稳定性分析

本研究基于一类新型连续锯齿型激活函数研究了递归神经网络(Hopfield神经网络)的多稳定性。首先,通过区间剖分法、Brouwer不动点定理证明了基于该激活函数的n维神经网络模型至少具有7n个平衡点,并运用对角占优矩阵理论、局部稳定性判定定理等方法证明了其中4n个平衡点是局部指数稳定的,剩余的平衡点是不稳定的。其次,通过增加锯齿型激活函数的峰值点将激活函数推广到更一般的情况,得到了n维神经网络在含有k个峰值点的连续锯齿型激活函数中至少具有(2k+1)n个平衡点,其中(k+1)n个平衡点为局部稳定的。本研究设计的激活函数相较于现有的一些激活函数会产生更多的稳定平衡点,并且在增加峰值点的过程中不会增加神经网络的计算复杂度。最后,通过两个具体的数值算例验证了本研究结果的有效性。