基于Gauss Newton-NL2SOL法的前馈神经网络及应用

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛。为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法,并与GaussNewton法相结合,构建基于GaussNewton NL2SOL法的前馈神经网络。仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性。

前馈神经网络权值学习综合算法

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法与GaussNewton法相结合,并引入熵误差函数,构建基于GaussNewton NL2SOL法的前馈神经网络.仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性.

一种前馈神经网络综合快速学习算法

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法,并与LM(Levernberg-Marquardt)法相结合,构建基于LM-NL2SOL法的前馈神经网络学习算法.仿真实例表明,该神经网络学习算法较好地解决了残量问题,具有良好的收敛性和稳定性.