基于动量项分离的深度学习优化算法

针对神经网络处理参数更新的优化算法中出现的局部最优点振荡问题,改进带动量项的随机梯度下降算法,提出了一种动量项分离的优化算法。通过计算当前时刻目标函数的曲率半径,根据阈值适时分离动量项,从而缓解局部最优点振荡问题。实验表明,动量项分离的优化算法能够适用于不同的模型结构和不同数据集。相较于带动量项的随机梯度下降算法,具有更高的准确度,能够更快地稳定收敛。与同类一阶动量算法相比,其准确率上升明显,为深度神经网络的参数更新提供了一种新的有效的解决方案。