动量余弦相似度梯度优化图卷积神经网络

传统梯度下降算法仅对历史梯度进行指数加权累加,没有利用梯度的局部变化,造成优化过程越过全局最优解,即使收敛到最优解也会在最优解附近震荡,其训练图卷积神经网络会造成收敛速度慢、测试准确度低。利用相邻两次梯度的余弦相似度,动态调整学习率,提出余弦相似度梯度下降(SimGrad)算法。为进一步提升图卷积神经网络训练的收敛速度和测试准确度,减少震荡,结合动量思想提出动量余弦相似度梯度下降(NSimGrad)算法。通过收敛性分析,证明SimGrad算法、NSimGrad算法都具有O(√T)的遗憾界。在构建的三个非凸函数进行测试,并结合图卷积神经网络在四个数据集上进行实验,结果表明SimGrad算法保证了图卷积神经网络的收敛性,NSimGrad算法进一步提高图卷积神经网络训练的收敛速度和测试准确度,SimGrad、NSimGrad算法相较于Adam、Nadam具有更好的全局收敛性和优化能力。