有向网络中基于动量方法的加速行随机优化

本文研究了有向网络下的分布式凸优化问题,并在现有分布式算法的基础上提出了一种新颖的分布式动量加速算法,叫做ARNH。该算法采用行随机矩阵和异构步长,有效克服网络不平衡性的同时提高了网络灵活性。此外,为了实现更快的收敛速率,ARNH采用Nesterov梯度法和Heavy-Ball法相结合的双加速机制。在局部目标函数可微且强凸的假设下,本文证明通过选取合适的步长和动量参数,算法可使节点状态渐近收敛到全局最优解。最后,在仿真实验中将ARNH与相关算法进行性能比较,验证了新算法的优越性。