一种使用Bi-ADMM优化深度学习模型的方案

ADMM算法被广泛应用于传统机器学习模型优化领域,它解决了某些深度学习的优化问题。该算法在优化深度学习模型方面的表现已经超过了大多数基于梯度的优化算法,而Bi-ADMM算法比ADMM算法的收敛速度更快、更稳定。文章提出了一种优化深度学习模型方案dlBi-ADMM算法,并用该算法来训练深度学习模型。首先,文章采用加速近端梯度算法优化耦合变量来降低矩阵求逆运算的复杂度;然后,详细给出每个变量的优化子问题的具体函数;最后,通过实验证明文章所提dlBiADMM算法优化的结果比dlADMM优化的结果更能提高模型的精度,且dlBi-ADMM算法比dlADMM算法在时间效率上表现更好。