机器学习中的双层优化算法简介

双层优化是近年来的一个热门研究方向.这主要归功于机器学习的兴起和双层优化在机器学习中的许多重要应用.本文对双层优化的算法、理论及应用最近几年的发展做一个简要的介绍内容主要包括双层优化的历史,双层优化在电力系统,超参优化,元学习等领域的应用,以及双层优化的算法设计和理论保证。算法方面我们主要分两种情况:下层问题是强凸问题和下层问题是一般凸问题,这里我们会讨论梯度法和基于下层最优函数的方法.我们也会重点讨论分布式网络中的双层优化,包括去中心化的双层优化和联邦双层优化的算法和理论分析.