摘要
随着通信技术和新一代人工智能的迅速发展,强化学习这一数据驱动的控制方法引起了极大的关注.本文回顾了强化学习中的一类典型方法——策略优化法——在系统控制律设计上的最新研究进展.主要讨论了其在各种重要线性最优控制问题上的收敛性及样本复杂度,例如线性二次控制、输出反馈控制、H∞控制、分布式控制等.此外,对策略优化法在网络化系统控制中的应用作了展望.
With the development of communication technology and artificial intelligence,reinforcement learning(RL),as a data-driven control method,has received tremendous attention.The purpose of this survey is to provide an overview of the state-of-the-art policy optimization method for controller design,which is a typical RL method.In particular,we discuss its convergence and sample complexity in certain fundamental optimal control problems in linear systems,such as linear quadratic regulators,output feedback,H∞control,and distributed control.Additionally,we discuss some future work on the policy optimization for control systems.
作者
赵斐然
游科友
Feiran ZHAO;Keyou YOU(Department of Automation,Tsinghua University,Beijing 100084,China)
出处
《中国科学:信息科学》
CSCD
北大核心
2023年第6期1027-1049,共23页
Scientia Sinica(Informationis)
基金
国家自然科学基金(批准号:62033006)
清华大学自主科研计划资助项目。
关键词
线性系统
最优控制
策略梯度法
强化学习
数据驱动控制
linear system
optimal control
policy gradient method
reinforcement learning
data-driven control